新華社研究院大模型體驗報告3.0:訊飛星火蟬聯冠軍,基礎能力、智商、工具效能均最強
來源:科大訊飛 編輯:ZZZ 2023-11-22 09:24:06 加入收藏 咨詢

所在單位: | * |
姓名: | * |
手機: | * |
職位: | |
郵箱: | * |
其他聯系方式: | |
咨詢內容: | |
驗證碼: |
|
新華社研究院中國企業發展研究中心最近發布的年度第三份關于大模型的評測報告——人工智能大模型體驗報告3.0(下文簡稱《報告》)評測結果顯示,由科大訊飛研發的訊飛星火認知大模型獲得1775最高分蟬聯冠軍,并獲得基礎能力指數、智商指數、工具提效指數三項評測指標第一。 緊隨其后的是商湯的商量大模型和智譜的AI-ChatGLM大模型。

新華社研究院:
科大訊飛在大模型技術領域積淀深厚
本次報告與之前的評測體系相比,在評估維度、主客觀融合、指標與市場異動匹配等方面都進行了升級。比如,在1000道題里面選擇400道題進行實際問答測試,在原來對大模型產品的實際表現評測基礎上增加了對廠商技術實力和未來發展潛力的維度評測等。
《報告》測評選取了訊飛星火 、商湯商量、智譜AI-ChatGLM、瀾舟科技孟子、360智腦、字節跳動豆包、阿里通義千問、騰訊混元、昆侖萬維天工和中科聞歌雅意等10家最新版本國產主流大模型產品。
《報告》以“技術實力”和“發展潛力”為坐標系,其中,“技術實力”包括平臺性能、安全性能、模型可解釋性、實時性能四大二級指標和易用性等七大三級指標,“發展潛力”包括社會認可度、創新能力、市場前景三大二級指標和用戶接受度等五大三級指標,由此得出主流大模型綜合指數3.0,結果顯示,訊飛星火等3家大模型在“技術實力”和“發展潛力”上都處于第一象限,屬于大模型領域的“未來領袖”。

大模型廠商在技術實力上呈現出百家爭鳴的態勢,每個廠商都努力在模型的算法、架構、性能等各方面尋求突破,《報告》認為,“科大訊飛依賴其在語音技術領域的長期積累,為大模型注入了豐富的語音交互能力”。綜合“技術實力”和“發展潛力”,《報告》實際評測結果認為,“科大訊飛再次表現亮眼,這再次證明了科大訊飛在大模型技術領域積淀深厚”。

打造每個人的AI助手,工具提效指數再奪冠
今年下半年以來,“百模大戰”已從“拼技術”轉向“拼應用”的轉折點,應用為王成為行業共識。
《報告》對主流大模型的產品,從基礎能力、智商、情商和工具提效四大維度進行測試,結果顯示,科大訊飛獲得1775分,總分第一且基礎能力、智商、工具提效三項指數均獲第一。 今年8月份,在《人工智能大模型體驗報告2.0》中,訊飛星火獲得總分第一、智商和工具提效兩項指數第一。
“假如我是一個5歲的兒童,請向我解釋為什么星星會發光。”面對這樣的基礎能力測試,訊飛星火將星星比喻成“天空的小蠟燭”,用非常簡單的幾句話讓5歲孩子“一聽就懂”。《報告》評價訊飛星火在基礎能力上的總體表現,“能夠準確理解指令,并且能夠生成圖像”。
在智商指數方面,一個有關專業心理學的單選題擺在大模型面前,結果顯示,訊飛星火在回答基本正確的同時能夠理解指令,不給出多余的回答。
在《報告》的四大評測維度中,“工具提效指數”直指落地應用,通過“在不同專業技能場景下評測模型均能一定程度上提升問題分析和解決水平,以及大綱羅列的速度”,來檢驗大模型是否真正“好用”。
《報告》提出一道醫療問題進行測試:“猴痘會通過什么途徑傳播?目前的治療方法是什么?”,結果訊飛星火非常簡潔列出3個傳播途徑及治療方法建議,以472分獲得第一。

上個月剛結束的訊飛星火認知大模型V3.0發布會上,訊飛星火的“工具屬性”全面落地,人們在不同的場景都能感受到“AI助手”無處不在:當你身體不舒服,搭載訊飛星火醫療大模型的“訊飛曉醫 ”APP進行癥狀自查,“就醫攻略”一目了然;寫程序想提升效率,iFlyCode2.0智能編程助手可以馬上幫你寫出一個從0到1的小應用;寫郵件文書太繁瑣,下載一個有1200萬粉絲的“訊飛星火”APP,里面就有注入“靈魂”、具有人設的星火友伴,可以馬上學習你的文風為你寫作……就在剛剛過去的“雙11”, 訊飛AI硬件銷售額同比增長126%,科大訊飛AI學習機等多個智能硬件獲得天貓和京東7個品類銷售冠軍,用戶直接為AI助手的價值真金白銀買單,訊飛星火賦能人們生活和工作的各種產品,已實實在在讓每一個普通人有著越來越強烈的“體感”。

從C到B,實現國產大模型“安全可控”
Gartner發布的2024年十大戰略技術趨勢顯示,生成式AI 的全民化有可能實現各種任務的自動化,從而提高生產力,降低成本并提供新的增長機會。隨著生成式AI平臺在全球范圍內不斷普及,全球組織和員工將迎來生產力躍遷。Gartner預測,到2026年,80%以上的企業將接入生成式AI或大模型。
從對個體的實用到對行業的賦能,《報告》認為,大模型技術在C端場景應用落地越來越多,在B端賦能千行百業的產業價值需進一步挖掘。
《報告》將科大訊飛納入優秀案例之列,《報告》認為,“為了保證算力安全,訊飛和華為強強聯合,把自身擁有的自研大模型訓練平臺,具備訓練和數據閉環全流程設計、大模型訓練和推理一體化設計、大規模異構算力兼容、支持混合云架構易拓展等優勢和華為基于昇騰AI基礎軟硬件的高算力AI 芯片、高性能算子庫、多卡高速互聯、分布式存儲 等優勢結合起來,打造出了面向超大規模大模型的訓練國產算力集群,保證了人工智能大模型的算力安全和發展自主。同時,訊飛星火形成了立體化的‘內容安全’保障機制,解決了內容安全方面的問題。”
在實踐成效方面,《報告》認為,“在訊飛保障內容,華為保障算力的前提下,訊飛聯合華為推出了國產軟硬件一體化的私有專屬大模型解決方案‘星火一體機’,它就好像一個人工智能大模型的服務器,開箱就可以立即提供從底層算力、AI框架、訓練算法、推理能力、應用成效等全棧AI能力,讓企業可以在這個‘一體機’上,獨家打造屬于自己的專屬私有化大模型”。
人工智能大模型的發展任重道遠,《報告》期待,未來人工智能大模型能夠推動數字經濟和產業經濟深度融合,牽起新一輪技術革命,為社會經濟發展提供源源不斷的科技動力。
評論comment