網(wǎng)上營業(yè)廳
掌上營業(yè)廳
近日，依托2024年世界人工智能大會發(fā)布的中國電信AI模型評測聯(lián)創(chuàng)基地，中國電信研究院攜手上海人工智能實驗室、清華大學(xué)等產(chǎn)學(xué)研機構(gòu)發(fā)布了全面覆蓋“能力—任務(wù)—性能—安全”四級的“天罡”大模型評測指標(biāo)體系，并基于該體系首次發(fā)布了“天罡”通用大模型評測榜單。該榜單重點圍繞大模型的能力和安全指標(biāo)進行評估。模型能力評估涵蓋知識百科、語言理解、認知推理、模型幻覺、智能體等多個維度；安全評估重點考察大模型輸出生成內(nèi)容，涵蓋意識形態(tài)、安全隱私、倫理道德、安全對抗攻擊等維度，其中與國家主流價值觀和網(wǎng)絡(luò)信息安全要求的相符度為重要評估因素。
當(dāng)前，人工智能技術(shù)的迅速發(fā)展賦能大模型強大的生成能力和表示泛化能力。隨著開源大模型與閉源大模型的不斷迭代發(fā)展，如何有效評估模型能力，并構(gòu)建一套標(biāo)準(zhǔn)化、系統(tǒng)化、自動化的評測體系，成為全行業(yè)亟待解決的問題。
本次測評通過全面評測維度、權(quán)威評測題庫、動態(tài)抽題、多裁判模型判別和人工審核等機制對國內(nèi)外主流通用大模型開展了評測，評測對象包括國際頭部閉源OpenAI的GPT-4系列、Google的Gemini系列、Anthropic的Claude系列、國內(nèi)主流的閉源模型以及國內(nèi)外主流的開源模型，評測結(jié)果展示了當(dāng)前開源／閉源通用大模型整體能力分布和差距，為大模型持續(xù)創(chuàng)新發(fā)展和賦能行業(yè)場景應(yīng)用提供重要參考。
此次“天罡”通用大模型評測結(jié)果揭示了國內(nèi)外通用大模型的三大能力發(fā)展趨勢。一是GPT-4o在語言理解、認知推理、智能體等方面表現(xiàn)出色，其憑借強大的綜合能力領(lǐng)跑全行業(yè)，與此同時國內(nèi)頭部大模型豆包、智譜清言在中文場景已達到GPT-4o的90％分位水平，表現(xiàn)突出；二是開源整體落后于閉源，但開閉源差距逐漸縮小，當(dāng)下千億級參數(shù)規(guī)模開源大模型能力已逼近業(yè)內(nèi)主流閉源大模型，其中國內(nèi)開源大模型Qwen2系列能力表現(xiàn)尤其突出；三是國外領(lǐng)先的開源大模型Llama3系列模型在中文場景下模型能力表現(xiàn)較弱。
隨著中國電信AI模型評測聯(lián)創(chuàng)基地和“天罡”評測體系的發(fā)布，中國電信研究院將進一步和產(chǎn)學(xué)研機構(gòu)協(xié)同合作，通過評測對國內(nèi)外通用大模型技術(shù)能力進行全面對標(biāo)、對大模型產(chǎn)業(yè)趨勢進行深入分析，以評測促創(chuàng)新、促發(fā)展、促安全。
新浪微博
今日頭條
騰訊微信
