6月最新中文通用大模型測(cè)評(píng)出爐:360智腦多項(xiàng)能力國(guó)內(nèi)持續(xù)領(lǐng)跑
【資料圖】
(原標(biāo)題:6月最新中文通用大模型測(cè)評(píng)出爐:360智腦多項(xiàng)能力國(guó)內(nèi)持續(xù)領(lǐng)跑)
6月19日,中文通用大模型基準(zhǔn)(SuperCLUE)最新發(fā)布“6月榜單”,三六零集團(tuán)(601360.SH,以下簡(jiǎn)稱360)自研認(rèn)知型通用大模型“360智腦”多項(xiàng)能力蟬聯(lián)國(guó)產(chǎn)大模型第一,部分能力評(píng)分已超越GPT-3.5甚至超越GPT-4。
SuperCLUE是針對(duì)中文可用的通用大模型測(cè)評(píng)基準(zhǔn),代表時(shí)下中文大模型的發(fā)展效果情況。SuperCLUE從基礎(chǔ)能力、中文特性、學(xué)術(shù)與專業(yè)能力三個(gè)層面對(duì)國(guó)內(nèi)外通用大模型產(chǎn)品進(jìn)行測(cè)試,“360智腦”在以上三方面均位列國(guó)內(nèi)第一,世界第三。
上月出爐的SuperCLUE榜單中,360智腦已取得“國(guó)產(chǎn)大模型第一”的成績(jī)。為避免“刷題”,確保結(jié)果公正客觀,SuperCLUE在6月新一輪測(cè)評(píng)中采用了全新獨(dú)立的評(píng)測(cè)數(shù)據(jù)集,同時(shí)數(shù)量級(jí)擴(kuò)大近10倍到3714道題。測(cè)試結(jié)果顯示,360智腦與GPT-3.5的總分差距從上月的8分縮小至本月的5分以內(nèi),同時(shí)在上下文對(duì)話、語義理解、計(jì)算等能力上,評(píng)分已追平甚至超越GPT。
據(jù)了解,過去3個(gè)月內(nèi),360智腦已完成從1.0版本到4.0版本的迭代,刷新了國(guó)產(chǎn)大模型的“中國(guó)速度”?!?60智腦4.0”已具備跨模態(tài)生成能力,并依托該能力全國(guó)首發(fā)大模型定制“AI數(shù)字人”和“文生視頻”功能。
關(guān)鍵詞: