我們獲悉，阿里巴巴達(dá)摩院已正式開(kāi)源深度語(yǔ)言模型體系A(chǔ)liceMind。
歷經(jīng)三年研發(fā)，AliceMind從通用語(yǔ)言模型StructBERT的基礎(chǔ)上，拓展到多語(yǔ)言、生成式、多模態(tài)、結(jié)構(gòu)化、知識(shí)驅(qū)動(dòng)等領(lǐng)域，能力全面;先后登頂GLUE等六大AI權(quán)威榜單，6月還入選了2021世界人工智能大會(huì)最高獎(jiǎng)SAIL獎(jiǎng)TOP30榜單。
達(dá)摩院相關(guān)負(fù)責(zé)人表示，希望通過(guò)開(kāi)源來(lái)降低業(yè)界研究和創(chuàng)新應(yīng)用的門(mén)檻，助推語(yǔ)言AI進(jìn)入大工業(yè)時(shí)代。
自然語(yǔ)言處理(NLP)被譽(yù)為AI皇冠上的明珠，傳統(tǒng)NLP模型制作復(fù)雜，耗時(shí)耗力，且用途單一，難以復(fù)用，猶如手工作坊。但近幾年興起的預(yù)訓(xùn)練語(yǔ)言模型，正在改變局面，有望讓語(yǔ)言AI走向入可規(guī)?；瘡?fù)制的工業(yè)時(shí)代。如果用煉鋼來(lái)類(lèi)比，以前要獲得一個(gè)可用的NLP應(yīng)用模型，要從鐵礦石開(kāi)始煉鋼，周期長(zhǎng)，費(fèi)用高，產(chǎn)量低;但現(xiàn)在有了開(kāi)源的預(yù)訓(xùn)練語(yǔ)言模型，相當(dāng)于有了現(xiàn)成的粗鋼，只需要把粗鋼煉成所需的特定鋼材，效率大為提升。
據(jù)介紹，達(dá)摩院深度語(yǔ)言模型體系A(chǔ)liceMind，包括通用語(yǔ)言模型StructBERT、多語(yǔ)言VECO、生成式PALM、多模態(tài)StructVBERT、結(jié)構(gòu)化StructuralLM、知識(shí)驅(qū)動(dòng)LatticeBERT、機(jī)器閱讀理解UED、超大模型PLUG等，此次大部分已開(kāi)源。(https://github.com/alibaba/AliceMind)
AliceMind先后登頂了GLUE Benchmark、多語(yǔ)言XTREME在內(nèi)的六大權(quán)威AI榜單，上周再次登頂?shù)亩嗄B(tài)權(quán)威榜單VQA Challenge 2021，類(lèi)似看圖問(wèn)答，給定一張圖像和關(guān)于圖像的自然語(yǔ)言問(wèn)題，AI需要提供準(zhǔn)確的自然語(yǔ)言答案。
AliceMind戰(zhàn)勝了微軟、Facebook等幾十家國(guó)際頂尖團(tuán)隊(duì)，將紀(jì)錄從去年第一名的76.36%顯著提升到79.78%，接近人類(lèi)水平(80.78%)。
霸榜背后，是AliceMind持續(xù)創(chuàng)新和進(jìn)化。達(dá)摩院團(tuán)隊(duì)在BERT基礎(chǔ)上提出優(yōu)化模型StructBERT，2020年多次在NLP頂級(jí)賽事GLUE Benchmark上奪冠。該模型通過(guò)在句子和詞級(jí)別引入兩個(gè)新的目標(biāo)函數(shù)，好比給AI裝上“語(yǔ)法識(shí)別器”，在面對(duì)語(yǔ)法錯(cuò)亂時(shí)，AI依然能準(zhǔn)確理解并給出正確回應(yīng)，大大提高機(jī)器對(duì)語(yǔ)言的整體理解力。而此次在VQA Challenge 2021登頂?shù)亩嗄B(tài)模型StrucVBERT，融合了通用模型StructBERT和結(jié)構(gòu)化模型StructuralLM，同時(shí)引入文本和圖像模態(tài)，利用更高效的視覺(jué)特征和創(chuàng)新的注意力機(jī)制在統(tǒng)一的多模態(tài)語(yǔ)義空間進(jìn)行聯(lián)合建模。
據(jù)了解，AliceMind掌握語(yǔ)言超過(guò)100種，具有閱讀、寫(xiě)作、翻譯、問(wèn)答、搜索、摘要生成、對(duì)話等多種能力，目前已成為阿里的語(yǔ)言技術(shù)底座，日均調(diào)用量超過(guò)50億次，活躍場(chǎng)景超過(guò)200個(gè)，已在跨境電商、客服、廣告等數(shù)十個(gè)核心業(yè)務(wù)應(yīng)用落地。在阿里之外，AliceMind廣泛運(yùn)用于醫(yī)療、能源、金融等多個(gè)行業(yè)。其中，浙江電網(wǎng)公司以AliceMind為底座為員工構(gòu)建智能化運(yùn)維平臺(tái)，應(yīng)用于變壓器檢修、供電搶修等業(yè)務(wù)，已經(jīng)開(kāi)始在國(guó)家電網(wǎng)公司統(tǒng)一推廣。
阿里達(dá)摩院深度語(yǔ)言模型團(tuán)隊(duì)負(fù)責(zé)人黃松芳表示，“預(yù)訓(xùn)練語(yǔ)言模型已成為NLP領(lǐng)域的基石和原材料，AliceMind開(kāi)源將降低NLP領(lǐng)域研究和應(yīng)用創(chuàng)新的門(mén)檻，助推行業(yè)從手工業(yè)時(shí)代走向大工業(yè)時(shí)代。”
