4 月 19 日消息 阿里巴巴達(dá)摩院發(fā)布超大規(guī)模語言模型 PLUG，該模型參數(shù)規(guī)模達(dá) 270 億，是目前全球規(guī)模最大的中文純文本預(yù)訓(xùn)練語言模型。
官方表示，PLUG 集良好的語言理解與創(chuàng)造性文本生成能力于一身，在小說仿寫、詩歌生成、智能問答等長文本生成領(lǐng)域表現(xiàn)突出，其目標(biāo)是通過超大模型的能力，大幅提升中文自然語言技術(shù)在各類任務(wù)中的表現(xiàn)，取得超越人類表現(xiàn)的性能。
接下來，PLUG 將擴(kuò)大參數(shù)規(guī)模至 2000 億級，并進(jìn)一步提升文本生成質(zhì)量。
IT之家了解到，達(dá)摩院語言技術(shù)實(shí)驗(yàn)室研究員黃非表示：“現(xiàn)在預(yù)訓(xùn)練語言模型的發(fā)展趨勢包括更多的訓(xùn)練數(shù)據(jù)、更廣的數(shù)據(jù)領(lǐng)域、跨模態(tài)信息的融入等。模型能力正變得越來越強(qiáng)大，在生成理解等方面也正逐步接近人類水平。但在邏輯推理、情感表達(dá)方面，語言模型的能力還有待進(jìn)一步提升。后續(xù)期待語言模型融合除文本信息以外更廣泛的人類知識，能作為認(rèn)知智能的技術(shù)基座，在更多場景中得到廣泛應(yīng)用。”
