對(duì)話人物:復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室MOSS項(xiàng)目人工智能訓(xùn)練師 賀正夫
問(wèn):MOSS是什么,主要有什么作用?
答:MOSS是一個(gè)對(duì)話式語(yǔ)言模型,它可以為人們的生活提供各種直接或間接的幫助。它可以進(jìn)行生活常識(shí)問(wèn)答,幫助查詢天氣、規(guī)劃行程等;可以輔助高效辦公,例如自動(dòng)處理表格,生成大綱、草稿、翻譯等,還掌握金融、醫(yī)療、教育等領(lǐng)域?qū)I(yè)知識(shí)。許多行業(yè)正在引入以MOSS為代表的對(duì)話式語(yǔ)言模型,比如汽車語(yǔ)音助手、客服等,這些都將產(chǎn)生降本增效的效果。
問(wèn):您對(duì)MOSS的具體訓(xùn)練過(guò)程是怎樣的?
答:大模型中參數(shù)的本質(zhì)是海量的矩陣,這些矩陣對(duì)輸入的文本進(jìn)行簡(jiǎn)單、繁重、重復(fù)的數(shù)字運(yùn)算,最終得到需要生成的內(nèi)容。我們可以通過(guò)對(duì)網(wǎng)絡(luò)上的語(yǔ)料進(jìn)行收集、“清洗”,并讓大模型從這些語(yǔ)料中學(xué)習(xí)知識(shí)。具體而言,學(xué)習(xí)過(guò)程就是不斷“閱讀”文本,并調(diào)整大模型內(nèi)部參數(shù),使其對(duì)語(yǔ)言的理解不斷加深,最終獲得某種“智能”,這個(gè)過(guò)程稱為訓(xùn)練。
在搭建MOSS的過(guò)程中,我們通過(guò)三階段“閱讀”賦予MOSS強(qiáng)大的能力。一是基礎(chǔ)知識(shí)獲取階段。MOSS通過(guò)廣泛“閱讀”網(wǎng)絡(luò)上幾乎所有的文本,由于巨大的參數(shù)量,其足以涵蓋海量知識(shí)。二是對(duì)話能力獲取階段。MOSS通過(guò)“閱讀”對(duì)話數(shù)據(jù),學(xué)習(xí)利用第一階段獲取的知識(shí),以對(duì)話的方式回答人類的問(wèn)題。三是對(duì)齊階段。由于有些回復(fù)可能會(huì)有誤導(dǎo)性,MOSS會(huì)根據(jù)人類的反饋來(lái)抑制生成不符合人類法律和道德倫理的內(nèi)容,使回答更客觀、更理性。
問(wèn):MOSS和ChatGPT相比有哪些差異?
答:ChatGPT的訓(xùn)練數(shù)據(jù)涵蓋十分廣泛,用戶體驗(yàn)良好。MOSS作為學(xué)術(shù)界的嘗試,我們希望通過(guò)打造開源對(duì)話式的語(yǔ)言模型,向?qū)W術(shù)界分享更前瞻的理論和工程經(jīng)驗(yàn)。
問(wèn):MOSS是來(lái)源于電影《流浪地球2》嗎?它的未來(lái)目標(biāo)是什么?
答:MOSS的名字與《流浪地球2》這部電影有關(guān),電影中的人工智能機(jī)器人MOSS展現(xiàn)出極強(qiáng)的智能和理性,成為人類的得力助手。我們從對(duì)話式語(yǔ)言模型發(fā)展中看到了人工智能的巨大潛力,因此起名MOSS,這個(gè)名字寄托這我們對(duì)人工智能技術(shù)未來(lái)發(fā)展的期待。
未來(lái)的MOSS會(huì)越來(lái)越“聰明”。我們將充分利用火山引擎等平臺(tái)提供的云端算力和資源,與更多同行開展模型迭代和技術(shù)交流,不斷探索對(duì)話式大模型和大型語(yǔ)言模型的技術(shù)前沿,讓人工智能技術(shù)更好地造福人類社會(huì)。
(彭訓(xùn)文、張嘉幸采訪整理)