自對(duì)齊能否駕馭“狂奔”的AI_天天快消息
發(fā)布時(shí)間:2023-05-23 13:34:27
文章來(lái)源:科技日?qǐng)?bào)
自對(duì)齊能否駕馭“狂奔”的AI
自O(shè)pen AI推出ChatGPT大模型以來(lái),AI大模型進(jìn)入到公眾視野,探討熱度飆升,百度、騰訊、阿里等互聯(lián)網(wǎng)巨頭也紛紛公布了其對(duì)AI大模型的投資與布局路線圖。
然而,在一片火熱中,也有不少科技巨頭表達(dá)了對(duì)AI大模型的擔(dān)憂。利用人工智能寫(xiě)論文、制作虛假圖片……在給人類(lèi)帶來(lái)便利的同時(shí),“稚嫩”的人工智能技術(shù)也暴露出許多安全隱患問(wèn)題。據(jù)媒體報(bào)道,被譽(yù)為“人工智能教父”的杰弗里·辛頓已從谷歌辭職,只為完全自由地談?wù)揂I大模型等人工智能技術(shù)所帶來(lái)的危險(xiǎn)。
狂野生長(zhǎng)的AI大模型,真的管不住了嗎?來(lái)自美國(guó)卡內(nèi)基梅隆大學(xué)語(yǔ)言技術(shù)研究所、國(guó)際商業(yè)機(jī)器公司研究院等機(jī)構(gòu)的研究人員提出了一種全新的方法——自對(duì)齊。該方法結(jié)合了原則驅(qū)動(dòng)式推理和大模型的生成能力,從而使用極少的人類(lèi)監(jiān)督便能實(shí)現(xiàn)AI大模型的“自我監(jiān)管”。
【資料圖】
和人類(lèi)價(jià)值觀“對(duì)齊”
目前,即便是最先進(jìn)的AI大模型,也無(wú)法實(shí)現(xiàn)自我監(jiān)管,仍需要依賴(lài)人類(lèi)指令以及注釋進(jìn)行相應(yīng)的調(diào)整。
“生成式人工智能可以被看作一個(gè)預(yù)測(cè)工具,它主要依靠大量數(shù)據(jù)樣本來(lái)預(yù)測(cè)正確答案。”清華大學(xué)交叉信息研究院助理教授、人工智能?chē)?guó)際學(xué)術(shù)交流項(xiàng)目主任于洋表示,所有基于數(shù)據(jù)統(tǒng)計(jì)的人工智能模型,對(duì)于“答案”的預(yù)測(cè)都必然有一定的隨機(jī)性,而這種隨機(jī)性所產(chǎn)生的偏差一旦與人類(lèi)價(jià)值觀、倫理觀、道德觀以及法律法規(guī)等相悖,就需要對(duì)該模型進(jìn)行監(jiān)管、完善。計(jì)算科學(xué)工作者致力于消除這類(lèi)偏差,盡量使之與人類(lèi)的價(jià)值觀、倫理、法律、公序良俗等相符,這被稱(chēng)為“對(duì)齊”。
然而,從統(tǒng)計(jì)學(xué)的角度看,AI大模型一定會(huì)“犯錯(cuò)”。因此,AI模型對(duì)齊的監(jiān)管,不應(yīng)追求獲得一個(gè)不犯錯(cuò)的完美AI大模型,而是要管理AI大模型產(chǎn)生違規(guī)錯(cuò)誤的風(fēng)險(xiǎn)。“例如,對(duì)話類(lèi)AI大模型在其對(duì)話中,是否會(huì)大量出現(xiàn)針對(duì)某個(gè)地區(qū)的地域歧視。”于洋舉例道,對(duì)于AI大模型的監(jiān)管,就是為了避免這類(lèi)內(nèi)容出現(xiàn)的概率過(guò)高、避免模型的答案系統(tǒng)性發(fā)生整體傾向這類(lèi)偏誤。
然而,如果AI大模型嚴(yán)重依賴(lài)人類(lèi)監(jiān)督,會(huì)造成成本過(guò)高、可靠性不足、存在偏向性等問(wèn)題。因此,以最少的人類(lèi)監(jiān)督實(shí)現(xiàn)AI大模型的自我監(jiān)督成為構(gòu)建AI大模型的關(guān)鍵。
為了解決這一難題,研究人員提出了一種自對(duì)齊的新方法,僅需一個(gè)人工定義的小型原則集(規(guī)則),便能引導(dǎo)AI大模型生成答復(fù)的正確導(dǎo)向,且能顯著減少對(duì)人類(lèi)監(jiān)督的需求,使其幾乎無(wú)需任何額外注釋。AI大模型可以自對(duì)齊的設(shè)計(jì)目標(biāo)是開(kāi)發(fā)出有用、可靠且符合人類(lèi)道德觀念的AI大模型,包括在生成答案時(shí)可以反對(duì)用戶(hù)的有害詢(xún)問(wèn),并且為表示反對(duì)的背后原因提供解釋。
值得一提的是,此前一些AI大模型至少需要5萬(wàn)條注釋?zhuān)麄€(gè)自對(duì)齊過(guò)程所需的注釋量少于300行,監(jiān)督效率非常高,極大地降低了AI大模型對(duì)人類(lèi)監(jiān)管工作的需求。
把“打罵”變?yōu)?ldquo;講道理”
那么,未來(lái)AI大模型是否可以實(shí)現(xiàn)完全的自我監(jiān)管?于洋表示,AI大模型監(jiān)管的主要方式必然是自動(dòng)化、機(jī)器化、算法化的,因?yàn)锳I大模型依賴(lài)海量數(shù)據(jù)支撐,僅憑人工監(jiān)管是不現(xiàn)實(shí)的。但完全的自我監(jiān)督不太可能實(shí)現(xiàn),這是因?yàn)榧词笰I學(xué)會(huì)了相應(yīng)的人類(lèi)規(guī)則,但它和人類(lèi)所掌握的規(guī)則數(shù)量仍然無(wú)法比較。同時(shí),人類(lèi)的思維以及邏輯推理過(guò)程具有極高的復(fù)雜性,也是AI大模型難以真正“理解”人類(lèi)的原因之一。
于洋舉了個(gè)例子,現(xiàn)在的AI大模型監(jiān)管就好比教育孩子,現(xiàn)有的人工對(duì)齊技術(shù)方案,其實(shí)都是在“打罵”孩子,也就是用獎(jiǎng)勵(lì)和懲罰的方式訓(xùn)練AI什么能做、什么不能做。而真正的教育,是要對(duì)孩子講道理,了解為什么有些事情不能做,即要讓AI理解背后的邏輯,理解人類(lèi)的評(píng)判標(biāo)準(zhǔn)。這是一件很難的事情,目前大多數(shù)的AI大模型的訓(xùn)練和對(duì)齊技術(shù)的開(kāi)發(fā),還停留在“打罵”階段,要從“打罵”變成“講道理”,還有很長(zhǎng)的路要走。
“除了技術(shù)人員開(kāi)發(fā)教育AI合規(guī)的技術(shù)外,監(jiān)管當(dāng)局也必須制度化、系統(tǒng)化地從社會(huì)合規(guī)和社會(huì)影響等方面對(duì)AI大模型進(jìn)行多維度的審計(jì)和監(jiān)管。”于洋進(jìn)一步解釋道,相關(guān)行業(yè)及管理部門(mén),需要對(duì)AI大模型違背人類(lèi)價(jià)值的概率,有一個(gè)系統(tǒng)化的評(píng)估,并根據(jù)AI大模型相關(guān)產(chǎn)業(yè)的發(fā)展現(xiàn)狀,調(diào)整監(jiān)管手段,有針對(duì)性地提出監(jiān)管方案,建立動(dòng)態(tài)、敏捷響應(yīng)技術(shù)前沿變化的監(jiān)管體系。企業(yè)也要建立專(zhuān)門(mén)針對(duì)AI大模型的監(jiān)管部門(mén),來(lái)審核AI大模型中是否包含自我監(jiān)管機(jī)制,以及具體到每一個(gè)模塊將帶來(lái)哪些影響,以此盡量降低AI模型的違規(guī)風(fēng)險(xiǎn)。
此外,于洋還建議,人工智能的治理,也需要大量的公眾參與,因?yàn)楹陀?xùn)練模型尋找漏洞相比,在大量應(yīng)用實(shí)踐中去發(fā)現(xiàn)漏洞、完善AI大模型,顯然更加高效,也能顯著降低AI大模型開(kāi)發(fā)成本,推動(dòng)AI大模型在各行各業(yè)的廣泛應(yīng)用。
關(guān)鍵詞: