ChatGPT 的技術(shù)特征與應(yīng)用前景

郭全中  張金熠

“碼”上閱讀

2022年11月30日，人工智能研究實(shí)驗(yàn)室OpenAI上線了新一代對(duì)話式自然語言識(shí)別（Natural Language Processing，NLP）模型ChatGPT，該模型一經(jīng)面世，首先引發(fā)了科技界的巨大關(guān)注，后迅速在社會(huì)層面形成廣泛熱議，在短短5天突破百萬用戶。毫無疑問，ChatGPT表現(xiàn)出對(duì)話生成式NLP模型在多場(chǎng)景、多行業(yè)、多領(lǐng)域的落地潛能與應(yīng)用前景，然而利用人工智能技術(shù)生成內(nèi)容（AI Generated Content，縮寫AIGC）乃至所有深度合成內(nèi)容當(dāng)前所隱含的經(jīng)濟(jì)、文化、社會(huì)風(fēng)險(xiǎn)也不容忽視。因此，有必要對(duì)ChatGPT技術(shù)特征及GPT（Generative Pre-Training）發(fā)展歷程展開梳理，在展望其應(yīng)用前景的同時(shí)，關(guān)注其現(xiàn)存風(fēng)險(xiǎn)并思考治理之道。

1. ChatGPT技術(shù)特征及GPT發(fā)展歷程

ChatGPT可以理解為由AI驅(qū)動(dòng)的聊天機(jī)器人，盡管在專業(yè)知識(shí)與基礎(chǔ)常識(shí)方面經(jīng)常犯錯(cuò)，與人聊天過程中表現(xiàn)出的連續(xù)且自洽的邏輯水平與快速響應(yīng)能力足以令人咋舌，而這些都來自于ChatGPT背后的強(qiáng)大技術(shù)支持，即GPT-3.5與整個(gè)GPT系列。

1.1 技術(shù)特征

就ChatGPT本身而言，其象征了OpenAI技術(shù)路線的方向性轉(zhuǎn)變，既集合了前幾代GPT的技術(shù)優(yōu)勢(shì)，又具有其獨(dú)特之處，具體包括：

第一，單一模態(tài)。與OpenAI的另一條知名多模態(tài)領(lǐng)域研究線，即人工智能圖像生成器DALL-E2不同，GPT系列始終貫徹了以語言模型為任務(wù)核心的宗旨，且GPT-2時(shí)期，所適用的任務(wù)開始鎖定在語言模型。因此，ChatGPT所使用的模態(tài)類型也是僅有文字語言，并未涉及視覺、聽覺等模態(tài)類型。

第二，巨量數(shù)據(jù)。AI模型的邏輯能力與輸出能力建立在以海量數(shù)據(jù)為基礎(chǔ)的計(jì)算機(jī)學(xué)習(xí)與虛擬生成之上。GPT系列的模型訓(xùn)練參數(shù)量也可以體現(xiàn)出來，從GPT-1的1.17億到GPT-2的15億，再到GPT-3的1750億，參數(shù)量從億級(jí)躍升至千億級(jí)，而以GPT-3.5為基礎(chǔ)模型微調(diào)生成的ChatGPT目前訓(xùn)練參數(shù)尚未公開。但可想而知，一向奉行“指數(shù)力量”的OpenAI，在GPT-3.5以及即將推出的GPT-4上至少可以達(dá)到千億級(jí)的訓(xùn)練參數(shù)量。盡管ChatGPT的訓(xùn)練策略與GPT系列奉行的半監(jiān)督學(xué)習(xí)或無監(jiān)督學(xué)習(xí)有所不同，更加關(guān)注對(duì)參數(shù)的標(biāo)注與強(qiáng)化學(xué)習(xí)，但在零樣本學(xué)習(xí)（Zero-Shot Learning，ZSL）成熟之前，人工智能通過巨量數(shù)據(jù)實(shí)現(xiàn)模型訓(xùn)練與迭代的發(fā)展路線依舊難以撼動(dòng)。

第三，人工標(biāo)注。GPT全稱為Generative Pre-trained Transformer，即生成型預(yù)訓(xùn)練變換模型。預(yù)訓(xùn)練模型的顯著特征是先運(yùn)用大規(guī)模語料訓(xùn)練語言模型，將訓(xùn)練結(jié)果參數(shù)保存并作為之后的模型初始化參數(shù)，從而使新的模型以小規(guī)模訓(xùn)練與少量時(shí)間得出較好模型。OpenAI的GPT系列都是采用Transformer的預(yù)訓(xùn)練模式，以避免NLP模型訓(xùn)練過程中需要大規(guī)模高質(zhì)量標(biāo)注數(shù)據(jù)且泛化能力不足等局限。但ChatGPT在GPT系列技術(shù)路線上發(fā)生了顛覆式迭代，在GPT-3.5大規(guī)模語言模型的基礎(chǔ)上，開始依托大量人工標(biāo)注數(shù)據(jù)，通過專業(yè)標(biāo)注人員（據(jù)OpenAI稱，是40位專業(yè)博士）為ChatGPT提供人類指令的高質(zhì)量答案，從而優(yōu)化GPT-3.5無法理解人類指令含義、無法判斷輸入的情況。

第四，強(qiáng)化學(xué)習(xí)。在如何更好理解人類指令方面，ChatGPT還采用了來自人類反饋的強(qiáng)化學(xué)習(xí)（Reinforcement Learning from Human Feedback，RLHF）進(jìn)行訓(xùn)練。強(qiáng)化學(xué)習(xí)，即通過獎(jiǎng)懲分明的系統(tǒng)打分，來更新參數(shù)以產(chǎn)生越來越高質(zhì)量的回答。據(jù)OpenAI官網(wǎng)Blog介紹，其創(chuàng)建了一個(gè)強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)模型：通過人工智能培訓(xùn)師對(duì)兩個(gè)或多個(gè)模型基于同一問題的對(duì)話響應(yīng)進(jìn)行排序。運(yùn)用這些獎(jiǎng)勵(lì)模型，OpenAI可以采取近端策略優(yōu)化對(duì)ChatGPT進(jìn)行微調(diào)，并對(duì)這一過程進(jìn)行了多次迭代。因此，在與ChatGPT的互動(dòng)過程中，人們發(fā)現(xiàn)它會(huì)承認(rèn)錯(cuò)誤、修復(fù)自己的答案，這是源于它從RLHF訓(xùn)練中獲取的強(qiáng)化學(xué)習(xí)并重新思考的能力。

1.2 GPT系列發(fā)展歷程

ChatGPT不是憑空出現(xiàn)的，而是建立在OpenAI對(duì)于語言模型，尤其NLP模型領(lǐng)域的持續(xù)研究與創(chuàng)造性探索。ChatGPT已經(jīng)再次引爆社會(huì)對(duì)人工智能的多方討論，但對(duì)于生成式AI而言，ChatGPT不是開始，也不會(huì)成為終點(diǎn)。生成式AI的應(yīng)用將如何展開，會(huì)帶來怎樣的影響，可以從GPT系列發(fā)展歷程中窺得些許啟示。

第一，GPT-1：選擇半監(jiān)督學(xué)習(xí)模式。2018年，OpenAI推出了第一代生成式預(yù)訓(xùn)練模型GPT-1，該模型采取的是生成式預(yù)訓(xùn)練Transformer模型，這是由谷歌公司在2017年提出的一種采用自注意力機(jī)制的深度學(xué)習(xí)模型。目前發(fā)布的整個(gè)GPT系列（包括GPT-1、GPT-2、GPT-3、GPT-3.5）都貫徹了這一預(yù)訓(xùn)練模式。在GPT-1之前，NLP任務(wù)需要通過大規(guī)模、高質(zhì)量標(biāo)注數(shù)據(jù)集來進(jìn)行有監(jiān)督的學(xué)習(xí)。而GPT-1采取了一種截然不同的深度學(xué)習(xí)模式，即半監(jiān)督學(xué)習(xí)。半監(jiān)督學(xué)習(xí)是先通過無監(jiān)督學(xué)習(xí)的預(yù)訓(xùn)練，運(yùn)用大量未標(biāo)注數(shù)據(jù)增強(qiáng)模型的語言能力，再進(jìn)行有監(jiān)督的微調(diào)，與大規(guī)模數(shù)據(jù)集集成以提高模型在NLP任務(wù)中的表現(xiàn)。這種方式減少了模型訓(xùn)練對(duì)數(shù)據(jù)標(biāo)注工作的依賴，使使GPT-1僅需要極少微調(diào)，就能夠強(qiáng)化其NLP任務(wù)能力，但也存在明顯的數(shù)據(jù)局限與泛化能力不足。 

第二，GPT-2：驗(yàn)證無監(jiān)督學(xué)習(xí)模式的力量。相信數(shù)據(jù)力量的OpenAI在2019年推出的GPT-2中，并沒有轉(zhuǎn)變技術(shù)策略，而是重點(diǎn)關(guān)注上一代出現(xiàn)的泛化能力不足問題，在訓(xùn)練數(shù)據(jù)與參數(shù)量上進(jìn)行調(diào)整，使用了更大的數(shù)據(jù)集WebText（取自Reddit上高贊的文章，約40GB文本數(shù)據(jù)、800萬個(gè)文檔），為模型添加了更多參數(shù)（達(dá)到15億個(gè)，是GPT-1的近13倍），提升了數(shù)據(jù)質(zhì)量與數(shù)據(jù)規(guī)模，從而使得GPT-2在任務(wù)遷移方面展現(xiàn)出更優(yōu)性能以及更驚人的生成能力。GPT-2的出現(xiàn)與性能提升，進(jìn)一步驗(yàn)證了無監(jiān)督學(xué)習(xí)的力量，即通過海量數(shù)據(jù)與大規(guī)模參數(shù)訓(xùn)練而成的NLP模型能夠無需額外訓(xùn)練具備遷移到其它類別任務(wù)的能力。 

第三，GPT-3與GPT-3.5：在海量訓(xùn)練參數(shù)基礎(chǔ)上加入人工標(biāo)注與強(qiáng)化學(xué)習(xí)。2020年發(fā)布的GPT-3被認(rèn)為是目前最強(qiáng)大的語言模型，能夠撰寫人類難以判別的文章，甚至編寫SQL查詢語句。而其強(qiáng)大性能依賴于海量訓(xùn)練參數(shù)的喂養(yǎng)。相比于GPT-2，GPT-3則是將大規(guī)模數(shù)據(jù)的力量發(fā)揮到極致，OpenAI為其提供了1750億的參數(shù)量，是GPT-2的10倍、GPT-1的100倍以上，45 TB的訓(xùn)練數(shù)據(jù)以及1200萬美元的訓(xùn)練費(fèi)用更是不在話下。在技術(shù)路線上，GPT-3刪去微調(diào)步驟，直接輸入自然文本作為指令，提升了GPT在閱讀文本后可接續(xù)問題的能力以及任務(wù)主題的廣泛性。GPT-3.5的主要杰作就是近期大火的ChatGPT。ChatGPT使用了微軟Azure AI超級(jí)計(jì)算基礎(chǔ)設(shè)施上的文本和代碼數(shù)據(jù)進(jìn)行訓(xùn)練，在訓(xùn)練參數(shù)上增加到GPT-3的10倍以上，延續(xù)了OpenAI對(duì)大規(guī)模數(shù)據(jù)的追求。此外，顛覆性地使用大量人工標(biāo)注數(shù)據(jù)與有人類反饋的強(qiáng)化學(xué)習(xí)，使得ChatGPT表現(xiàn)出出色的上下文對(duì)話能力甚至編程能力。 

縱觀GPT系列的發(fā)展，OpenAI始終貫徹了大規(guī)模數(shù)據(jù)與生成式預(yù)訓(xùn)練Transformer模型的技術(shù)路線，并通過不斷微調(diào)進(jìn)行模型迭代優(yōu)化，創(chuàng)造了ChatGPT的一鳴驚人。正如前文所說，ChatGPT不會(huì)是終點(diǎn)，OpenAI即將發(fā)布的GPT-4會(huì)將生成式AI帶向何方，還需拭目以待。

2.ChatGPT的應(yīng)用前景

ChatGPT盡管在自然語言文本的處理上仍有不足，會(huì)寫出看似合理但不正確且荒謬的答案，例如將劉強(qiáng)東寫作阿里巴巴集團(tuán)的聯(lián)合創(chuàng)始人，但其所表現(xiàn)出的強(qiáng)大基礎(chǔ)模型能力，能夠通過針對(duì)特定專業(yè)或行業(yè)進(jìn)行微調(diào)，以提供優(yōu)質(zhì)的專業(yè)性服務(wù)。因此，ChatGPT的應(yīng)用前景包括但不限于智能機(jī)器人、行業(yè)智能助手、輿情分析等領(lǐng)域。

2.1智能機(jī)器人

在2C場(chǎng)景中，智能機(jī)器人基于NLP的人機(jī)交互能力是產(chǎn)品發(fā)展的剛需。其中人形機(jī)器人在現(xiàn)實(shí)場(chǎng)景中與人對(duì)話，對(duì)流暢的語言交互能力更加依賴。只有機(jī)器人能夠理解人類指令并做出準(zhǔn)確合理的需求響應(yīng)，才能推動(dòng)人形機(jī)器人完成后續(xù)的各項(xiàng)任務(wù)，因此NLP技術(shù)水平直接影響著人形機(jī)器人的技術(shù)發(fā)展與產(chǎn)品落地。

然而NLP模型的構(gòu)建與訓(xùn)練需要花費(fèi)大量時(shí)間、精力以及算力，持續(xù)優(yōu)化NLP模式所需的算法、算力、算據(jù)都較為龐大，對(duì)于專注于實(shí)體機(jī)器人領(lǐng)域的技術(shù)來說，在保證人形機(jī)器人的各項(xiàng)軟硬件技術(shù)發(fā)展前提下投入大量成本進(jìn)行NLP模型的迭代并不現(xiàn)實(shí)。而ChatGPT的出現(xiàn)，進(jìn)一步提升了NLP技術(shù)前沿，若接入人形機(jī)器人應(yīng)用后，有望為人形機(jī)器人的2C場(chǎng)景提供更加仿真的人機(jī)互動(dòng)，加速人形機(jī)器人的產(chǎn)品落地。

此外，虛擬空間中的智能機(jī)器人也能夠依靠更為前沿的NLP技術(shù)增進(jìn)其與用戶的聊天體驗(yàn)，如游戲NPC、虛擬智能主播等，從而以此為基點(diǎn)探索新的用戶交互服務(wù)。

2.2行業(yè)智能助手

從GPT-3兩年的商業(yè)化嘗試可以看出，GPT系列并不能徹底取代某些職業(yè)，而更適合作為輔助生產(chǎn)力工具展開商業(yè)化實(shí)踐。在人工智能助手領(lǐng)域，智能客服、語音工作助手、智能翻譯等產(chǎn)業(yè)正在不斷成熟，但當(dāng)前的人工智能助手面臨著邏輯性不強(qiáng)、響應(yīng)不準(zhǔn)確等問題。這正是NLP技術(shù)能夠補(bǔ)足的行業(yè)短板。

在實(shí)踐過程中，大量用戶表示ChatGPT的對(duì)話體驗(yàn)要明顯優(yōu)于QQ小冰、Siri等智能助手的交互體驗(yàn)，盡管在生活常識(shí)性問題的準(zhǔn)確性上遠(yuǎn)不及后者，ChatGPT能夠通過強(qiáng)化學(xué)習(xí)的方式進(jìn)行自我糾錯(cuò)，在后續(xù)對(duì)話中糾正之前的錯(cuò)誤。此外，作為前沿NLP技術(shù)的模型代表，ChatGPT在代碼糾錯(cuò)、文學(xué)創(chuàng)作等方面表現(xiàn)出的生成性能與需求響應(yīng)能力，體現(xiàn)出其發(fā)展為行業(yè)智能助手的潛力。各行各業(yè)能夠通過對(duì)ChatGPT的微調(diào)實(shí)現(xiàn)特定行業(yè)的專業(yè)化迭代，從而基于NLP能力提供更準(zhǔn)確的助手服務(wù)。 

2.3輿情分析

ChatGPT的最大優(yōu)勢(shì)在于全球領(lǐng)先的NLP處理能力。出色的上下文對(duì)話能力背后的詞向量模型性能能夠適應(yīng)NPL任務(wù)，這也就意味著ChatGPT在最基礎(chǔ)的文本分類、詞性判斷、命名實(shí)體識(shí)別等NLP任務(wù)上表現(xiàn)不俗。對(duì)于輿情分析而言，由于中文文本語義多元、語法特殊、寓意隱晦等特點(diǎn)，準(zhǔn)確判斷文本色彩是輿情分析的重要難點(diǎn)。

利用強(qiáng)化學(xué)習(xí)模型，ChatGPT基于用戶互動(dòng)與反饋能夠?qū)ξ谋緦傩赃M(jìn)行更新，優(yōu)化其內(nèi)容理解與生成能力。這不僅為智能輿情分析提供了更為前沿的NLP技術(shù)，也為智能輿情分析模型的搭建提供參考思路。

參考文獻(xiàn)  

[1] Romera-Paredes B，Torr P H S. An Embarrassingly SimpleApproach to Zero-Shot Learning [M].Visual Attributes.Cham:Springer International Publishing，2017：11-30.

本文為北京市社會(huì)科學(xué)基金規(guī)劃重點(diǎn)項(xiàng)目“首都互聯(lián)網(wǎng)平臺(tái)企業(yè)社會(huì)責(zé)任與協(xié)同治理體系研究”的階段性成果，批準(zhǔn)號(hào)（項(xiàng)目編號(hào)：22XCA002）。

作者簡(jiǎn)介：郭全中，男，安徽臨泉，中央民族大學(xué)新聞與傳播學(xué)院教授、江蘇紫金傳媒智庫高級(jí)研究員；研究方向：傳媒經(jīng)濟(jì)、傳媒管理。張金熠，中央民族大學(xué)新聞與傳播學(xué)院碩士研究生。