從前沿的研究和應(yīng)用方向來(lái)看，AI（人工智能）主要有 NLP（自然語(yǔ)言處理）、CV （計(jì)算機(jī)視覺(jué)）兩大L域，分別聚焦于對(duì)自然語(yǔ)言和圖像進(jìn)行分析、處理。其中， ChatGPT 及其背后的 GPT 系列模型帶來(lái)的影響主要集中于 NLP L域。因此，我們通過(guò) 復(fù)盤過(guò)去 10 年 NLP L域的技術(shù)發(fā)展，來(lái)解答一個(gè)關(guān)鍵的問(wèn)題：從技術(shù)角度看，ChatGPT 究竟是不是革命性的突破？

從技術(shù)角度復(fù)盤過(guò)去 10 年的 AI 發(fā)展歷程，有四個(gè)重要的時(shí)間節(jié)點(diǎn)：

1）2017 年 Transformer 統(tǒng)一 NLP 研究范式。谷歌在著名論文《Attention Is All You Need》中推出 Transformer 架構(gòu)，通過(guò)引入“自注意力”機(jī)制，J大拓展了 AI 模型在不同任務(wù)中的可遷移性。該論文發(fā)布 5 年內(nèi)被引用超過(guò) 3.8 萬(wàn)次，統(tǒng)一了 NLP 的研究范式，后續(xù)也被廣泛跨L域應(yīng)用于 CV 場(chǎng)景。

2）2018 年谷歌、OpenAI 路線之爭(zhēng)：完形填空 vs 文本生成。2018 年，谷歌、 OpenAI 基于 Transformer 框架，分別推出了 AI 模型 BERT 和 GPT-1。通俗來(lái)講，二者 技術(shù)路線主要的區(qū)別在于：預(yù)訓(xùn)練任務(wù)中，谷歌 BERT 主要使用“完形填空”的方 式，即隨機(jī)遮蓋一些文字，讓 AI 模型通過(guò)上下文理解進(jìn)行補(bǔ)全；而 GPT 則主要使用 “文本生成”的方式，即通過(guò)完全遮蓋訓(xùn)練語(yǔ)料中的“下文”，訓(xùn)練模型基于“上文”， 逐字逐句地生成文本。從應(yīng)用結(jié)果來(lái)看，谷歌 BERT 在文本分類、關(guān)鍵詞提取等“自 然語(yǔ)言理解”類任務(wù)中的表現(xiàn)好于初代 GPT。而后續(xù)隨著模型參數(shù)量的指數(shù)J提升， GPT 模型在翻譯、寫作、問(wèn)答等“自然語(yǔ)言生成”類任務(wù)中的優(yōu)勢(shì)開(kāi)始逐步顯現(xiàn)。

3）2020 年 GPT3 優(yōu)勢(shì)初顯，千億參數(shù)量催生“涌現(xiàn)”效應(yīng)。2020 年，OpenAI 推 出新的 AI 大模型 GPT-3，其參數(shù)量G達(dá) 1750 億，相較上一代 GPT-2 的 15 億G出一 百余倍。2020 年后，AI 大模型的“涌現(xiàn)”效應(yīng)得到業(yè)內(nèi)的廣泛關(guān)注，即當(dāng)參數(shù)量G 于特定量J后（一般認(rèn)為千億J別是門檻），再基于模型結(jié)構(gòu)、訓(xùn)練方法的調(diào)整，AI 大模型的特定性能會(huì)出現(xiàn)指數(shù)J的提升，如能夠準(zhǔn)確回答未經(jīng)過(guò)訓(xùn)練的問(wèn)題。此后， 谷歌、Meta 等相繼推出千億參數(shù)大模型，而 GPT-3 的技術(shù)路徑優(yōu)勢(shì)日益凸顯。

4）2022-2023 年：ChatGPT 橫空出世，技術(shù)路徑再統(tǒng)一。2022 年 11 月，OpenAI 基于新 AI 大模型 GPT-3.5，使用來(lái)自人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)行精調(diào)，發(fā)布 了聊天機(jī)器人 ChatGPT。經(jīng)過(guò)廣大 B 端、C 端用戶的大規(guī)模測(cè)試，ChatGPT 在文本生 成場(chǎng)景中的通用性遠(yuǎn)超過(guò)谷歌 BARD 等同類應(yīng)用。2023 年 3 月，OpenAI 發(fā)布 GPT-4， 使得 ChatGPT 的問(wèn)答深度、廣度，以及多模態(tài)識(shí)別能力進(jìn)一步增強(qiáng)。至此，OpenAI 的 GPT 系列已全面于谷歌、Meta 等競(jìng)爭(zhēng)對(duì)手，其技術(shù)路徑的先進(jìn)性得到充分驗(yàn)證。