1 減少人類反饋的RLAIF

2020年底， OpenAI前研究副總裁Dario A modei帶著10名員工創(chuàng)辦了一個(gè)人工智能公司 Anthropic。Anthropic 的創(chuàng)始團(tuán)隊(duì)成員， 大多為 OpenAI 的早期及核心員工， 參與過OpenAI的 GPT-3、多模態(tài)神經(jīng)元、人類偏好的強(qiáng)化學(xué)習(xí)等。

CAI用人工智能反饋來代替人類對表達(dá)無害性的偏好， 即RLAIF， 人工智能根據(jù)一套constitution 原則來評(píng)價(jià)回復(fù)內(nèi)容。

2 補(bǔ)足數(shù)理短板

ChatGPT雖然對話能力強(qiáng)， 但是在數(shù)理計(jì)算對話中容易出現(xiàn)一本正經(jīng)胡說八道的情況。 計(jì)算機(jī)學(xué)家Stephen Wolfram 為這一問題提出了解決方案。 Stephen Wolfram 創(chuàng)造了的 Wolfram 語言和計(jì)算知識(shí)搜索引擎 Wolfram | A lpha， 其后臺(tái)通過Mathematica實(shí)現(xiàn)。

ChatGPT 可以像人類使用 Wolfram|A lpha 一樣， 與 Wolfram|A lpha “對 話”， Wolfram|A lpha 則會(huì)用其符號(hào)翻譯能力將從 C hatGPT 獲得的自然語言表達(dá)“翻譯”為對 應(yīng)的符號(hào)化計(jì)算語言。

3 ChatGPT的小型化

雖然ChatGPT很強(qiáng)大， 但其模型大小和使用成本也讓很多人望而卻步。

有三類模型壓縮 (model compression) 可以降低模型的大小和成本。

D一種方法是量化 (quantization) ， 即降低單個(gè)權(quán)重的數(shù)值表示的精度。比如Tansformer從 FP32降到INT8對其精度影響不大。

第二種模型壓縮方法是剪枝 (pruning) ， 即刪除網(wǎng)絡(luò)元素， 包括從單個(gè)權(quán)重(非結(jié)構(gòu)化剪枝) 到 更G粒度的組件如權(quán)重矩陣的通道。這種方法在視覺和較小規(guī)模的語言模型中有效。

第三種模型壓縮方法是稀疏化。例如奧地利科學(xué)技術(shù)研究所 (ISTA)提出的SparseGPT ( arxiv.org/pdf/2301.0077 ) 可以將 GPT 系列模型單次剪枝到 50% 的稀疏性， 而無需任何重新 訓(xùn)練。對 GPT- 175B 模型， 只需要使用單個(gè) GPU 在幾個(gè)小時(shí)內(nèi)就能實(shí)現(xiàn)這種剪枝。