| 詳細信息 |
ChatGPT有大規(guī)模語言模型自身的局限 |
| 編輯： 來源：哈爾濱工業(yè)大學自然語言處理研究所 時間：2023/3/31 |
身為大規(guī)模語言模型，ChatGPT 難免有 著 LLM 的通用局限，具體表現(xiàn)在以下幾個方面： 1. 可信性無法保證：ChatGPT 的回復(fù)可能是在一本正經(jīng)地胡說八道，語句通暢貌似合理，但其實完全大相徑庭，目前模型還不能提供合理的 證據(jù)進行可信性的驗證； 2. 時效性差：ChatGPT 無法實時地融入新知識，其知識范圍局限于基礎(chǔ) 大規(guī)模語言模型使用的預(yù)訓練數(shù)據(jù)時間之前，可回答的知識范圍有明顯的邊界； 3. 成本G昂：ChatGPT 基礎(chǔ)大模型訓練成本G、部署困難、每次調(diào)用花 費不菲、還可能有延遲問題，對工程能力有很G的要求； 4. 在特定的專業(yè)L域上表現(xiàn)欠佳：大規(guī)模語言模型的訓練數(shù)據(jù)是通用數(shù) 據(jù)，沒有L域?qū)I(yè)數(shù)據(jù)，比如針對特定L域的專業(yè)術(shù)語翻譯做的并不 好； 5. 語言模型每次的生成結(jié)果是 beam search 或者采樣的產(chǎn)物，每次都會有細微的不同。同樣地，ChatGPT 對輸入敏感，對于某個指令可能回 答不正確，但稍微替換幾個詞表達同樣的意思重新提問，又可以回答 正確，目前還不夠穩(wěn)定。
|
| 【聲明：轉(zhuǎn)載此文出于傳遞更多信息之目的，并不意味著贊同其觀點或證實其描述，文章內(nèi)容僅供參考，如有侵權(quán)，請聯(lián)系刪除�！� |
| 推薦信息 |
|
ChatGPT相較于微調(diào)小模型的優(yōu)點
通過大量指令激發(fā)的泛化能力在零樣本和少樣本場景下具有顯著優(yōu)勢,在未 見過的任務(wù)上也可以有所表現(xiàn),在微調(diào)小模型的范式下實現(xiàn)的泛化能力
ChatGPT相較于其它大規(guī)模語言模型的優(yōu)點
ChatGPT 使用了更多的多輪對話數(shù)據(jù)進行指令微調(diào),這使其擁有了建模對話歷史的能 力,能持續(xù)和用戶交互,基于人類反饋 的強化學習調(diào)整模型的輸出偏好
ChatGPT相較于普通聊天機器人的優(yōu)點
ChatGPT類似于市場上其他聊天機器人(微軟小冰,百度度秘等),可與人類自然交互 簡單直接;ChatGPT 的回答更準確, 答案更流暢,能進行更細致的推理,能完成更多的任務(wù)
ChatGPT 的未來技術(shù)發(fā)展方向
無法產(chǎn)生本應(yīng)產(chǎn)生的正確回復(fù); 對于輸入措辭比較敏感;生成的回復(fù)通常過于冗長;其模型過于龐大使用成本過高;減少人類反饋信息的 RLAIF
ChatGPT 插件發(fā)布帶來的十大關(guān)注點
定義大模型的toC平臺商業(yè)模式;開放 API 標準;未來應(yīng)用內(nèi)又可反向嵌入 ChatGPT;知識更新問題被解決;很大程度解決準確性問題
ChatGPT的未來改進方向
ChatGPT雖然對話能力強,但是在數(shù)理計算對話中容易出現(xiàn)一本正經(jīng)胡說八道的情況,ChatGPT很強大,但其模型大小和使用成本也讓很多人望而卻步
ChatGPT的局限有哪些
ChatGPT無法處理復(fù)雜冗長或者特別專業(yè)的語言結(jié)構(gòu);ChatGPT需要非常大量的算力;ChatGPT還沒法在線的把新知識納入其中;ChatGPT仍然是黑盒模型
ChatGPT的訓練過程分為三個階段
訓練獎勵模型通過人工標注訓練數(shù)據(jù) (約33K個數(shù)據(jù)) 來訓練回報模型;采用PPO強化學習來優(yōu)化策略將在線學習轉(zhuǎn)化為離線學習靠獎勵打分來更新預(yù)訓練模型參數(shù) |
| 智能運輸機器人 |
| AGV無人運輸機器人-料箱版 |
| AGV無人運輸機器人-標準版 |
| AGV無人運輸機器人-料箱版（鈑金材質(zhì)） |
| AGV無人運輸機器人-貨架版（鈑金材質(zhì)） |
| AGV無人運輸機器人-貨架版（亮面不銹鋼材質(zhì)） |
| AGV無人運輸機器人-開放版 |
| 行業(yè)動態(tài) |
