| 詳細(xì)信息 |
ChatGPT相較于普通聊天機(jī)器人的優(yōu)點(diǎn) |
| 編輯： 來源：哈爾濱工業(yè)大學(xué)自然語(yǔ)言處理研究所 時(shí)間：2023/3/31 |
相較于普通聊天機(jī)器人： ChatGPT 的發(fā)布形式是一款聊天機(jī)器人，類 似于市場(chǎng)上其他聊天機(jī)器人（微軟小冰、百度度秘等），也是直接對(duì)其下指 令即可與人類自然交互，簡(jiǎn)單直接。但相較之下，ChatGPT 的回答更準(zhǔn)確， 答案更流暢，能進(jìn)行更細(xì)致的推理，能完成更多的任務(wù)，這得益于其以下三 方面的能力： 1. 強(qiáng)大的底座能力：ChatGPT 基于 GPT-3.5 系列的 Code-davinci-002 指令微調(diào)而成。而 GPT-3.5 系列是一系列采用了數(shù)千億的 token 預(yù)訓(xùn) 練的千億大模型，足夠大的模型規(guī)模賦予了 ChatGPT 更多的參數(shù)量 記憶充足的知識(shí)，同時(shí)其內(nèi)含“涌現(xiàn)”的潛力，為之后的指令微調(diào)能 力激發(fā)打下了堅(jiān)實(shí)的基礎(chǔ)； 2. 驚艷的思維鏈推理能力：在文本預(yù)訓(xùn)練的基礎(chǔ)上，ChatGPT 的基礎(chǔ)大 模型采用 159G 的代碼進(jìn)行了繼續(xù)預(yù)訓(xùn)練，借助代碼分步驟、分模塊解決問題的特性，模型涌現(xiàn)出了逐步推理的能力，在模型表現(xiàn)上不再 是隨著模型規(guī)模線性增長(zhǎng)，有了激增，打破了 scaling law； 3. 實(shí)用的零樣本能力：ChatGPT 通過在基礎(chǔ)大模型上利用大量種類的 指令進(jìn)行指令微調(diào)，模型的泛化性得到了顯著地激發(fā)，可以處理未見 過的任務(wù)，使其通用性大大提G，在多種語(yǔ)言、多項(xiàng)任務(wù)上都可以進(jìn) 行處理。 綜上，在大規(guī)模語(yǔ)言模型存儲(chǔ)充足的知識(shí)和涌現(xiàn)的思維鏈能力的基礎(chǔ) 上，ChatGPT 輔以指令微調(diào)，幾乎做到了知識(shí)范圍內(nèi)的無(wú)所不知，且難以 看出破綻，已遙遙普通的聊天機(jī)器人。
|
| 【聲明：轉(zhuǎn)載此文出于傳遞更多信息之目的，并不意味著贊同其觀點(diǎn)或證實(shí)其描述，文章內(nèi)容僅供參考，如有侵權(quán)，請(qǐng)聯(lián)系刪除�！� |
| 推薦信息 |
|
ChatGPT 的未來技術(shù)發(fā)展方向
無(wú)法產(chǎn)生本應(yīng)產(chǎn)生的正確回復(fù); 對(duì)于輸入措辭比較敏感;生成的回復(fù)通常過于冗長(zhǎng);其模型過于龐大使用成本過高;減少人類反饋信息的 RLAIF
ChatGPT 插件發(fā)布帶來的十大關(guān)注點(diǎn)
定義大模型的toC平臺(tái)商業(yè)模式;開放 API 標(biāo)準(zhǔn);未來應(yīng)用內(nèi)又可反向嵌入 ChatGPT;知識(shí)更新問題被解決;很大程度解決準(zhǔn)確性問題
ChatGPT的未來改進(jìn)方向
ChatGPT雖然對(duì)話能力強(qiáng),但是在數(shù)理計(jì)算對(duì)話中容易出現(xiàn)一本正經(jīng)胡說八道的情況,ChatGPT很強(qiáng)大,但其模型大小和使用成本也讓很多人望而卻步
ChatGPT的局限有哪些
ChatGPT無(wú)法處理復(fù)雜冗長(zhǎng)或者特別專業(yè)的語(yǔ)言結(jié)構(gòu);ChatGPT需要非常大量的算力;ChatGPT還沒法在線的把新知識(shí)納入其中;ChatGPT仍然是黑盒模型
ChatGPT的訓(xùn)練過程分為三個(gè)階段
訓(xùn)練獎(jiǎng)勵(lì)模型通過人工標(biāo)注訓(xùn)練數(shù)據(jù) (約33K個(gè)數(shù)據(jù)) 來訓(xùn)練回報(bào)模型;采用PPO強(qiáng)化學(xué)習(xí)來優(yōu)化策略將在線學(xué)習(xí)轉(zhuǎn)化為離線學(xué)習(xí)靠獎(jiǎng)勵(lì)打分來更新預(yù)訓(xùn)練模型參數(shù)
讀文檔解惑：DocsGPT，https://docsgpt.arc53.com/
DocsGPT 提出基于產(chǎn)品的某個(gè)版本寫個(gè) xx 示例的要求，讓文檔變成一個(gè)更貼近用戶的好文檔，讓 GPT 幫你解答用戶的困惑
看論文：chatgpt-arxiv-extension讀論文的智能小助手
ArxivGPT能幫你讀論文,在一些地方給出注解,這個(gè)項(xiàng)目是基于上面的chatgpt-google-extension二次開發(fā)而來,以生成論文的讀后感,提高讀論文的效率
強(qiáng)化搜索：chatgpt-google-extension基于 ChatGPT 強(qiáng)化了 Google
chatgpt-google-extension項(xiàng)目基于 ChatGPT 強(qiáng)化了 Google 搜索能力，它的使用也很簡(jiǎn)單，裝個(gè) Chrome 或者 Firefox 插件就能玩了 |
| 智能運(yùn)輸機(jī)器人 |
| AGV無(wú)人運(yùn)輸機(jī)器人-料箱版 |
| AGV無(wú)人運(yùn)輸機(jī)器人-標(biāo)準(zhǔn)版 |
| AGV無(wú)人運(yùn)輸機(jī)器人-料箱版（鈑金材質(zhì)） |
| AGV無(wú)人運(yùn)輸機(jī)器人-貨架版（鈑金材質(zhì)） |
| AGV無(wú)人運(yùn)輸機(jī)器人-貨架版（亮面不銹鋼材質(zhì)） |
| AGV無(wú)人運(yùn)輸機(jī)器人-開放版 |
| 行業(yè)動(dòng)態(tài) |
