用戶體驗

ChatGPT功能：回答后續(xù)問題、 承認錯誤、質(zhì)疑不正確的要求 以及拒J不適當(dāng)?shù)恼埱蟆?

理解用戶輸入信息意圖，回答 內(nèi)容完整有邏輯、有條理，重 點清晰；

真正做到多輪溝通，對上下文 有理解和記憶，對話能力更強。

算法的突破

LLM（large language model）：當(dāng)模型規(guī)模超過某個閾值之后， 對于通用任務(wù)的效果會顯著提升；

無監(jiān)督學(xué)習(xí)（Unsupervised pre-training）：又稱可預(yù)測學(xué)習(xí)， 該學(xué)習(xí)方式使得ChatGPT在無人工標(biāo)注數(shù)據(jù)的條件訓(xùn)練，數(shù)據(jù)更 多、數(shù)據(jù)成本更低，模型泛化能力更強；

CoT(Chain of Thought)思維鏈：該算法使得模型生成推理路徑， 并在敏感話題方面避免了無法回答的問題；

RLHF(Reinforcement Learning From Human Feedback)人類反 饋強化學(xué)習(xí)：ChatGPT能夠憑借強化學(xué)習(xí)的方式不斷優(yōu)化人類反 饋的語言模型。

算力、數(shù)據(jù)、人才、資金的投入

算力、資金的投入：GPT3.5訓(xùn)練階段總算力消耗約 3640PF-days，約使用10000個GPU+285000個CPU， OpenAI耗費10億美元租用Azure；截止202301，每個 月,ChatGPT預(yù)計花費公司1200萬美元；

數(shù)據(jù)：ChatGPT1訓(xùn)練數(shù)據(jù)來自公開的電子書； ChatGPT2訓(xùn)練數(shù)據(jù)來自Reddit； ChatGPT2訓(xùn)練數(shù)據(jù) 來自82.2%預(yù)處理的CommonCrawl語料庫、13.5%的 線上圖書（GPT1數(shù)據(jù)集及Bibliotik,）、3.8% Reddit 。

OpenAI創(chuàng)始人、技術(shù)團隊：OpenAI創(chuàng)始人均為科技 人才，現(xiàn)有375名正式員工，OpenAI一年人員支出 G達8931萬美元，人均約為23.8萬美元/年/人。