相較于其它大規(guī)模語言模型： 相較于其它的大規(guī)模語言模型，ChatGPT 使用了更多的多輪對話數(shù)據(jù)進行指令微調(diào)，這使其擁有了建模對話歷史的能 力，能持續(xù)和用戶交互。

同時因為現(xiàn)實世界語言數(shù)據(jù)的偏見性，大規(guī)模語言模型基于這些數(shù)據(jù)預(yù) 訓(xùn)練可能會生成有害的回復(fù)。ChatGPT 在指令微調(diào)階段通過基于人類反饋 的強化學習調(diào)整模型的輸出偏好，使其能輸出更符合人類預(yù)期的結(jié)果（即能 進行翔實的回應(yīng)、公平的回應(yīng)、拒J不當問題、拒J知識范圍外的問題），一 定程度上緩解了安全性和偏見問題，使其更加耐用；同時其能利用真實的用 戶反饋不斷進行 AI 正循環(huán)，持續(xù)增強自身和人類的這種對齊能力，輸出更 安全的回復(fù)。