D一階段： 訓(xùn)練監(jiān)督策略模型

GPT 3. 5本身很難理解人類(lèi)不同類(lèi)型指令中蘊(yùn)含的不同意圖， 也很難判斷生成內(nèi)容是否是G質(zhì)量的 結(jié)果。為了讓GPT 3. 5初步具備理解指令的意圖， 先會(huì)在數(shù)據(jù)集中隨機(jī)抽取問(wèn)題， 由人類(lèi)標(biāo)注人 員， 給出G質(zhì)量答案， 然后用這些人工標(biāo)注好的數(shù)據(jù)來(lái)微調(diào) GPT-3. 5模型 (獲得SFT模型, Supervised Fine-Tuning) 。

此時(shí)的SFT模型在遵循指令/對(duì)話(huà)方面已經(jīng)優(yōu)于 GPT-3， 但不一定符合人類(lèi)偏好。

第二階段： 訓(xùn)練獎(jiǎng)勵(lì)模型 ( Reward Mode， RM)

這個(gè)階段的主要是通過(guò)人工標(biāo)注訓(xùn)練數(shù)據(jù) (約33K個(gè)數(shù)據(jù)) ， 來(lái)訓(xùn)練回報(bào)模型。在數(shù)據(jù)集中隨機(jī)抽 取問(wèn)題， 使用D一階段生成的模型， 對(duì)于每個(gè)問(wèn)題， 生成多個(gè)不同的回答。人類(lèi)標(biāo)注者對(duì)這些結(jié)果 綜合考慮給出排名順序。這一過(guò)程類(lèi)似于教練或老師輔導(dǎo)。 接下來(lái)， 使用這個(gè)排序結(jié)果數(shù)據(jù)來(lái)訓(xùn)練獎(jiǎng)勵(lì)模型。對(duì)多個(gè)排序結(jié)果， 兩兩組合， 形成多個(gè)訓(xùn)練數(shù)據(jù) 對(duì)。 RM模型接受一個(gè)輸入， 給出評(píng)價(jià)回答質(zhì)量的分?jǐn)?shù)。這樣， 對(duì)于一對(duì)訓(xùn)練數(shù)據(jù)， 調(diào)節(jié)參數(shù)使得 G質(zhì)量回答的打分比低質(zhì)量的打分要G。

第三階段： 采用PPO ( P roximal Policy O ptimization， 近端策略?xún)?yōu)化) 強(qiáng)化學(xué)習(xí)來(lái)優(yōu)化策略。

PPO的核心思路在于將Policy G radient中On- policy的訓(xùn)練過(guò)程轉(zhuǎn)化為Off- policy， 即將在線(xiàn)學(xué)習(xí)轉(zhuǎn)化為離線(xiàn)學(xué)習(xí)， 這個(gè)轉(zhuǎn)化過(guò)程被稱(chēng)之為Importance Sampling。這一階段利用第二階段訓(xùn)練好 的獎(jiǎng)勵(lì)模型， 靠獎(jiǎng)勵(lì)打分來(lái)更新預(yù)訓(xùn)練模型參數(shù)。在數(shù)據(jù)集中隨機(jī)抽取問(wèn)題， 使用PPO模型生成回 答， 并用上一階段訓(xùn)練好的RM模型給出質(zhì)量分?jǐn)?shù)。把回報(bào)分?jǐn)?shù)依次傳遞， 由此產(chǎn)生策略梯度， 通 過(guò)強(qiáng)化學(xué)習(xí)的方式以更新PPO模型參數(shù)。

如果我們不斷重復(fù)第二和第三階段， 通過(guò)迭代， 會(huì)訓(xùn)練出更G質(zhì)量的ChatGPT模型。