RLHF 是 InstructGPT、ChatGPT、GPT-4 成功的關(guān)鍵之一。在 RLHF 中， 根據(jù)人類反饋來對(duì)模型的響應(yīng)進(jìn)行排序標(biāo)注 (如，根據(jù)人類偏好選擇文本簡(jiǎn)介)。 然后，用這些帶標(biāo)注的響應(yīng)來訓(xùn)練偏好模型，該模型用于返回 RL 優(yōu)化器的標(biāo)量 獎(jiǎng)勵(lì)。后，通過強(qiáng)化學(xué)習(xí)訓(xùn)練對(duì)話代理來模擬偏好模型�；�于 RLHF 的 GPT- 4 訓(xùn)練方法由三個(gè)不同的步驟組成

步驟 1：對(duì)基于監(jiān)督學(xué)習(xí)獲取的 GPT-3.5 模型進(jìn)行微調(diào)，得到 SFT 模型。 微調(diào)是使用問題/答案對(duì)完成的。先會(huì)在數(shù)據(jù)集中隨機(jī)抽取問題，由人類標(biāo)注 人員，給出G質(zhì)量答案，然后用這些人工標(biāo)注好的數(shù)據(jù)來微調(diào) GPT-3.5 模型， 通過對(duì)輸入和輸出數(shù)據(jù)的擬合來改進(jìn)網(wǎng)絡(luò)，調(diào)整模型的參數(shù)。此時(shí)的 SFT 模型 在遵循指令/對(duì)話方面已經(jīng)優(yōu)于 GPT-3，但不一定符合人類偏好。

步驟 2：標(biāo)注排序數(shù)據(jù)集 ，訓(xùn)練獎(jiǎng)勵(lì)模型 RM：這個(gè)階段的主要是通過人工 標(biāo)注訓(xùn)練數(shù)據(jù)，來訓(xùn)練回報(bào)模型。在數(shù)據(jù)集中隨機(jī)抽取問題，使用D一階段生成 的模型，對(duì)于每個(gè)問題，生成多個(gè)不同的回答。人類標(biāo)注者對(duì)這些結(jié)果綜合考慮 給出排名順序。這一過程類似于教練或老師輔導(dǎo)。接下來，使用這個(gè)排序結(jié)果數(shù) 據(jù)來訓(xùn)練獎(jiǎng)勵(lì)模型。對(duì)多個(gè)排序結(jié)果，兩兩組合，形成多個(gè)訓(xùn)練數(shù)據(jù)對(duì)。RM 模 型接受一個(gè)輸入，給出評(píng)價(jià)回答質(zhì)量的分?jǐn)?shù)。這樣，對(duì)于一對(duì)訓(xùn)練數(shù)據(jù)，調(diào)節(jié)參 數(shù)使得G質(zhì)量回答的打分比低質(zhì)量的打分要G

步驟 3：使用強(qiáng)化學(xué)習(xí)方法 PPO 進(jìn)一步微調(diào) SFT：PPO 的核心思路在于將 Policy Gradient 中 On-policy 的訓(xùn)練過程轉(zhuǎn)化為 Off-policy，即將在線學(xué)習(xí)轉(zhuǎn)化為 離線學(xué)習(xí)，這個(gè)轉(zhuǎn)化過程被稱之為 Importance Sampling。這一階段利用第二階 段訓(xùn)練好的獎(jiǎng)勵(lì)模型，靠獎(jiǎng)勵(lì)打分來更新預(yù)訓(xùn)練模型參數(shù)。在數(shù)據(jù)集中隨機(jī)抽取 問題，使用 PPO 模型生成回答，并用上一階段訓(xùn)練好的 RM 模型給出質(zhì)量分?jǐn)?shù)。 把回報(bào)分?jǐn)?shù)依次傳遞，由此產(chǎn)生策略梯度，通過強(qiáng)化學(xué)習(xí)的方式以更新 PPO 模 型參數(shù)

其中，步驟 1 只進(jìn)行一次，步驟 2 和步驟 3 可以進(jìn)行多次迭代以得到效果更 好 RM 和 SFT 模型。