預(yù)訓(xùn)練之后，GPT-4 采用了與 InstructGPT 同樣的方法進(jìn)行 RLHF。OpenAI 先從人類 標(biāo)注員處收集演示數(shù)據(jù)（給定一個(gè)輸入，演示模型應(yīng)該如何響應(yīng)），并對(duì)模型的輸出數(shù)據(jù)進(jìn) 行排名（給定一個(gè)輸入和幾個(gè)輸出，將輸出從好到差進(jìn)行排序）。然后執(zhí)行以下步驟： 1）利用收集到的人工標(biāo)注演示數(shù)據(jù)，使用監(jiān)督學(xué)習(xí)（SFT）來(lái)模擬演示中的行為以微調(diào) GPT-4；2）使用收集到的排名數(shù)據(jù)來(lái)訓(xùn)練獎(jiǎng)勵(lì)模型（RM），該模型預(yù)測(cè)標(biāo)注員對(duì)給定輸出 的平均偏好；3）使用獎(jiǎng)勵(lì)模型和強(qiáng)化學(xué)習(xí)（特別是 PPO 算法），優(yōu)化 GPT-4 SFT 模型。

基于規(guī)則的獎(jiǎng)勵(lì)模型以更細(xì)的粒度進(jìn)一步引導(dǎo)模型。RLHF 微調(diào)后的模型仍然會(huì)不時(shí)出現(xiàn) 人類不想看到的行為。因此，OpenAI 在 RLHF 基礎(chǔ)上增加基于規(guī)則的獎(jiǎng)勵(lì)模型（RBRMs）。 RBRM 是一組 zero-shot 的 GPT-4 分類器（classifier）。分類器在 RLHF 微調(diào)期間針對(duì)正確 行為（例如拒J生成有害內(nèi)容或不拒J無(wú)害請(qǐng)求），向 GPT-4 策略模型提供額外的獎(jiǎng)勵(lì)信號(hào)。 RBRM 有三個(gè)輸入：提示（可選）、策略模型的輸出和人類編寫的用于如何評(píng)估輸出的規(guī)則。 在安全相關(guān)的訓(xùn)練提示集上，獎(jiǎng)勵(lì) GPT-4 拒J有害內(nèi)容請(qǐng)求，例如非法建議；同樣獎(jiǎng)勵(lì) GPT-4 沒有拒J對(duì)安全和可回答問(wèn)題的請(qǐng)求。