預(yù)訓(xùn)練之后，GPT-4 采用了與 InstructGPT 同樣的方法進(jìn)行 RLHF。OpenAI 先從人類標(biāo)注員處收集演示數(shù)據(jù)（給定一個(gè)輸入，演示模型應(yīng)該如何響應(yīng)），并對(duì)模型的輸出數(shù)據(jù)進(jìn)行排名（給定一個(gè)輸入和幾個(gè)輸出，將輸出從好到差進(jìn)行排序）。

然后執(zhí)行以下步驟：

1）利用收集到的人工標(biāo)注演示數(shù)據(jù)，使用監(jiān)督學(xué)習(xí)（SFT）來模擬演示中的行為以微調(diào) GPT-4；

2）使用收集到的排名數(shù)據(jù)來訓(xùn)練獎(jiǎng)勵(lì)模型（RM），該模型預(yù)測(cè)標(biāo)注員對(duì)給定輸出 的平均偏好；

3）使用獎(jiǎng)勵(lì)模型和強(qiáng)化學(xué)習(xí)（特別是 PPO 算法），優(yōu)化 GPT-4 SFT 模型。