RLHF 是 ChatGPT/InstrcutGPT 實(shí)現(xiàn)與人類意圖對(duì)齊，即按照人類指 令盡可能生成無負(fù)面影響結(jié)果的重要技術(shù)[16]。該算法在強(qiáng)化學(xué)習(xí)框架下實(shí) 現(xiàn)，大體可分為以下兩個(gè)階段：

獎(jiǎng)勵(lì)模型訓(xùn)練，該階段旨在獲取擬合人類偏好的獎(jiǎng)勵(lì)模型。獎(jiǎng)勵(lì)模型以提示 和回復(fù)作為輸入，計(jì)算標(biāo)量獎(jiǎng)勵(lì)值作為輸出。獎(jiǎng)勵(lì)模型的訓(xùn)練過程通過擬合 人類對(duì)于不同回復(fù)的傾向性實(shí)現(xiàn)。具體而言，先基于在人類撰寫數(shù)據(jù)上精 調(diào)的模型，針對(duì)同一提示采樣多條不同回復(fù)。然后，將回復(fù)兩兩組合構(gòu)成一 條獎(jiǎng)勵(lì)模型訓(xùn)練樣本，由人類給出傾向性標(biāo)簽。終，獎(jiǎng)勵(lì)模型通過每條樣 本中兩個(gè)回復(fù)的獎(jiǎng)勵(lì)值之差計(jì)算傾向性概率擬合人類標(biāo)簽，進(jìn)而完成獎(jiǎng)勵(lì)模型的訓(xùn)練。

生成策略優(yōu)化，給定習(xí)得的獎(jiǎng)勵(lì)模型，ChatGPT/InstructGPT 的參數(shù)將被 視為一種策略，在強(qiáng)化學(xué)習(xí)的框架下進(jìn)行訓(xùn)練。先，當(dāng)前策略根據(jù)輸入的 查詢采樣回復(fù)。然后，獎(jiǎng)勵(lì)模型針對(duì)回復(fù)的質(zhì)量計(jì)算獎(jiǎng)勵(lì)，反饋回當(dāng)前策略 用以更新。值得注意的是，為防止上述過程的過度優(yōu)化，損失函數(shù)同時(shí)引入 了詞J別的 KL 懲罰項(xiàng)。此外，為了避免在公開 NLP 數(shù)據(jù)集上的性能退化， 策略更新過程兼顧了預(yù)訓(xùn)練損失。