Transformer架構(gòu)由谷歌 于2017年提出，架構(gòu)核 心為Self-Attention自注 意力機制

1、RNN采用從前往后收集信息的線性序列結(jié)構(gòu)，導(dǎo)致在大規(guī)模并行下的計算能力不足； Transformer架構(gòu)不存在序列依賴，使其在大規(guī)模并行計算下的能力明顯優(yōu)于RNN。

2、CNN模型通過卷積層捕獲遠距離特征，受卷積核限制；Transformer應(yīng)用位置函數(shù)進行 編碼，從而在集成信息過程中自然地建立單詞間的聯(lián)系，長距離特征捕獲能力更強。

綜合來看，Transformer不論是在執(zhí)行任務(wù)能力還是運行速度上，均是更好的選擇

基于RLHF的算法應(yīng)用基于人類反饋強化學(xué)習(xí)模式三步法訓(xùn)練模型

1、訓(xùn)練監(jiān)督策略模型：從數(shù)據(jù)集中隨機抽取問題，由工程師對預(yù)期的輸出結(jié)果進行標注，以 此在GPT-3.5基礎(chǔ)上對模型進行微調(diào)。

2、獎勵模型：從微調(diào)后的模型中隨機抽取問題并生成幾個輸出結(jié)果，由工程師對結(jié) 果按質(zhì)量從G到低排序，將排序后的結(jié)果用于獎勵模型訓(xùn)練

3、近端策略優(yōu)化PPO強 化學(xué)習(xí)：通過獎勵模型產(chǎn)生優(yōu)的輸出結(jié)果后，將該結(jié)果對模型參數(shù)進行迭代 與優(yōu)化，并不斷循環(huán)反復(fù)這一過程，終得到G質(zhì)量的ChatGPT模型。

推理能力的引入： 在基于大量代碼訓(xùn)練構(gòu)建的Codex模型上引入了推理能力