編碼預(yù)訓(xùn)練語言模型（Encoder-only Pre-trained Models）在預(yù)訓(xùn)練過程中只利用原始 Transformer 模型中的編碼器。相 應(yīng)的預(yù)訓(xùn)練任務(wù)通常選用掩碼語言建模任務(wù)（Masked Language Modeling）， 即掩碼�。ㄓ锰厥庾址� [MASK] 替換）輸入句子中一定比例的單詞后，要 求模型根據(jù)上下文信息去預(yù)測被遮掩的單詞。其中有有代表性的工作包括 BERT[2]，ALBERT[27]，RoBERTa[28]等。表 2.1列舉該架構(gòu)下的若干經(jīng)典模 型。

BERT BERT 模型是經(jīng)典的編碼預(yù)訓(xùn)練語言模型，其通過掩碼語言建 模和下一句預(yù)測任務(wù)，對 Transformer 模型的參數(shù)進(jìn)行預(yù)訓(xùn)練。

ALBERT ALBERT 是一個輕量化的 BERT 模型，作者通過分解詞向量 矩陣和共享 Transformer 層參數(shù)來減少模型參數(shù)個數(shù)。

RoBERTa 相較于 BERT 模型，RoBERTa 在預(yù)訓(xùn)練階段，采用了更多的 語料以及動態(tài)掩碼機制（不同輪次同一樣本掩碼不同的單詞），去掉了下一 句預(yù)測任務(wù)，同時采用了更大的批大小。