變換模型(Transformer)是一種基于自注意力機制的神經網絡結構，初是由Vaswani等人山印在論文"Attention is All You Need"中提出的。該結構主要用于自然語言處理任務，特別是機器翻譯任務，由于在這些任務中序列的長度通常很長，因此傳統(tǒng)的循環(huán)神經網絡(RNN)和卷積神經網絡(CNN)的效果不理想，而Transformer通過引入自注意力機制，實現(xiàn)了對序列的并行處理，并取得了較好的效果。

在Transformer中，自注意力機制可以在不同位置之間計算注意力權重，從而獲得一個綜合的表示。具體來說，輸入序列先經過一個叫做嵌入層(Embedding)的模塊，將每個單詞嵌入到一個d維的向量空間中。然后，經過多個層次的自注意力和前饋神經網絡(Feed-Forward Network)的計算，得到終的輸出。自注意力機制可以在序列中的每個位置計算權重，從而計算每個位置與序列中其他位置的關系。這樣的注意力機制可以捕獲序列中的長期依賴關系，而不像傳統(tǒng)的RNN和LSTM一樣，只能處理有限長度的序列。

變換模型在自然語言處理L域中應用廣泛，特別是在機器翻譯、文本分類、語言模型等任務中取得了非常好的效果。同時，變換模型的結構也被廣泛應用到其他L域，例如圖像處理、語音識別等任務中，成為了一種重要的神經網絡結構。