簡(jiǎn)而言之，該堆棧（stack， 論文中也叫基礎(chǔ)設(shè)施和優(yōu)化方法）能夠通過評(píng)估小計(jì)算量模型的性能，準(zhǔn)確預(yù)測(cè)大計(jì)算量模型的性能，減少訓(xùn)練成本。以 GPT-4 為例，雖然官方未給出具體的模型參數(shù)，但是指出 對(duì)于 GPT-4 這樣的大型訓(xùn)練，進(jìn)行廣泛的特定于模型的調(diào)優(yōu)是不可行的。而大范圍可預(yù)測(cè)的深度學(xué)習(xí)堆棧，能夠通過計(jì)算比 GPT-4 計(jì)算量少 1000x-10000x（x 代表倍）的模型性能， 預(yù)測(cè)出“完全體”GPT-4 的性能，實(shí)現(xiàn)在訓(xùn)練之前了解模型的功能，并及時(shí)改善關(guān)于對(duì)齊、 安全性和部署的決策。該方法的理論依據(jù)是：經(jīng)過適當(dāng)訓(xùn)練的大型語(yǔ)言模型的終損失， 很好地近似于用于訓(xùn)練模型的計(jì)算量的冪律。

除了預(yù)測(cè)終損失，還可以使用其他可解釋的能力指標(biāo)進(jìn)行預(yù)測(cè)。其中一個(gè)指標(biāo)是 HumanEval 數(shù)據(jù)集的通過率。HumanEval 數(shù)據(jù)集衡量的是合成不同復(fù)雜度的 Python 函數(shù) 的能力。通過計(jì)算比 GPT-4 計(jì)算量少 1000x 模型在 HumanEval 數(shù)據(jù)集子集的通過率，成 功預(yù)測(cè)了 GPT-4 在 HumanEval 數(shù)據(jù)集子集的通過率。