人工智能發(fā)展的突破得益于G質(zhì)量數(shù)據(jù)的發(fā)展。例如，大型語(yǔ)言模型的新進(jìn)展依賴于更 G質(zhì)量、更豐富的訓(xùn)練數(shù)據(jù)集：與 GPT-2 相比，GPT-3 對(duì)模型架構(gòu)只進(jìn)行了微小的修改， 但花費(fèi)精力收集更大的G質(zhì)量數(shù)據(jù)集進(jìn)行訓(xùn)練。ChatGPT 與 GPT-3 的模型架構(gòu)類似，并使 用 RLHF（來(lái)自人工反饋過(guò)程的強(qiáng)化學(xué)習(xí)）來(lái)生成用于微調(diào)的G質(zhì)量標(biāo)記數(shù)據(jù)。

基于此，人工智能L域的權(quán)威學(xué)者吳承恩發(fā)起了“以數(shù)據(jù)為中心的 AI”運(yùn)動(dòng)，即在模型相 對(duì)固定的前提下，通過(guò)提升數(shù)據(jù)的質(zhì)量和數(shù)量來(lái)提升整個(gè)模型的訓(xùn)練效果。提升數(shù)據(jù)集質(zhì) 量的方法主要有：添加數(shù)據(jù)標(biāo)記、清洗和轉(zhuǎn)換數(shù)據(jù)、數(shù)據(jù)縮減、增加數(shù)據(jù)多樣性、持續(xù)監(jiān) 測(cè)和維護(hù)數(shù)據(jù)等。因此，我們認(rèn)為未來(lái)數(shù)據(jù)成本在大模型開(kāi)發(fā)中的成本占比或?qū)⑻嵘�，�? 要包括數(shù)據(jù)采集，清洗，標(biāo)注等成本。

我們認(rèn)為 AI 大模型需要G質(zhì)量、大規(guī)模、多樣性的數(shù)據(jù)集。

1）G質(zhì)量：G質(zhì)量數(shù)據(jù)集能夠提G模型精度與可解釋性，并且減少收斂到優(yōu)解的時(shí)間， 即減少訓(xùn)練時(shí)長(zhǎng)。

2）大規(guī)模：OpenAI 在《Scaling Laws for Neural Language Models》中提出 LLM 模型所 遵循的“伸縮法則”（scaling law），即d立增加訓(xùn)練數(shù)據(jù)量、模型參數(shù)規(guī)�；蛘哐娱L(zhǎng)模型訓(xùn) 練時(shí)間，預(yù)訓(xùn)練模型的效果會(huì)越來(lái)越好。

3）豐富性：數(shù)據(jù)豐富性能夠提G模型泛化能力，過(guò)于單一的數(shù)據(jù)會(huì)非常容易讓模型過(guò)于擬 合訓(xùn)練數(shù)據(jù)。