類似海外大語言模型，大語言模型的預(yù)訓(xùn)練數(shù) 據(jù)集也主要來自互聯(lián)網(wǎng)抓取數(shù)據(jù)（如 Common Crawl、中文公共社交媒體抓取等）、網(wǎng)絡(luò)百 科全書（如百度百科、搜狗百科）、書籍等等；充分借助已有的G質(zhì)量開源數(shù)據(jù)集，例 如對 Common Crawl 等進(jìn)行二次處理。

百度 Plato-XL 大模型：百度于 2021 年發(fā)布 PLATO-XL，包括中英文 2 個(gè)對話模型，預(yù)訓(xùn) 練語料規(guī)模達(dá)千億J token，模型規(guī)模G達(dá) 110 億參數(shù)。預(yù)訓(xùn)練語料庫分為：1)英語：會話 樣本從 Reddit 評論中提取，這些評論由第三方收集，并在 pushshift.io 上公開發(fā)布，遵循 了 PLATO-2 的精心清洗過程；2）中文：預(yù)訓(xùn)練數(shù)據(jù)來自公共L域的社交媒體，過濾后訓(xùn) 練集中有 1.2 億個(gè)樣本。

華為盤古大模型：華為于 2021 年發(fā)布盤古，是業(yè)界個(gè) 2000 億參數(shù)以中文為核心的預(yù)訓(xùn) 練生成語言模型，目前開源了盤古α和盤古α增強(qiáng)版兩個(gè)版本，并支持 NPU 和 GPU 兩個(gè) 版本，支持豐富的場景應(yīng)用，在知識問答、知識檢索、知識推理、閱讀理解等文本生成L 域表現(xiàn)突出，具備較強(qiáng)的少樣本學(xué)習(xí)的能力。

騰訊 WeLM 大模型：騰訊于 2022 年發(fā)布 WeLM，數(shù)據(jù)來源主要分為三部分：1）Common Crawl：Common Crawl 于 2020.08 至 2022.01 期間的文本內(nèi)容，使用 langdetect 工具過 濾掉非中文的文本；2）特定L域語料庫：混合了來自各種來源的數(shù)據(jù)，包括新聞、書籍、 流行在線論壇以及學(xué)術(shù)著作，僅中文數(shù)據(jù)。3）英文數(shù)據(jù)：添加了從上述來源收集到的約 750GB 的英語數(shù)據(jù)。數(shù)據(jù)中有大量的噪音如胡言亂語或模板文本、冒犯性語言、占位符文 本和源代碼等，先應(yīng)用一組基于規(guī)則的過濾器，再在剩余的數(shù)據(jù)上手動(dòng)構(gòu)建好壞數(shù)據(jù)分 類器提升數(shù)據(jù)清理泛化能力。