網頁抓取、自有數據和開源數據集是多模態(tài)大模型數據集的重要來源：

1）網頁抓取圖文對：例如阿里 M6 大模型、百度 ERNIE-ViLG 大模型都從 網頁中抓取文本-圖片對，然后經過一定過濾，形成終數據集的一部分；

2）自有數據：例 如阿里 M6 大模型有來自電商的圖文數據，百度 ERNIE-ViLG 大模型從內部圖像搜索引擎 中收集查詢文本和對應的用戶點擊圖像；

3）開源數據集：例如百度 ERNIE-ViLG 大模型的 部分圖文對數據來自開源的 CC 和 CC12M，并通過百度翻譯 API 翻譯。

阿里 M6 大模型：于 2021 年發(fā)布，參數規(guī)模達到 1000 億。阿里構建了大的中文多模態(tài) 預訓練數據集 M6-Corpus，包含超過 1.9 TB 圖像和 292GB 文本，涵蓋了百科全書、問答、 論壇討論、產品說明等類型的數據集。研究人員設計了完善的清潔程序：1）文本數據：刪 除 HTML 標記和重復的標點符號，只保留中文和英文的字符和標點符號。刪除短于 5 個字 符的標題和短于 15 個字符的文本內容。使用“內部垃圾郵件檢測器”篩選包含某些政治問 題、色情或臟話等不合適的句子。建立一個語言模型進行評估文本的困惑程度，去掉困惑 程度G的句子；2）圖片數據：只有超過 5000 像素的圖像才有資格被保留用于預訓練。

百度 ERNIE-ViLG 大模型：于 2021 年發(fā)布，參數規(guī)模達到 100 億。百度構建了一個由超 過 1.45 億對G質量中文圖像-文本對組成的大規(guī)模圖像-文本數據集，數據來源如下: 1）中 文網頁。從各種中文網頁中抓取了 8 億對原始的中文替代文字描述和圖片，進行了幾個步 驟的過濾，總共收獲了 7000 萬對文本-圖片，過濾規(guī)則主要包括文本長度、文本內容和圖 像-文本相似度；2）圖片搜索引擎：從內部圖像搜索引擎中收集了大約 6000 萬個查詢文本 和相應的用戶點擊圖像；3）開源圖像-文本數據集：從 CC 和 CC12M 收集了 1500 萬 文本圖像對，這些數據集中的字幕通過百度翻譯 API 翻譯成中文。

InternVideo 大模型：由上海人工智能實驗室等、南大、港大、復旦、中科院深圳先進技術 研究院等于 2022 年發(fā)布，使用了 6 個來自各個L域的開源數據集和自采視頻片段。