DRCD數(shù)據(jù)集-臺達(dá)
DRCD數(shù)據(jù)集中文機器閱讀理解數(shù)據(jù)集,包含來自 2108 篇維基百科文章的 10014 個段落和由注釋者生成的 33,941 個問答對

Ape210K數(shù)據(jù)集-猿輔導(dǎo) AI Lab
Ape210K是一個新 的大規(guī)模和模板豐富的數(shù)學(xué)單詞問題數(shù)據(jù)集,包含 210K 個中國小學(xué)水平的數(shù)學(xué)問題,包含黃金答案和得出答案所需的方程式

Math23K數(shù)據(jù)集-解決數(shù)學(xué)問題數(shù)據(jù)集
Math23K是為解決數(shù)學(xué)問題而創(chuàng)建的數(shù)據(jù)集,數(shù)據(jù)包含從在線教育網(wǎng)站上抓取的 6 萬多個中文數(shù)學(xué)單詞問題,都是小學(xué) 生真正的數(shù)學(xué)應(yīng)用題

CAIL2018數(shù)據(jù)集 中國法律數(shù)據(jù)
CAIL2018是第一個用于判決預(yù)測的大規(guī)模中國法律數(shù)據(jù)集,收錄 了中國最高人民法院公布 260 萬件刑事案件,由適用的法律條款指控和刑期組成

中國開源大語言模型數(shù)據(jù)集 WuDaoCorpora數(shù)據(jù)集
WuDaoCorpora數(shù)據(jù)集采用 20 多種規(guī)則從 100TB 原始網(wǎng)頁數(shù)據(jù)中清洗得出最終數(shù)據(jù)集,注重隱私數(shù)據(jù)信息的去除,支持多領(lǐng)域預(yù)訓(xùn)練模型的訓(xùn)練

中國開源大語言模型數(shù)據(jù)集 DuReader數(shù)據(jù)集
DuReader是一個大規(guī)模的開放域中文機器閱讀理解數(shù)據(jù)集,問題和文檔基于百度搜索和百度知道,答案是手動生成的,由200K問題,420K答案和1M文檔組成

中國多模態(tài)大模型數(shù)據(jù)集構(gòu)建
阿里M6大模型參數(shù)規(guī)模達(dá)到 1000 億,構(gòu)建了最大的中文多模態(tài)預(yù)訓(xùn)練數(shù)據(jù)集 M6-Corpus;百度ERNIE-ViLG大模型參數(shù)規(guī)模達(dá)到 100 億

中國三個大語言模型數(shù)據(jù)集構(gòu)建
百度Plato-XL大模型預(yù)訓(xùn)練語料規(guī)模達(dá)千億級 token,模型規(guī)模高達(dá) 110 億參數(shù);華為盤古大模型開源了盤古α和盤古α增強版兩個版本