| 詳細信息 |
中國開源大語言模型數(shù)據(jù)集 DuReader數(shù)據(jù)集 |
| 編輯： 來源：華泰證券 時間：2023/5/19 |
DuReader 數(shù)據(jù)集：于 2018 年由百度發(fā)布。DuReader 是一個大規(guī)模的開放域中文機器閱 讀理解數(shù)據(jù)集。該數(shù)據(jù)集由 200K 問題、420K 答案和 1M 文檔組成，是迄今為止大的中 文 MRC 數(shù)據(jù)集。問題和文檔基于百度搜索和百度知道，答案是手動生成的。該數(shù)據(jù)集還提 供了問題類型注釋——每個問題都被手動注釋為實體、描述或是否以及事實或意見之一。 DuReader 漢語六種題型示例(附英文注釋)
|
| 【聲明：轉(zhuǎn)載此文出于傳遞更多信息之目的，并不意味著贊同其觀點或證實其描述，文章內(nèi)容僅供參考，如有侵權(quán)，請聯(lián)系刪除。】 |
| 推薦信息 |
|
中國多模態(tài)大模型數(shù)據(jù)集構(gòu)建
阿里M6大模型參數(shù)規(guī)模達到 1000 億,構(gòu)建了最大的中文多模態(tài)預(yù)訓(xùn)練數(shù)據(jù)集 M6-Corpus;百度ERNIE-ViLG大模型參數(shù)規(guī)模達到 100 億
中國三個大語言模型數(shù)據(jù)集構(gòu)建
百度Plato-XL大模型預(yù)訓(xùn)練語料規(guī)模達千億級 token,模型規(guī)模高達 110 億參數(shù);華為盤古大模型開源了盤古α和盤古α增強版兩個版本
國內(nèi)優(yōu)質(zhì)中文數(shù)據(jù)集的重要來源 垂直內(nèi)容平臺
知乎作為問答知識平臺,擁有超過4300萬創(chuàng)作者產(chǎn)生的超過3.5億條優(yōu)質(zhì)中文問答內(nèi)容;垂類內(nèi)容平臺的數(shù)據(jù)可以作為細分領(lǐng)域大模 型精確訓(xùn)練的基礎(chǔ)
國內(nèi)科技互聯(lián)網(wǎng)廠商訓(xùn)練大模型基于的數(shù)據(jù)基礎(chǔ)
百度文心大模型訓(xùn)練特有數(shù)據(jù)主要包括萬億級的網(wǎng)頁數(shù)據(jù);阿里通義大模型的訓(xùn)練數(shù)據(jù)主要來自阿里達摩院;騰訊混元大模型特有的訓(xùn)練數(shù)據(jù)主要來自微信公眾號
國內(nèi)缺乏高質(zhì)量數(shù)據(jù)集的主要原因
高質(zhì)量數(shù)據(jù)集需要巨大資金投入,當(dāng)前國內(nèi)數(shù)據(jù)挖掘和數(shù)據(jù)治理的力度不足;國內(nèi)相關(guān)公司成立較晚,數(shù)據(jù)積累相對國外公司更少
中國AI大模型數(shù)據(jù)集從哪里來
從數(shù)據(jù)來源看,國內(nèi)各行業(yè)數(shù)據(jù)差異化發(fā)展,2021年政府,傳媒,專業(yè)服務(wù),零售等行業(yè)數(shù)據(jù)量占比較高,接近90%的數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)
語音標(biāo)注質(zhì)量評估算法優(yōu)缺點
WER算法可以分?jǐn)?shù)字,英文,中文等情況分別來看;當(dāng)數(shù)據(jù)量大時,性能會特別差;SER算法對句子的整體性評估要優(yōu),句錯誤率較高
文本標(biāo)注質(zhì)量評估算法優(yōu)缺點
ROUGE算法參考標(biāo)注越多待評估數(shù)據(jù)的相關(guān)性就越高;METEOR算法評估時考慮了同義詞匹配,提高了評估的準(zhǔn)確率;SPICE算法對圖像標(biāo)注進行評估 |
| 智能運輸機器人 |
| AGV無人運輸機器人-料箱版 |
| AGV無人運輸機器人-標(biāo)準(zhǔn)版 |
| AGV無人運輸機器人-料箱版（鈑金材質(zhì)） |
| AGV無人運輸機器人-貨架版（鈑金材質(zhì)） |
| AGV無人運輸機器人-貨架版（亮面不銹鋼材質(zhì)） |
| AGV無人運輸機器人-開放版 |
| 行業(yè)動態(tài) |
