| 詳細信息 |
國內(nèi)優(yōu)質(zhì)中文數(shù)據(jù)集的重要來源 垂直內(nèi)容平臺 |
| 編輯： 來源：華泰證券 時間：2023/5/19 |
未來專業(yè)及垂直內(nèi)容平臺有望成為國內(nèi)出色中文數(shù)據(jù)集的重要來源： 1）專業(yè)內(nèi)容平臺：知乎作為問答知識平臺，擁有超過 4300 萬創(chuàng)作者產(chǎn)生的超過 3.5 億條出色中文問答內(nèi)容，涉 及政治，經(jīng)濟，文化，歷史，科技等幾乎全部門類。其問答的數(shù)據(jù)形式天然適合作為大語 言類模型訓練使用。微信公眾號作為內(nèi)容分享平臺，背靠國民J應(yīng)用微信生態(tài)鏈，2022 年 公眾號產(chǎn)出超 3.9 億篇文章，其中既有專業(yè)L域內(nèi)容分析，也有時事熱點分析，這些內(nèi)容對 語言模型的訓練迭代有重要作用。 2）垂類內(nèi)容平臺：參考彭博基于金融垂類數(shù)據(jù)發(fā)布 BloombergGPT 案例，國內(nèi)在金融，醫(yī)療，生物等行業(yè)公司的數(shù)據(jù)可以作為細分L域大模 型準確訓練的基礎(chǔ)。
|
| 【聲明：轉(zhuǎn)載此文出于傳遞更多信息之目的，并不意味著贊同其觀點或證實其描述，文章內(nèi)容僅供參考，如有侵權(quán)，請聯(lián)系刪除�！� |
| 推薦信息 |
|
國內(nèi)科技互聯(lián)網(wǎng)廠商訓練大模型基于的數(shù)據(jù)基礎(chǔ)
百度文心大模型訓練特有數(shù)據(jù)主要包括萬億級的網(wǎng)頁數(shù)據(jù);阿里通義大模型的訓練數(shù)據(jù)主要來自阿里達摩院;騰訊混元大模型特有的訓練數(shù)據(jù)主要來自微信公眾號
國內(nèi)缺乏高質(zhì)量數(shù)據(jù)集的主要原因
高質(zhì)量數(shù)據(jù)集需要巨大資金投入,當前國內(nèi)數(shù)據(jù)挖掘和數(shù)據(jù)治理的力度不足;國內(nèi)相關(guān)公司成立較晚,數(shù)據(jù)積累相對國外公司更少
中國AI大模型數(shù)據(jù)集從哪里來
從數(shù)據(jù)來源看,國內(nèi)各行業(yè)數(shù)據(jù)差異化發(fā)展,2021年政府,傳媒,專業(yè)服務(wù),零售等行業(yè)數(shù)據(jù)量占比較高,接近90%的數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)
語音標注質(zhì)量評估算法優(yōu)缺點
WER算法可以分數(shù)字,英文,中文等情況分別來看;當數(shù)據(jù)量大時,性能會特別差;SER算法對句子的整體性評估要優(yōu),句錯誤率較高
文本標注質(zhì)量評估算法優(yōu)缺點
ROUGE算法參考標注越多待評估數(shù)據(jù)的相關(guān)性就越高;METEOR算法評估時考慮了同義詞匹配,提高了評估的準確率;SPICE算法對圖像標注進行評估
圖像標注質(zhì)量評估算法優(yōu)缺點
MV算法簡單易用,常用作其他眾包質(zhì)量控制算法的基準算法;EM算法可以收斂到局部最大化;RY算法將分類器與 Ground-truth 結(jié)合起來進行學習
數(shù)據(jù)清洗缺失數(shù)據(jù)的處理方法
數(shù)據(jù)清洗作為數(shù)據(jù)預(yù)處理中至關(guān)重要的環(huán)節(jié),清洗后數(shù)據(jù)的質(zhì)量很大程度上決定了 AI算法的有效性,數(shù)據(jù)可能存在缺失值,噪聲數(shù)據(jù),重復數(shù)據(jù)等質(zhì)量問題
數(shù)據(jù)采集三種常見方式
實時的在線分析系統(tǒng)和分布式并發(fā)的離線分析系統(tǒng);通過網(wǎng)絡(luò)爬蟲或網(wǎng)站公開API方式獲取大數(shù)據(jù)信息;采集的對象包括視頻,圖片,音頻和文本等多種類型 |
| 智能運輸機器人 |
| AGV無人運輸機器人-料箱版 |
| AGV無人運輸機器人-標準版 |
| AGV無人運輸機器人-料箱版（鈑金材質(zhì)） |
| AGV無人運輸機器人-貨架版（鈑金材質(zhì)） |
| AGV無人運輸機器人-貨架版（亮面不銹鋼材質(zhì)） |
| AGV無人運輸機器人-開放版 |
| 行業(yè)動態(tài) |
