| 詳細(xì)信息 |
文本預(yù)訓(xùn)練數(shù)據(jù)集：Common Crawl 系列語料庫 |
| 編輯： 來源：哈爾濱工業(yè)大學(xué)自然語言處理研究所 時間：2023/4/4 |
Common Crawl 系列語料庫 Common Crawl 提供的網(wǎng)絡(luò)存檔包含了自
2011 年以來的網(wǎng)絡(luò)爬蟲數(shù)據(jù)集，包括原始網(wǎng)頁數(shù)據(jù)、元數(shù)據(jù)提取和文本提
取，規(guī)模超過千兆位元組 (PB J)。同時，每月對全網(wǎng)進(jìn)行爬取還會增加
大約 20TB 的數(shù)據(jù)。Common Crawl 數(shù)據(jù)存儲于 Amazon Web Services 和
多個學(xué)術(shù)平臺上，數(shù)據(jù)可以從https://commoncrawl.org/ 中獲取。在
Common Crawl 數(shù)據(jù)集的基礎(chǔ)上，又衍生出一系列數(shù)據(jù)集，包括 800GB 的
C4 數(shù)據(jù)集，38TB 的 mC4 數(shù)據(jù)集（下載地址https://www.tensorflow.org/
datasets/catalog/c4）以及 CC-100 數(shù)據(jù)集（下載地址為https://data.statmt.
org/cc-100/）
|
| 【聲明：轉(zhuǎn)載此文出于傳遞更多信息之目的，并不意味著贊同其觀點或證實其描述，文章內(nèi)容僅供參考，如有侵權(quán)，請聯(lián)系刪除。】 |
| 推薦信息 |
|
文本預(yù)訓(xùn)練數(shù)據(jù)集：The Pile是英文數(shù)據(jù)集825GB
The Pile專為預(yù)訓(xùn)練大規(guī)模練語言模型設(shè)計的英文數(shù)據(jù)集,整合了22個來源的數(shù)據(jù)有825GB,數(shù)據(jù)下載地址為https://pile.eleuther.ai/
文本預(yù)訓(xùn)練數(shù)據(jù)集：悟道數(shù)據(jù)集3TB中文語料庫
悟道數(shù)據(jù)集3TB中文語料庫是目前最大的中文預(yù)訓(xùn)練數(shù)據(jù)集,數(shù)據(jù)下載地址為https://data.baai.ac.cn/details/WuDaoCorporaText
基于人類反饋的強(qiáng)化學(xué)習(xí)Reinforcement Learning with Human Feed
獎勵模型訓(xùn)練階段旨在獲取擬合人類偏好的獎勵模型以提示和回復(fù)作為輸入,計算標(biāo)量獎勵值作為輸出,生成策略優(yōu)化階段給定習(xí)得的獎勵模型
編碼預(yù)訓(xùn)練語言模型（Encoder-only Pre-trained Models）
BERT BERT模型是經(jīng)典的編碼預(yù)訓(xùn)練語言模型;ALBERT ALBERT是一個輕量化的BERT模型;RoBERTa在預(yù)訓(xùn)練階段采用了更多的 語料以及動態(tài)掩碼機(jī)制
夫妻二人相見甚歡效果如何？ChatGPT示例
前提信息不足以判斷哪個選擇更合適,相見甚歡并不能夠明確地指出他們的行為選擇,他們必須自行決定自己的行為,每個人都有自己的價值觀和標(biāo)準(zhǔn)
我覺得他們兩個(魯迅和周樹人)是同一個人？ChatGPT示例
魯迅和周樹人是兩個不同的人,他們的生平,思想,文學(xué)作品都有明顯的區(qū)別,兩人的名字雖然發(fā)音相同,但是字形不同,這是一個非常明顯的區(qū)別
魯迅和周樹人是同一個人嗎? ChatGPT示例
魯迅和周樹人都是20世紀(jì)中國著名的文學(xué)家,但他們是兩個不同的人,盡管兩位作家的名字中都有周這個字,但他們的姓名和筆名是不同的是兩個不同的人
專業(yè)的鎖匠是如何挑鎖的?ChatGPT示例
專業(yè)的鎖匠通常使用一種稱為挑鎖的技術(shù)來打開鎖,這種技術(shù)是在沒有鑰匙的情況下打開鎖的方法,挑鎖需要一定的技巧和經(jīng)驗,對不同類型的鎖和鎖芯了解 |
| 智能運輸機(jī)器人 |
| AGV無人運輸機(jī)器人-料箱版 |
| AGV無人運輸機(jī)器人-標(biāo)準(zhǔn)版 |
| AGV無人運輸機(jī)器人-料箱版（鈑金材質(zhì)） |
| AGV無人運輸機(jī)器人-貨架版（鈑金材質(zhì)） |
| AGV無人運輸機(jī)器人-貨架版（亮面不銹鋼材質(zhì)） |
| AGV無人運輸機(jī)器人-開放版 |
| 行業(yè)動態(tài) |
