數(shù)據(jù)采集。采集的對(duì)象包括視頻、圖片、音頻和文本等多種類型和多種格式的數(shù) 據(jù)。

數(shù)據(jù)采集目前常用的有三種方式，分別為：

1）系統(tǒng)日志采集方法；

• 構(gòu)建應(yīng)用系統(tǒng)和分析系統(tǒng)的橋梁，并將它們之間的關(guān)聯(lián)解耦；

• 支持近實(shí)時(shí)的在線分析系統(tǒng)和分布式并發(fā)的離線分析 系統(tǒng)；

• 具有G可擴(kuò)展性，也就是說(shuō)，當(dāng)數(shù)據(jù)量增加時(shí)，可以 通過(guò)增加節(jié)點(diǎn)進(jìn)行水平擴(kuò)展；

• 目前為止，運(yùn)用較為廣泛的有Flume、Chukwa、 Scrible和Kafka。

2）網(wǎng)絡(luò)數(shù)據(jù)采集 方法；

• 通過(guò)網(wǎng)絡(luò)爬蟲(chóng)或網(wǎng)站公開(kāi)API方式獲取大數(shù)據(jù)信息；

• 網(wǎng)絡(luò)爬蟲(chóng)工具包 括 python爬蟲(chóng)、分布式網(wǎng)絡(luò)爬蟲(chóng)工 具 、Java網(wǎng)絡(luò)爬蟲(chóng)工具、非Java網(wǎng)絡(luò)爬蟲(chóng)工具。分 布式網(wǎng)絡(luò)爬蟲(chóng)工具，如Nutch。

3）ETL。

• 即Extract-Transform-Load，描述將數(shù)據(jù)從來(lái)源端經(jīng) 過(guò)抽取(extract)、轉(zhuǎn)換(transform)、加載(load)至 目 的端的過(guò)程；

• 它是一個(gè)數(shù)據(jù)集成過(guò)程，將來(lái)自多個(gè)數(shù)據(jù)源的數(shù)據(jù)組 合到一個(gè)單一的、一致的數(shù)據(jù)存儲(chǔ)中，該數(shù)據(jù)存儲(chǔ)被 加載到數(shù)據(jù)倉(cāng)庫(kù)或其他目標(biāo)系統(tǒng)中。