一.大數據采集 即對于結構化和非結構化海量的各種來源的數據,所進行的收集活動。
1. 數據庫獲取:目前比較流行的是Sqoop和ETL,很多企業仍然使用MySQL、Oracle等傳統關系數據庫進行數據存儲。當然,對于開源Kettle和Talend本身,也集成了大數據集成內容,可以實現HDFS、hbase和主流Nosq數據庫之間的數據同步和集成。
2. 網絡數據收集:通過web爬蟲或網站公共API從網頁中獲取非結構化或半結構化數據,并將其結構統一為本地數據的數據收集方法。
3.文件采集:包括實時文件采集與處理技術flume、基于ELK的日志采集、增量采集等。
二.大數據預處理 大數據預處理,指的是在數據分析之前,對*個收集的原始數據進行如"沖洗、灌裝、光滑、合并、標準化和一致性檢查"等一系列的行動,旨在提高數據的質量和為以后的分析打好基礎。
三. 大數據存儲 大數據存儲是指存儲器以數據庫的形式存儲采集到的數據的過程。 四. 大數據分析與挖掘 大數據分析與挖掘是從可視化分析、數據挖掘算法、預測分析、語義引擎和數據質量管理等方面對無序數據進行提取、提煉和分析的過程。
