1.大數據架構東西與組件
企業大數據結構的搭建,多是挑選根據開源技能結構來實現的,這其中就包含Hadoop、Spark、Storm、Flink為主的一系列組件結構,及其生態圈組件。
2.深化了解SQL和其它數據庫解決方案
大數據工程師需要了解數據庫辦理體系,深化了解SQL。相同其它數據庫解決方案,例如Cassandra或MangoDB也須了解,由于不是每個數據庫都是由可識別的標準來構建。
3.數據倉庫和ETL東西
數據倉庫和ETL才能對于大數據工程師至關重要。像Redshift或Panoply這樣的數據倉庫解決方案,以及ETL東西,比方StitchData或Segment都十分有用。
4.根據Hadoop的剖析
對根據Apache Hadoop的數據處理結構,需要有深化的了解,至少Hbase,Hive和MapReduce的知識存儲是必需的。
5.編碼
編碼與開發才能是作為大數據工程師的重要要求,主要掌握Java、Scala、Python三門語言,這在大數據當中十分關鍵。
