大數(shù)據(jù)是什么？能做哪些工作？

大數(shù)據(jù)是什么?現(xiàn)在越來越多的人喜歡網(wǎng)上購(gòu)物，各種APP在網(wǎng)上選擇，這些APP每天要面對(duì)幾萬幾十萬，甚至更多的信息，每個(gè)人的信息都要存儲(chǔ)，簡(jiǎn)而言之，大數(shù)據(jù)就是這些存儲(chǔ)的信息。那么，學(xué)會(huì)了大數(shù)據(jù)能做哪些工作呢?一起來看看吧。

學(xué)會(huì)大數(shù)據(jù)能做哪些工作

1. 大數(shù)據(jù)開發(fā)工程師

主要負(fù)責(zé)大數(shù)據(jù)技術(shù)開發(fā)，如編寫離線處理程序、數(shù)據(jù)采集、數(shù)據(jù)ETL等。

2. 大數(shù)據(jù)運(yùn)維工程師

主要負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)的維護(hù)，如管理、監(jiān)控Hadoop集群、監(jiān)控運(yùn)行狀態(tài)等。

3. 大數(shù)據(jù)架構(gòu)師

主要負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)的設(shè)想，如技術(shù)選擇和技術(shù)安裝。

4. 大數(shù)據(jù)分析師

結(jié)合行業(yè)經(jīng)驗(yàn)，負(fù)責(zé)公司各業(yè)務(wù)單元的數(shù)據(jù)分析，如財(cái)務(wù)分析、生產(chǎn)分析、銷售分析等。

5. 大數(shù)據(jù)算法工程師

主要負(fù)責(zé)機(jī)器學(xué)習(xí)相關(guān)算法開發(fā)，如推薦系統(tǒng)算法開發(fā)。

6. 大數(shù)據(jù)實(shí)時(shí)計(jì)算開發(fā)工程師

主要負(fù)責(zé)公司實(shí)時(shí)計(jì)算系統(tǒng)開發(fā)，如實(shí)時(shí)風(fēng)控系統(tǒng)Flink開發(fā)，基于Spark Streaming的實(shí)時(shí)指標(biāo)分析開發(fā)。

7. 數(shù)據(jù)挖掘工程師

主要負(fù)責(zé)基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)挖掘、特征提取、挖掘模型選擇和評(píng)價(jià)。例如，用戶肖像挖掘類型標(biāo)簽的開發(fā)。

8. BI開發(fā)工程師

主要工作是搭建公司的商業(yè)智能平臺(tái)，包括各種數(shù)據(jù)可視化報(bào)告的制作，以及儀表盤大屏生產(chǎn)的ETL開發(fā)工程師。

負(fù)責(zé)數(shù)據(jù)挖掘、數(shù)據(jù)清理及相關(guān)預(yù)處理。例如，從文本數(shù)據(jù)中清除一些非法數(shù)據(jù)。

9. Hadoop開發(fā)工程師

主要負(fù)責(zé)HDFS，Map Reduce，Hive的開發(fā)。例如，Hive可以用來構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)和編寫Map educe程序來預(yù)處理數(shù)據(jù)。

10. Spark開發(fā)工程師

主要工作是開發(fā)用于大規(guī)模數(shù)據(jù)處理的Spark應(yīng)用程序。例如，寫Spark來處理網(wǎng)站流量數(shù)據(jù)，形成clickstream數(shù)據(jù)。