1、數(shù)據(jù)挖掘工程師做數(shù)據(jù)挖掘要從海量數(shù)據(jù)中發(fā)現(xiàn)規(guī)律,這就需要一定的數(shù)學(xué)知識,最基本的比如線性代數(shù)、高等代數(shù)、凸優(yōu)化、概率論等。
PS:經(jīng)常會用到的語言包括Python、Java、C或者C++,有些人用Python或者Java比較多。有時用MapReduce寫程序,再用Hadoop或者Hyp來處理數(shù)據(jù),如果用Python的話會和Spark相結(jié)合。
2、Hadoop開發(fā)工程師熟練掌握Hadoop整個生態(tài)系統(tǒng)的組件如:Yarn,HBase、Hive、Pig等重要組件,能夠?qū)崿F(xiàn)對平臺監(jiān)控、輔助運維系統(tǒng)的開發(fā)。hadoop工程師主要是偏開發(fā)層面,指的是圍繞大數(shù)據(jù)系平臺系統(tǒng)級的研發(fā)人員, 熟練Hadoop大數(shù)據(jù)平臺的核心框架,能夠使用Hadoop提供的通用算法,3、數(shù)據(jù)分析師數(shù)據(jù)分析師 是數(shù)據(jù)師Datician['det???n]的一種,指的是不同行業(yè)中,專門從事行業(yè)數(shù)據(jù)搜集、整理、分析,并依據(jù)數(shù)據(jù)做出行業(yè)研究、評估和預(yù)測的專業(yè)人員。PS:作為一名數(shù)據(jù)分析師、至少需要熟練SPSS、STATISTIC、Eviews、SAS、等數(shù)據(jù)分析軟件中的一門,一個優(yōu)秀的數(shù)據(jù)分析師,應(yīng)該業(yè)務(wù)、管理、分析、工具、設(shè)計都不落下。
4、大數(shù)據(jù)分析師通俗一點,這是集Hadoop開發(fā)工程師和數(shù)據(jù)分析師、數(shù)據(jù)挖掘工程師為一體大才能人才。如果這些你都會,并且有一定的經(jīng)驗,那薪資可是不用說的。
5、大數(shù)據(jù)可視化工程師需要熟悉Storm、Spark等計算框架,熟悉Scala/Python語言;精通Java開發(fā),能夠獨立搭建SSM項目;了解Redis或MongoDB等Nosql,熟練掌握linux基本操作;擁有一定Java多線程開發(fā)能力,對程序設(shè)計模式有一定理解,對數(shù)據(jù)庫有一定了解,熟悉ETL流程等。在現(xiàn)當代培訓(xùn)行業(yè)蒸蒸日上的狀態(tài),想要掙錢就要跟上前進的步伐,踏上新步伐