必备技能
尽管Hadoop已进入第二个十年,但从最近3-4年开始流行起来。许多软件公司非常普遍地使用Hadoop集群。这无疑是大数据中的大事。有抱负的专业人员应精通这项技术。
2、NoSQL:NoSQL数据库(包括Couchbase,MongoDB等)正在替代传统的SQL数据库(如DB2,Oracle等)。这些分布式NoSQL数据库有助于满足大数据存储和访问需求。这通过其数据处理能力补充了Hadoop的专业知识。具有NoSQL专业知识的专业人员可以在任何地方找到机会。
3、数据可视化:QlikView,Tableau等数据可视化工具可以帮助理解分析工具执行的分析。难以掌握所执行的复杂大数据技术和流程,而这正是专业人员发挥作用的地方。精通数据可视化工具的专业人士可以获得在大型组织中发展自己的职业的机会。
4、机器学习:数据挖掘和机器学习是大数据的两个热门领域。尽管大数据的前景广阔,但这两者为该领域做出了重要贡献。缺乏可以使用机器学习进行预测和规范分析的专业人员。这些领域可以帮助开发推荐,分类和个性化系统。拥有数据挖掘和机器学习知识的专业人员也获得了丰厚的报酬。
5、Apache Spark:对于复杂的技术(如MapReduce),Spark是一种更直接,更快捷的选择。无论有没有Hadoop框架,它最近都非常流行。许多组织正在采用该技术,因此正在寻找具有Spark技能的人员。Spark的内存堆栈的兴起也使Spark成为高薪工作。
6、定量分析:定量和统计分析是大数据的重要组成部分,因为它全都与数字有关。统计和数学的背景很有帮助。诸如SAS,SPSS,R等工具的知识也有助于提高您的技能。因此,该行业需要大量具有定量背景的专业人员。
7、编程语言:某些通用编程语言可以极大地帮助您获得竞争优势。这些编程语言包括Java,Python,C,Scala等。甚至对具有数据分析经验的程序员也有很大的需求。
8、数据挖掘:在当今的IT世界中,数据挖掘已达到新的高度。拥有数据挖掘工具和技术经验的专业人员需要大数据工作。诸如Rapid Miner,Apache Mahout和KNIME之类的数据挖掘工具是市场上最抢手的数据挖掘技能。
9、解决问题的能力:即使您拥有大数据领域中所有工具和技术的知识,解决问题的能力和创造力也将帮助您很好地执行任务。为有效解决方案而实施大数据技术将需要专业人员具备这两种素质。
10、SQL:SQL是一种以数据为中心的语言,是大数据时代的基础。在使用NoSQL等大数据技术时,结构化查询语言的知识从本质上将是程序员的一项额外优势。它也是Hadoop Hive仓库的重要组成部分。