大数据的发展历程总体上可以划分为三个重要阶段,萌芽期、成熟期和大规模应用期,20世纪90年至21世纪初,为萌芽期,随着,一批商业智能工具和知识管理技术的开始和应用,度过了数据萌芽。
21世纪前十年则为成熟期,主要标志为,大数据解决方案逐渐走向成熟,形成了并行计算与分布式系统两大核心技,谷歌的GFS和MapReduce等大数据技术受到追捧,Hadoop平台开始大行期道,2010年以后,为大规模应用期,标志为,数据应用渗透各行各业,数据驱动决策,信息社会智能化程度快速提高。
数据时代的到来,也推动了数据行业的发展,包括企业使用数据获取价值,促使了大量人员从事于数据的学习,学习大数据需要掌握基础知识,接下从我的角度,为大家做个简要的阐述。
学习大数据需要掌握的知识,初期了解概念,后期就要学习数据技术,主要包括:
1.大数据概念
2.大数据的影响
3.大数据的影响
4.大数据的应用
5.大数据的产业
6.大数据处理架构Hadoop
7.大数据关键技术
8.大数据的计算模式
后三个牵涉的数据技技术,就复杂一点了,可以细说一下:
1.大数据处理架构Hadoop:Hadoop的特性、Hadoop生态系统、Hadoop的安装与使用;
2.大数据关键技术技术:数据采集、数据存储与管理、数据处理与分析、数据隐私与安全;
3.大数据处理计算模式:批处理计算、流计算、图计算、查询分析计算
数据的核心技术就是获取数据价值,获取数据前提是,先要有数据,这就牵涉数据挖掘了。
Java和大数据的关系
Java是计算机的一门编程语言;可以用来做很多工作,大数据开发属于其中一种;大数据属于互联网方向,就像现在建立在大数据基础上的AI方向一样,他两不是一个同类,但是属于包含和被包含的关系;
Java可以用来做大数据工作,大数据开发或者应用不必要用Java,可以Python,Scala,go语言等。
目前最火的大数据开发平台是Hadoop,而Hadoop则是采用Java语言编写。一方面由于hadoop的历史原因,Hadoop的项目诞生于一个Java高手;
另一方面,也有Java跨平台方面的优势;基于这两个方面的原因,所以Hadoop采用了Java语言。但是也因为Hadoop使用了Java所以就出现了“Java大数据”。
Java是我们耳熟能详的编程语言,大数据更是当今科技的明星技术。而Java大数据则是Java和大数据的结合产物,也可以说是Java程序员向大数据程序员的过渡阶段。
从课程方面来看,Java和Java大数据的区别
Java学习课程:
Java基础(Java面向对象,常用基础类,线程I/O,异常处理等),JavaWeb(HTML5,CSS3,Javascript,jQuery,JDBC连接池,servlet等),Java框架(Struts2,Hibernate5,JPA,Spring4,BootStrap,svn & git & Jenkins持续集成等)。
Java大数据学习课程:
是在Java课程的基础上加上了部分初级大数据的技术知识,就是让你在精通Java之余,还能掌握一些大数据的技术知识。
比如说亿级并发架构演进、Linux基础、搭建tomcat环境以及大数据开发云计算等高级Java教程,是Java技术的高端知识。
从就业薪资看Java和Java大数据的区别
Java以后的就业方向相对单一,薪资就是Java程序员的基本水平;Java大数据工程师,以后的就业可以从事Java方面的工作,也可以涉猎大数据方面的工作,因为对大数据技术知识有所涉猎,所以谈薪资的资本会高一些,但终究高不过大数据的薪资待遇。
Java开发薪资:
可以看到,Java薪资处在10-30K的为普遍情况。
Java大数据薪资:
由于大数据产业的火爆,相关职位的待遇也是水涨船高。可以看到,大数据相关职位的平均薪资已经超过月薪20K。
从以后发展看Java和Java大数据的区别
Java工程师的发展:
初级Java工程师、中级Java工程师、高级Java工程师;而Java大数据工程师以后的发展,相比于Java而言,多了一个大数据的方向,利于想向大数据工程师转型的学习者。
因为想要成为大数据工程师,需要一定的编程基础,而Java语言又是现在大数据技术常用的开发语言,所以Java大数据是向大数据学习的奠基课程。
综上所述,零基础可以学习大数据吗?相信你也得出答案了,大数据就是升级版的Java,学习大数据一定要有Java基础。如果你是零基础学习大数据,那么也可以从Java开始学习,逐渐做到大数据,薪资会更高。