大数据技术，最早于1980年被首次提及，却在近几年才获得突飞猛进的发展。相较于几十年前神经网络算法捉襟见肘的计算能力，如今处理器对大规模数据的高速处理能力无疑发挥了关键性的作用。
借助于处理器的高性能，使我们短时间内完成PB 级数据的机器学习和模型训练成为可能，由此为高度依赖深度学习的图像、语音识别产品的快速迭代奠定基础，大数据应用空间得以拓展，也由此催生了提供相关产品与服务的技术公司。
今天是针对于大数据大数据工程师、Hadoop工程师、数据分析工程师、Spark工程师、ETL工程师所需的必备技能的整理部分，0-2年工作经验的小伙伴掌握了以下体系中的知识点在日常工作上可以游刃有余了~
其实并不用为了要有这些知识而学习它，因为更重要的是应用场景中的实践。我想只要工作的时候能把遇到的技术都研究透，不要对技术有偏见，当做够1W小时后自然就有体系的感觉了。
废话少说，直切正题。作为一名大数据开发工程师，你所必须具备的知识体系总结为以下：
第一部分：hadoop
第二部分：离线数据处理
第三部分：实时数据处理
第四部分：ETL与环境相关
第五部分：大数据应用与挖掘
以上，是我针对的大数据体系做的梳理，Linux基础介绍，包括系统安装，文件和目录管理，用户与权限，网络相关，常用命令等这些我就没有放进去了，如果你想学大数据，掌握一门基本编程语言，有linux基础是基本的，Hadoop分布式集群搭建、CDH集群搭建、Python环境安装及入门介绍，爬虫原理及常用技术介绍，爬虫实例讲解，这些我录制了视频进行了详细的讲解，需要的可以加我微信/qq:1246936523,或者关注我的公众号“大数据开发学习院”。
成为一名大数据开发工程师，所备技能，我都尽量详细的发布在了这张体系图上。
按照以上路线学习之后，最后再根据实际情况/个人需求/公司需求学习框架，基本上一名大数据工程师就诞生了，但是要成为大数据高级工程师或者架构师，要走的路还很长远。
准备了几个大数据实操项目，以及完成项目所需要掌握的知识体系，有兴趣的同学，可以看看~
购物网站PV，uv仪表盘
购物网站实时交易监控
如果想系统学习大数据，需要的可以加我微信/qq:1246936523,或者关注我的公众号“大数据开发学习院”。联系我以下要求：
至少掌握了一门编程语言，java或者python最好；
从事编程工作遇到了瓶颈期，想转行没有方向；
在公司呆久了，过的安逸，但是跳槽碰壁，想要在短时间内进修、跳槽拿高薪的；
缺乏明确的职业规划，想要提升自己找不到方向的。