您好,欢迎来到要发发知识网。
搜索
您的当前位置:首页正文

大数据架构师的基本职责

来源:要发发知识网

  职责:

  1. 负责大数据基础和应用平台的整体规划和架构设计,参与需求分析,架构设计,详细设计以及技术选型决策

  2. 参与数据挖掘和建模相关核心算法的代码实现

  3. 负责大数据算法平台的技术把关,性能调优,控制架构质量,解决项目技术难题;对研发项目和任务需求进行评估和方案设计、拆分任务并指导工程师完成开发

  4. 带领团队提供并实现大数据算法平台上各项数据接入、数据挖掘分析及数据可视化的架构设计与能力,支持解决方案实施

  5. 负责数据库设计、应用架构设计、核心技术选型等工作

  6. 协调解决开发中的技术问题、设计和监控运营指标,保障系统稳定运行

  7. 培养,指导有能力的员工,指导工程师进行技术验证实现,核心技术攻关,解决开发过程中的技术难题

  任职要求:

  1. 熟悉大数据和数据仓库的系统架构设计方法

  2. 熟练使用并理解HadoopSpark架构及生态。(Hadoop,Hive,Hbase,Elasticsearch,Kafka,SparkFlink等)

  3. 熟悉分布式系统架构,有分布式实时、离线和机器学习平台的架构和开发经验,具备海量数据清洗、分析处理及存储的实践经验

  4. 熟练使用JAVA,具有大规模分布式系统调优经验

  5. 熟悉AI相关算法,熟悉机器学习、深度学习。熟悉AI学习开源框架(Tensorflow、PyTorch等)者优先;

  6. 具备良好的团队合作精神,对工作充满激情。

  7. 熟悉FusionInsight平台开发经验者优先

因篇幅问题不能全部显示,请点此查看更多更全内容