0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
java研发工程师
北京全职 · 700/日 · 15225/月信用正常
工作时间: 工作日19:00-24:00、周末0:00-24:00工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
1.熟练掌握 MySQL、Oracle 数据库，熟悉 sql 语句，了解索引和数据库事务等
2.熟悉 Linux 操作系统及命令,可以独立搭建 CDH 集群。
3.独立搭建 CDH 集群及 Hadoop 原生态集群(HA)
4.熟练使用 Zookeeper 组件，了解 Zookeeper 的原理
5.具有编写 MR 程序的能力，熟悉 MR 工作原理，有一定调优经验
6.熟练使用 Flume 和 Sqoop，进行数据 ETL。将业务库的数据定时或实时更新到 HDFS
7.熟练掌握 Hive，能安装及编写相关代码。能设计数仓结构，能对 Hive 进行调优
8.熟练掌握 Hbase，了解 Hbase 的 rowkey 设计原则，优化查询速度
9.熟悉实现数据的报表可视化工具 Zeppelin 等
了解 Spark 的工作原理及代码编写，能使用 Spark Streaming 对数据进行微批(准实时)处理精通使用 scala
10.熟练掌握 Java 相关知识，具备良好的面向对象编程思想，具有良好的编码习惯和代码规范。
11.熟练使用 Spring Cloud 框架进行开发
2.熟悉 Linux 操作系统及命令,可以独立搭建 CDH 集群。
3.独立搭建 CDH 集群及 Hadoop 原生态集群(HA)
4.熟练使用 Zookeeper 组件，了解 Zookeeper 的原理
5.具有编写 MR 程序的能力，熟悉 MR 工作原理，有一定调优经验
6.熟练使用 Flume 和 Sqoop，进行数据 ETL。将业务库的数据定时或实时更新到 HDFS
7.熟练掌握 Hive，能安装及编写相关代码。能设计数仓结构，能对 Hive 进行调优
8.熟练掌握 Hbase，了解 Hbase 的 rowkey 设计原则，优化查询速度
9.熟悉实现数据的报表可视化工具 Zeppelin 等
了解 Spark 的工作原理及代码编写，能使用 Spark Streaming 对数据进行微批(准实时)处理精通使用 scala
10.熟练掌握 Java 相关知识，具备良好的面向对象编程思想，具有良好的编码习惯和代码规范。
11.熟练使用 Spring Cloud 框架进行开发
工作经历
2018-03-01 -2020-04-01中国航天科工集团第三研究院304研究所大数据开发工程师
因为个人原因，从武汉来到北京发展，2018年3月份入职中国航天科工集团第三研究院304研究所担任大数据开发工程师，期间项目经历：数据仓库建设，大数据平台开发，集群日常维护，以及各项指标监控
2015-08-01 -2017-12-01武汉联创汇通科技有限公司java研发工程师
刚毕业，入职武汉联创汇通科技有限公司，担任java研发工程师岗位，期间遵守公司制度，提升自我能力，表现优异，奠定了良好的开发基础
教育经历
2011-09-01 - 2015-07-01武汉科技职业学院计算机科学与技术本科
学历民教网可查，学习能力强，具备很强的逻辑思维能力，善于沟通，有团队合作精神，具有一定的组织协调能力
技能
作品
负责咪咕阅读，后台离线推荐开发，推荐算法部分使用spark ，数据处理采用hive ，最终结果存储到hbase ，整体流程，针对用户行为日志，进行个性化推荐
02023-03-05 07:51
以住建部和省级市场项目为牵引，形成涉及管廊、轨道、污水污泥、园林绿化等领域的城建业务集成平台；在住建部城建大数据平台基础上，根据河北、湖南、成都等省市的共性业务需求，形成面向省级的城建大数据平台，使其成为可复制、可推广产品，提升用户满意度、提高市场拓展能力。
02023-03-05 07:53
项目环境： 项目描述： CDH+Hive+Sparksql+Oracle+oozie+mysql 根据事业部业务现状，梳理业务，将各 Oracle 业务库的数据统一收集，搭建属于自己的城建数据仓库，进行数据仓库分层：ODS（原始数据层）、DWD（数据仓库层）、TDM（数据标签层）、ADM（数据应用 层）、DIM（数据维度层）。最终能够实现积累城建特色数据的目的。 dataview 报表工具、第三方调度框架 项目职责： 1、和业务系统负责人沟通，收集轨道交通和黑臭水体库元数据（ip、端口、表结构、用户信息 2、和业务人员沟通，确定数据指标以及业务标签，输出数据字典。 3、采用 Sqoop 将 Oracle 的业务数据以 T+1 的形式导入 ODS 层。 4、对 ODS 层的数据采用 hql 脚本和 sparksql 进行加工，形成 DWD 层。 5、DWD 层根据数据字典进行业务逻辑运算形成数据指标存储到 TDM 层。 6、将 TDM 层的数据指标采用 Sqoop 回流到 Oracle 数据库中。 7、整体任务调度采用第三方调度框架。 8、采用 Dataview 报表工具对 Oracle 中的数据指标进行可视化
02023-03-05 07:54
