个人介绍
1. 熟练掌握Java、Scala、Go和Python编程,常用的IDE为IntelliJ IDEA、VSCode、Eclipse;
2. 熟练掌握Linux系统下命令,具有Linux系统下开发经验,熟练掌握Linux环境下JVM的运行调试;
3. 对大数据组件Hadoop/Kafka/Spark/Flink/Storm/Hive/HBase运行中的问题能快速进行定位,并熟练运用大数据组件开发的编程语言,能独立进行组件的二次改造,以及针对业务需求调用组件的API进行开发;
4. 熟悉Hortonworks和Cloudera社区的开源产品,对Hortonworks开源的产品进行二次改造,熟练使用两种产品,并研究技术架构
5. 熟悉大数据安全,大致在多租户管理、认证、授权、加密方向都有所涉猎;
6. 熟练掌握数据结构以及常用算法,熟悉普遍使用的机器学习算法;
能够熟练阅读编写专业英文文档。
工作经历
2019-05-06 -至今中移雄安信息通信科技有限公司大数据架构师
大数据平台,基于智慧城市构建数据中台,设计了三个大的模块,数据汇聚、数据服务和数据分析,针对数据中台的应用场景设计了一套大数据技术支撑,用微服务的思路灵活适配苏研大数据平台、社区大数据平台和商用大数据平台,设计了一套数据转换的工具。目前已经在某省医疗项目中落地,目前正在对接某区智慧城市的落地方案中;多源数据融合平台,基于目前流行的联邦学习框架,封装了一层多行业数据的融合系统;模型管理平台,基于云计算、大数据和AI算法为一体的模型管理平台,主要覆盖数据准备、模型上架、模型管理、模型推理和模型发布的功能模块;项目总体规划,针对目前园区和社区安防的项目进行产品需求对接、技术规划和交付项目经理进行跟踪,具体涉及到的功能模块有web开发、中间件服务、AI算法模型等,技术栈使用到常规的React框架、Spring框架、Flask框架、TF和Pytorch框架等。 实现数据中台架构设计、数据中详细台设计、数据中台产品手册、大数据产品宣传方案,以及针对移动内部汇报关于数据中台的材料,对接全国某些省份的移动大数据解决方案,以及针对客户现场和开发过程使用到的技术方案和设计文档等。
2017-10-12 -2019-03-11中铁一局集团有限公司智能科技西安分公司大数据技术架构师
基于中铁某项目中盾构业务的需求,对盾构数据进行调研,采用了社区开源的HBase作为数据存储,以及Opentsdb作为时序数据库引擎,利用SparkStreaming+Kafka的技术作为ETL工具对盾构数据进行抽取和转换,同时为其他合作方以及部门内的SaaS系统提供数据服务;利用Hive引擎构建离线数据仓库,以Flink为实时计算引擎构建实时数据仓库,同时针对Superset的特性,对其进行二次开发作为数据可视化的一部分输出。
2016-10-10 -2017-10-10北京聚睿智能科技有限公司西安分公司大数据项目经理
大数据平台建设,主要基于Apache的Ambari(版本为2.4.0)进行二次开发以及自定义开发,并集成其他存储和计算组件;对工控网络安全方向的数据进行接入、转换、清洗统计、报警和舆情分析;针对交通方向的业务进行调研,并配合SaaS部门设计及开发交通管控方向的业务。
2014-10-08 -2016-09-30东方网力科技股份有限公司大数据技术开发
基于社区Ambari(版本为1.7.0)进行二次开发,使其支持公司存在的PaaS和SaaS的运维和监控;交通大数据平台业务的开发,主要针对交通数据的实时监控、黑白名单、流量统计、卡口接入、套牌和首次入城等业务的分析;公司内部大数据平台的设计和开发,主要包括基于Nifi的数据接入,基于Hive的改造的数据挖掘,改造HBase实现其二级索引,以及在Kylin和Druid的基础上实现即席查询。
2013-07-01 -2014-09-30西安航天天绘数据技术邮箱公司大数据开发
配合北京总部开发资源三号共性软件平台的开发,利用Hadoop 1.1.2版本的MR原理完成数据的处理;GIS平台的开发,基于开源的GeoServer、GeoWebcache、QGis和Postgresql改造为公司内部的GIS平台,并在平台基础上开发两个省会的智慧城市业务;参与部门内部大数据产品生态的工作,其中集中在ZooKeeper、Hadoop、Kafka、HBase、Hive等生态的调研,并在某项目中替代Oracle存储,并结合GIS平台,作为公司的试用产品,完成客户现场的演示和试用阶段。
教育经历
2010-09-09 - 2013-06-26兰州交通大学计算机应用技术硕士研究生
主要从事兰州交通大学教育部重点实验室的铁路信号方向的项目开发,并在此基础上开展了课题。
技能
相似推荐 换一批
Java开发
500元/天
成都积盛电子科技有限公司
技能:Java
高级后端工程师
1000元/天
恒沃网络科技有限公司
技能:PHP,JavaScript,MySQL,Android,Vue.js,Java
java开发
500元/天
前中大蓝弧网络科技有限公司
技能:Java,Python,Nginx,Mongo,Docker,JPA,SpringCloud,SpringMVC,Spring,Mybatis,Maven,RabbitMQ,Redis,加密解密,SQL Server,Flutter,Android,Vue,ElementUI,Antd,MySQL,SQLServer,MongoDB,跨域
高级后端工程师
1000元/天
前腾讯
技能:PHP,uni-app,Axure,ES6,JavaScript