Kafka
Hadoop
NoSQL
MySQL
0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
大数据开发工程师
杭州全职 · 300/日 · 6525/月信用正常
工作时间: 工作日18:00-23:00、周末09:00-18:00工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
1、参与过多个项目的开发，熟悉常见业务处理，能快速融入团队；
2、逻辑思维能力强，思路清楚，学习能力强，对新技术有着强烈的好奇心，抗压能力强；
3、对工作尽职尽责，沉着稳重，乐于从事有挑战性的工作；
4、乐于与用户以及同事和领导沟通，以便快速解决项目遇到的问题；
5、具有良好的英语阅读能力，能阅读英文资料、技术文档等；
工作经历
2020-09-29 -2023-07-28云仰科技（杭州）有限公司大数据开发工程师
项目描述： 亲情在线平台承载杭州惠企政策，为更及时的看到政策申报、审批、兑付等进度，在原有离线数仓的基础上开发实时数仓项目，提高了数据分析结果的时效性，特别是对于像D小二、驾驶舱大屏展示等时效性与服务质量挂钩的模块，实时数仓更是起到了关键的作用。 责任描述： 1、架构设计、技术服务选型； 在原有离线数仓基础上搭建实时数仓架构线路，采用Maxwell增量同步业务数据到kafka，采用Flink作为数仓各层数据计算处理的计算引擎，采用Hbase+Phoenix作为dim层数据的存储查询，采用Redis作为旁路缓存数据库，采用Clickhouse作为dws层宽表数据存储对外提供数据查询。 2、实时计算集群环境搭建； 新增Flink、Hbase+Phoenix、Clickhouse集群服务。 3、指标梳理、数仓分层模型创建； 申报域：区县、牵头部门、纳税地、注册地、申报状态、人数、企业数、申请次数 兑付域：区县、牵头部门、纳税地、注册地、兑付状态、人数、企业数、兑付金额、兑付次数 客服域：区县、街道、乡镇、D小二、会话次数、会话时长、人均指标、好评率 服务域：平台、时间、接口、ISV、牵头部门
2019-03-31 -2020-09-21北京本来鲜科技有限公司 大数据开发工程师
项目描述： 本来鲜集团下北京本来生活部针对线上业务和线下门店业务的业绩总览分析，搭建本来生活数据中台，包括数仓建设、商品智能推荐、用户画像分析等。 责任描述： 1、前期负责离线数仓的开发工作，以及数仓迁移上云； 数仓建设先后迭代3个版本，v1.0项目最初采用kettle搭建了整个集团数据的数仓报表开发流程；v2.0正式采用Hadoop生态，采用hive开发，azkaban调度一整套流程；v3.0数仓开发上云，迁移到阿里云dataworks上进行数仓开发、血缘管理、数据质量、数据地图、数据校验等相关数据治理工作。 2、后期负责商品智能推荐、线下门店智能订货系统； 数仓上云后，依托阿里云平台功能组件，采用商品、用户协同算法模型为公司APP首页做精准推荐；采用规则模型，设计线下门店自动订货系统，减少门店店长工作量，也保证货物的最佳运输周期。
2017-07-31 -2019-03-20和金在线（北京）科技有限公司大数据开发工程师
公司主要做保险公司的业务，为保险公司开发大数据平台、数据分析、数仓建设等。我主要负责过阳光保险大数据平台搭建、开发；泰康保险千人千面系统的开发；爱心保险智能理赔风控项目POC；横琴保险数据迁移等
2016-06-01 -2017-07-25华宇时空广告有限公司大数据开发工程师
项目描述： 随着信息技术的发展与普及、智能移动终端的迅猛发展，广告的投放形式变的多种多样。互联网广告迅速崛起，精准投放、依托互联网的天然优势使其成为投放广告的首选形式，广告投放也需要更精准的DMP。通过技术手段，挖掘每个IP背后的信息数据，通过长期积累和深度分析，了解用户行为和喜好，规避无效的受众到达，为广告商挑选最匹配的广告提供精准依据。 责任描述： 1.参与前期项目分析，设计系统整体架构 2.数据采集设计，离线数据处理部分SparkSql设计 3.Kafka消息队列，实时数据处理部分SparkStreaming设计 4.spark写hbase的实质意义的批量写设计 开发步骤： 实时数据处理 1. 广告投放引擎与ADExchange交互中产生日志信息，将日志数据写入kafka消息队列 2. SparkStreaming通过和kafka对接，消费kafak消息队列里面的数据，SparkStreaming进行数据处理分析 3. SparkStreaming将分析的结果实时存入到redis中 4. 报表数据存储到mysql中，对接web管理系统，实现页面展示 离线数据处理
教育经历
2011-09-01 - 2016-05-31河南城建学院城市规划本科
技能
作品
项目描述： 本来鲜集团下北京本来生活部针对线上业务和线下门店业务的业绩总览分析，搭建本来生活数据中台，包括数仓建设、商品智能推荐、用户画像分析等。 责任描述： 1、前期负责离线数仓的开发工作，以及数仓迁移上云； 数仓建设先后迭代3个版本，v1.0项目最初采用kettle搭建了整个集团数据的数仓报表开发流程；v2.0正式采用Hadoop生态，采用hive开发，azkaban调度一整套流程；v3.0数仓开发上云，迁移到阿里云dataworks上进行数仓开发、血缘管理、数据质量、数据地图、数据校验等相关数据治理工作。 2、后期负责商品智能推荐、线下门店智能订货系统； 数仓上云后，依托阿里云平台功能组件，采用商品、用户协同算法模型为公司APP首页做精准推荐；采用规则模型，设计线下门店自动订货系统，减少门店店长工作量，也保证货物的最佳运输周期。
02023-11-02 09:50
项目描述： DDE（deeptime digital earth）是由王坚院士主导的服务于全球知识学者的一个智能化地球分析平台，提供了Data、Knowledge、Workflow等功能模块，方便用户自由组合设计自己的算法模型。为了了解用户在平台上的使用习惯和使用深度，开发用户日志分析系统，从而更好的优化平台，提高用户满意度。 责任描述： 项目研发负责人，负责整个研发项目进度管理，任务分配，工作协调等。 平台架构设计和搭建实施，整个数仓层面开发任务。 项目详设概设需规、数仓开发指导文档等编写。 日志系统开发流程 1、数据采集：用户行为日志采集和解析（flume），业务数据同步（DTS/datax）； 用户浏览页面日志数据通过flume实时采集到kafka，也为后续拓展实时业务做准备，再通过flume将数据同步到HDFS存储，结合同步的业务数据，作为日志分析系统的数据源。 2、数仓开发（维度建模）： a)数仓模型事实表、维度表划分；结合业务模块，分别对大平台页面访问、Data、Knowledge、Workflow等进行数据域划分。 b)数仓分层设计ODS层、DWD层、DWS层、ADS层；HDFS日志和业务数据作为ODS层，按主题域对数据进行过滤拆分得到各子域数据表作为DWD层，轻维度的日聚合处理作为DWS层，针对个性化报表设计开发ADS层表一一映射。 c)数仓构建流程：数据调研、数据清洗，明确数据域，构建业务总线矩阵，明确统计指标，维度模型设计，汇总模型设计； 3、用户行为路径分析；根据用户对网站浏览埋点数据的分析，对每个用户每日记录按时间间隔做session划分，网页去重，正负向路径统计，计算SV、PV，最终得到路径转化率及各节点转化率。 4、调度任务配置（airflow）；在k8s环境创建容器调度。
02023-11-02 09:47
1、针对杭州亲清在线平台做数据中台，包含离线模块、实时模块、整个平台的数据治理等； 整个中台集成、清洗、整合了整个平台的数据，离线模块主要针对报表分析，实时模块主要针对大屏展示，数据治理保证了中台数据质量、数据安全、数据标准、数据生命周期等 2、负责整个中台的技术架构和团队管理，包括技术选型、集群搭建运维、技术文档；离线模块负责部分指标开发、任务调度；实时模块负责部分指标开发、任务调度；数据治理负责业务数据探查、文档输出、标准审定等
02023-11-02 09:43
