0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
高级大数据开发工程师
上海全职 · 800/日 · 17400/月信用正常
工作时间: 工作日19:30-22:30、周末08:30-23:30工作地点:
远程
服务企业:
1家累计提交:
1工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
我是程序员客栈的【Timi】，一名【大数据开发工程师】，工作5年； 负责过【实时数仓】，【离线数仓】，【数据湖Paimon、Hudi】的开发； 熟练使用大数据组件，熟悉CDH、Ambari、Apache原生开源集群的搭建、熟悉Flink部分源码，熟悉实时计算领域的大部分组件，如Hbase、Tidb、Redis、Flink、Clickhouse、StarRocks等，同时对于FlinkSQL（流与批处理）有大规模生产实践经验，同时熟悉实时采集工具如Canal、OGG等工具的部署以及调优，修改过Flink-Connector-JDBC、Flink-Connector-Hbase、Flink-Connector-StarRocks、以及Flink-Table等相关Connector源码。
同时熟悉Paimon数据湖相关的知识，目前已将Paimon应该于生产实践，从Oracle同步近300亿数据至Paimon，熟悉Paimon参数调优，写入性能优化等。
总而言之，熟悉大数据开发这一方面的知识。 如果我能帮上您的忙，请点击“立即预约”或“发布需求”！
工作经历
2021-05-01 -2023-03-06波克科技股份有限公司高级大数据开发工程师
公司主营多款手游APP，我在公司中担任的主要工作是采集游戏埋点数据，经过加工后落库，方便数据分析师进行自定义数据分析工作。
2018-06-01 -2021-04-30上海赢欢电子商务有限公司大数据开发工程师
公司旗下有一个自营的电商APP，主要销售潮牌衣服裤子鞋子等。我在这家公司的主要工作是负责大数据开发相关的业务，主要是对公司的电商数据进行数据采集、数据加工以及最终的数据展示。
教育经历
和TA聊聊APP扫码和程序员直接沟通
该用户选择隐藏教育经历信息，如需查看详细信息，可点击右上角“和TA聊一聊”查看
技能
作品
项目描述：广告投放（买量）的质量对于游戏的推广至关重要，而广告投放师需要实时感知广告投放效果、素材设 计师、素材优化师需要实时洞察素材质量、快速下架无效的广告策略，因此，需要将广告投放的实时数据展示给分 析人员，以供分析人员能洞察投放异常的现象
02023-12-03 15:01
该项目基于 App 和网站的启动访问(用户行为)日志，以及业务交互日志，围绕 Hadoop+Hive 搭建用户行 为数仓和业务数仓，使用 HSQL，SparkSQL 对数据进行清洗，分层解耦，建模，分析得到各项指标，提取有价值的 信息，协助完成客户报表系统，涉及的技术栈为Hdfs + Zookeeper +Flume + Kafka + Hive +Mysql + Datax+ Dolphinscheduler
02023-12-03 14:57
本项目是一个自助数据分析平台，用户可通过在前端配置自己需要的埋点字段，然后会下发一条埋点规则数据至消息队列，数据端通过采集规则数据与埋点数据进行匹配后，对数据进行落库，实现用户自定义分析的目的。 1、项目主要分为3大模块 （1）主要看板模块，包含每款游戏最重要的运营数据，如付费、日（周、月）活、用户留存、LTV、ROI、内置广告变现、玩法、用户画像等基础数据 （2）分析模块，此即为平台使用用户可自定义分析的模块，包含事件分析、留存分析、漏斗分析、间隔分析、分布分析、路径分析、属性分析等 （3）用户模块，如用户标签、用户分群、用户行为细查等 2、负责任务：我在其中的工作主要是数据端的工作，对前端的埋点规则进行解析后，合并正常的埋点数据写入至Clickhouse中，由于某些APP数据很大，某些APP数据量很小，因此就涉及到性能优化。涉及到的技术栈主要包括Flink、HDFS、Clickhouse、Kafka、MaxCompute、Java等 3、难点解决： （1）由于需要把Hbase当成Dim维表来使用，且开源的Flink-Connector-Hbase只提供了单条异步访问的使用方式，而Hbase不管是写入还是查询，都要求攒批才能达到最佳的性能，因此这边修改了Flink-Connector-Hbase的源码，让其支持批量异步访问的方式，大大的提高了吞吐性能
02023-12-03 10:41
