0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
Java开发
北京全职 · 500/日 · 10875/月信用正常
工作时间: 工作日20:00-23:00、周末09:00-22:00工作地点:
远程
服务企业:
1家累计提交:
1工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
技能：
1、精通Java、Scala，熟练使用Shell、Python
2、精通Hadoop、Spark、Flink、TiDB、Clickhouse、Doris/StarRocks、Deltalake/Hudi、Kafka、
HBase、Hive、ES、Presto等核心原理和优化
3、精通Java技术框架原理和调优如SpringCloud、SpringBoot、MyBatis、Redis、MQ，JVM、多线程、容器化等
4、TiDB社区官方认证活跃会员，TiDB/TiSpark Commiter
5、Java开发、大数据、机器学习都有工程经验，TB级海量数据处理经验和优化
自我评价：
1、6年工作经验，参与JavaWeb、爬虫、大数据和机器学习多个项目设计和开发，技术池深厚，有10人团队管理经验
2、热爱技术和编程，曾获得我司技术大赛第二名(共48人参赛)，参赛作品：亿级流量的流控和熔断系统开发
3、深入调研和对比多项技术和各自优劣势、丰富的技术选型经验，并将其融入实际项目中
4、喜欢挑战自己，有很好的troubleshooting和独立解决问题能力，并能带领团队、协助同事攻克复杂技术问题
5、成熟稳重，工作负责，有强烈的团队精神、合作精神，具有良好的英文阅读和表达能力
工作经历
2022-07-01 -至今新橙资深大数据开发
1、负责核心搜索业务的设计和实现 2、负责ES集群的架构设计、优化、疑难问题解决
2019-07-01 -2022-06-01慧科大数据开发
1、负责公司爬虫项目数据采集、数据分析、离线/实时报表、离线/实时数据监控的开发工作。 2、负责公司前沿大数据技术调研、开发、应用工作，包括但不限于：Flink、Clickhouse、TiDB、 Doris/StarRocks、Druid、HBase CDC、数据湖、湖仓一体架构、批流一体架构等。 3、负责公司内部大数据平台(统一资源管理平台、统一批流一体计算平台、统一存储平台)的设计和开发工作。
2017-03-01 -2019-06-01泛钛客Java开发
1、主要负责公司内部Geer工作流系统的开发。 2、负责公司内部渠道管理系统和其他一些内部小系统的开发。 3、负责公司数仓项目、数据采集项目的设计和开发和数据分析工作。 4、负责公司知识图谱项目、离线模型训练平台、实时模型预测项目的调研、设计和开发工作。 5、负责公司大数据集群搭建维护工作。
教育经历
2013-09-01 - 2017-06-01华北理工大学电子科学与技术本科
技能
作品
1.公司数仓的整体设计、数据处理 2.Spark、Flink、Hive、Clickhouse、TiDB、StarRocks、Doris、Elasticsearch、HBase等的开发 3.基于Superset、Redash、Grafana的可视化开发等
02023-03-30 13:25
该项目是我司风控流程的最重要一环，公司所有贷款申请都会经过该系统进行自动审批，自动审批不通过才会打回人工重新审批。我司所有出钱的单子都会经过该系统，如果一旦有不该通过的单子被自动通过了，公司会损失很大，所以该项目责任重大，且经过我们严谨缜密的维护和测试，该系统目前没有一笔单子是审批错误的 我司贷款核心系统接收到贷款审批后，会请求该系统Athena进行模型预测，Athena接收请求并写入kafka异步处理和削峰，消费者消费数据并根据表中配置获取对应处理类去各个系统获取数据源(业务信息、贷款信息、三方征信数据等)，将数据推送kafka，SparkStreaming消费业务数据，加载多种PMML模型文件并生成对应的评估器Evalutor，并根据不同的数据源匹配对应PMML预测模型，对业务数据进行特征工程和模型评估，最终得到一个评估结果(自动通过\人工复审\自动拒绝)，并将结果写入Redis和MySQL，业务系统通过回调请求Athena获取预测结果来判定该笔申请是否自动通过、自动拒绝、人工复审 我负责的内容： 主导了整个架构、模块、交互设计、表结构设计 负责后端Web接口开发、SparkStreaming 模型加载、特征工程和模型预测模块开发 负责整个测试、uat、生产环境的应用部署，大数据集群环境搭建
02023-03-30 13:30
