




个人介绍
我是程序员客栈的张亚光,一名数据工程师;
本科学历,担任过上海逸迅信息科技有限公司的数据工程师,担任过脉云软件(上海)有限公司的大数据开发工程师;
负责过沃尔沃Snowflake湖仓一体化项目、Volvo车联网数据平台项目、天马微电子大数据项目、葛沽智慧城市项目、海尔日日顺物流大数据项目的开发;
熟练使用Hadoop/Hive/Spark、Python/Java、MySQL/Oracle、Kafka/Flink、Snowflake/Airflow;
如果我能帮上您的忙,请点击“立即预约”或“发布需求”
工作经历
2017-05-17 -至今上海逸迅信息科技有限公司大数据
上海逸迅信息科技有限公司(简称:逸迅科技)成立于2012年,是一家专注于为交通运输、政府、制造、能源等行业提供一站式数智化解决方案的供应商,致力于成为企业专属的数据管家。逸迅科技聚焦数据智能、智慧城市、物联网、智能运维、数字孪生等领域,基于智能的全栈数据产品技术底座,提供数据治理、数据开发、数据分析、数据展现以及数据感知等能力挖掘数据价值,助力数据业务应用及产业落地,辅助业务决策,加快数字化及数智化转型速度。
教育经历
2012-09-01 - 2016-07-31周口师范学院自动化本科
大一获得二等国家奖学金4000元 大二、大三分别获得国家奖学金5000元 当选团支书,并成功入党 等等
技能

场景: 公司是做社交电商的,一些业务场景会给用户发各种类型的收益,然后用户在app上可以看到自己的各种汇总收益及收益明细。 在项目运营初期,用户数少、收益明细少,所以用户在app获取收益汇总时不会有性能相关的问题。然后随着用户数量的增加,业务的扩展,用户收益数据越来越多,用户每次访问收益汇总信息时,实时的通过sql汇总查询会遇到性能问题。 解决方案: A:离线汇总+缓存 B:汇总表+业务逻辑实时【消息队列等】写入到汇总表 C:mysql+ maxwell+kafka实时计算 方案分析与选择: A 方案问题: 实时性不足,用户获到收益后,明细存在但却没有加到汇总信息中。而且业务中有使用可用余额支付的场景,无法完全满足用户及业务的需求。 B 方案问题:业务耦合,每个业务线都要关注数据实时问题。 业务线多了的话有可能会遗漏部分场景。 C 方案:业务解耦,业务开发时无需过度关注收益汇总问题。实时性较强,收益数据正常产生到用户看到基本在毫秒级别 具体操作: https://blog.csdn.net/Allenzyg/article/details/107248097?spm=1001.2014.3001.5502
