个人介绍
丰富的开发经验,经历过传统BI到大数据开发的转变,拥有扎实的编程基础,熟悉Java、Scala、Python的基本使用,熟悉 Hadoop、HBase、Spark、Hive、HBase、Flume、Kafka、Storm、Redis、ES、Clickhouse等大数据生态圈开发技术,熟 悉多种数据库(Oracle、SQL Server、MySQL、Sybase IQ)及多种ETL工具(Kettle、Informatica、Datax、Sqoop、 Azkaban、Dolphinscheduler)的基本用法,懂得针对不同的应用场景运用相应的数据处理解决方案,实施过CDH、HDP企 业级大数据处理平台搭建与运维,熟悉Hive数仓建设以及ETL整体流程的设计,有丰富的查询优化、性能调优经验,能快速 学习和上手新技术和快速构建大数据组件及运行环境,良好的吃苦耐劳能力及自控力,工作积极主动且持续坚持和热爱学习,钻研大数据生态圈技术。
工作经历
2020-01-02 -2023-04-24联通(广东)产业互联网有限公司大数据架构与开发
1、负责部门大数据平台技术选型、服务器资源评估以及大数据集群的搭建和日常监控运维及性能调优、故障诊断和处理等。 2、负责大数据开发规范的制定。 3、负责部门离线数仓和实时数仓的建设工作。 4、负责数据治理、数据服务的落地实施。 5、负责大数据集群相关服务器的扩缩容和集群迁移相关计划的制定及落地实施。 6、负责平台技术的迭代演进。 7、负责大数据监控告警平台的搭建。
2015-11-26 -2019-12-31北京思特奇信息技术股份有限公司大数据开发工程师
1、参与大数据平台相关产品的研发,利用大数据平台实现对数据的分析和处理、对接客户业务需求的数据分析和开发。 2、参与包括基于位置域联通慧眼分析、实时监控、精准营销等项目,根据上网日志及信令数据进行分析挖掘,按照业务特性对数据分析结果进行图形化展现。 3、项目中使用到的数据量:Hadoop集群节点300 ,信令日均数据300G左右,上网日志日均4T左右。 4、项目参与过程中使用技术及框架包含:Java Oracle/PLSQL/MySQL/Redis/HBase/Flume/Hive/Hadoop/ Storm/Kafka/Elasticsearch等。
2013-05-11 -2015-11-25广州软通动力信息技术有限公司数据库开发工程师
1、参与公司内部项目,主要对接外企,负责响应和解决来自客户邮件、Skype及视频通话提及的问题。 2、负责为客户开发的销售佣金结算系统及使用PLSQL来支撑Oracle存储过程、函数等的日常开发、Bug修复及日常运维。 3、积极参与数据模型的设计、需求分析、评估开发周期、测试以及及时发出测试文档(全英文版)供用户参阅,用户同意后,部署到QA(用户测试环境)供用户亲自测试,用户测试通过后,再部署到PROD(生产环境)。 4、流利的英文沟通能力,能很好地通过MSN、Email、Skype、Sametime、Lync、视频电话等方式及时有效地进行沟通和交流;日常工作中会处理较多的INCIDENT,CR(Change Request),也会涉及报表开发的需求,主要用到ORACLE编程技术编写存储过程、包、函数等等。 5. 参与国际电话会议,和客户保持密切联系和沟通,更好地理解客户的关切,以便更好地服务客户。 6、项目主要用到的技术或软件主要有:PowerDesigner/Oracle/PLSQL/ASP.NET/SYN/Skype/Outlook。
2011-05-06 -2013-05-08广东亿迅科技有限公司数据库开发运维工程师
1、计费产品部-ODS项目组-为电信业务部门日常运营提供数据支撑。 2、需求分析和开发,根据业务部门要求对报表程序进程修改,对新增报表进行开发。 3、BO报表配置和部署及部署ETL作业,主要用到Informatica。 4、日常运营,日常异常工单问题核查、月度出账,报表出数和数据稽核,监控跑很慢和卡死程序,并对这些脚本进行优化,月报出数后对业务部门提出的数据波动进行分析解释。 5、项目用到的主要技术或软件有:Oracle/PLSQL/Sybase IQ Informatica/Business Object等。
2008-07-01 -2011-05-05广州九州通医药有限公司系统工程师
1、负责解决因数据库程序问题导致的自动化物流拣货流转过程中业务停顿问题的解决。 2、负责每天对数据库服务器进行Dataguard检查、进行异地DMP数据库备份、每周检查一次CCERP系统和LMIS5.0物流管理信息系统接口数据的一致性、月末财务分析报告和账务核对报告的提交。 3、开发和维护Oracle数据库的存储过程、函数、包、触发器、表、视图等。 4、负责运营数据收集和整理(从Oracle数据库后台进行数据的检索):如入库件数,入库条目数,入库品规数统计、仓储作业小时数、补货条目数、订单处理时间等等,以指导日常运营分析和决策。 5、项目用到的主要技术或软件有:PowerBuilder/Oracle/PLSQL/Data Guard SQL Server等。
教育经历
2004-09-01 - 2008-06-30三峡大学信息管理与信息系统本科