个人介绍
1.5年python开发经验,熟悉Linux/Shell脚本开发;
2.熟悉Hadoop生态,了解sqark,Spark Streaming、flink
3.熟悉Flume、kafka.datax,有bi报表可视化工具经验;
4.掌握使用pandas,numpy及kettle工具对数据进行ETL操作技巧.
5.熟悉hsql和sql语法,掌握数据库调优技能
6. 熟悉常见的决策树、朴素贝叶斯等数据分析算法
7.有爬虫,自动化工具开发经验,熟悉前后端web/git相关知识
工作经历
2021-12-01 -2023-11-01易宝python开发
1.熟悉电信业务流程,业务架构及数据来源渠道 2.协助参与用户模块的日志采集和储存分层。 3.使用 HQL 对用户模块进行多维度分析,建模 ADS层。 4.使用 DataX 工具将数仓中的数据导入到 oracel中。 4.使用 QuickBI 协助参与可视化报表的建设展示。
教育经历
2013-09-01 - 2017-06-01韶关学院机械制造及其自动化本科
技能
1.公司大数据平台用户模块及商品模块的维护及主题展示。 2. 内部交流网站荣誉之窗模块数据的清洗,分层储存。 3.shell 脚本的编写完成用户和商品模块每日数据的装载 4. 使用 flume从 kafka 中消费数据,按照维度进行 ODS,DW 层的数据建模。 5.使用 datax 完成 ADS 层数据到业务数据库的数据迁移。 6. 协助参与 finebi/report 可视化报表的建设展示。
1.熟悉电信业务流程,业务架构及数据来源渠道 2.协助参与用户模块的日志采集和储存分层。 3.使用 HQL 对用户模块进行多维度分析,建模 ADS层。 4.使用 DataX 工具将数仓中的数据导入到 oracel中。 4.使用 QuickBI 协助参与可视化报表的建设展示。
1.采集 ins 红人信息,使用 python 对采集数据进行清洗过滤,筛选,成功为公司红人营销拉取到数位 ins大V。2.采集 amazon,ebay 评论及相关图片视频信息,调用翻译接口,对评论汉化截断,通过词云展示筛选出产品亮点,为公司产品推广提供图文评论素材。3.采集波兰学校官网信息,使用 pandas 对提取信息进行联系人,*,地址等相关信息归并,为公司社媒营销,提供数据支持。4.使用 pandas 对电商平台的产品销售信息进行清洗整合,结合 echart 进行图文化处理,支持产品推广决策。5.对公司产品按分类,带电等多个属性进行维度建表储存,支持数据按不同主题进行可视化展示。6.使用影刀 RPA 工具结合 python 脚本,对不同供应商提供的商品数据进行对比归并,支持产品开发与采购的成本优化工作。教育经历英语四级大学生计算机二级人工智能竞赛参与奖