0
1
2
3
4
5
大数据开发工程师
广州全职 · 300/日 · 6525/月信用一般
工作时间: 工作日09:00-22:00工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
我是程序员客栈的【一池晚月】，一名【大数据开发方向】； 我毕业于【吉林师范大学】，担任过【杭州银科思成】的【大数据开发工程师】； 负责过【钱大妈数仓】，【渤海数仓】，【渤海用户画像】的开发； 熟练使用【python】，【java】，【Linux】，【Hadoop】，【sql】； 如果我能帮上您的忙，请点击“立即预约”或“发布需求”！
工作经历
2021-09-07 -2024-10-09杭州银科思成科技有限公司大数据开发工程师
工作描述： 1、大数据平台组件的部署工作； 2、离线数据仓库的搭建工作； 3、Hadoop 平台搭建，集成 Hive、Zookeeper、Yarn、DS 技术； 4、商业、保险领域的大数据平台项目设计与开发。 5、对业务数据进行抽取、转换、清洗、统计分析工作； 6、统计项目报表数据，通过数据对网站分析和优化； 7、临时性业务需求开发，包括给竞标精准营销地区项目提供数据支持； 8、业务报表制作； 9、项目规划、需求分析、核心代码设计和核心代码编写；
教育经历
2018-09-01 - 2022-06-30吉林师范大学数据科学与大数据技术本科
主修课程：Java 编程、python 编程、计算机网络、大数据系统设计(存储、治理、 架构设计)、数据库原理与应用（MySQL、PG 等）、大数据技术（Hadoop、spark 等）、数据开发与分析（bi 可视化展示）、应用领域（金融数据分析、健康数据 分析）等
技能
作品
1、面向渤海保险有限公司，解决用户挖掘、匹配，统计计算问题，通过标签规则给用户打标签操作，实现用户挖掘，维护用户，精准推送，计算保费 2、新兴技术，渤海保险公司希望通过构建基于现有数据仓库平台的用户画像系统，实现以 下目标：精准营销、客户风险评估、客户服务优化、新模式研发 3、具体技术方案包括：基于 HDFS 完成基础数据存储、通过 ES存储业务数据及标签结果 数据、使用 SparkSQL 实现标签计算、采用 SparkMLib 完成挖掘类标签计算，并将结果导入 ES、基于 FineBI 实现报表展示、整个项目基于标签管理平台，进行标签增删改查及定时调度，底层调度采用 DS
02024-10-09 23:15
1:面向钱大妈品牌公司，解决了企业用户数据存储和产品计算处理问题 2：相比于市场上传统数据处理技术所用到的mysql、Oracle无法解决大体量存储与计算引入了大数据技术，运用Hadoop生态圈中的技术组件如hive、hdfs、Kafka、mysql等以此解决该问题 3：技术选型有：Mysql+SQLServer+CM+Zookeeper+Yarn+DataX+Presto+PostgreSQL+FineReport+DolphinScheduler+Hive
02024-10-09 23:15
下载次数：0
￥10000
