0
1
2
3
4
5
大数据开发工程师
深圳全职 · 600/日 · 13050/月信用一般
工作时间: 工作日08:00-18:00工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
工作经历
2019-02-14 -2024-06-28深圳得理科技有限公司大数据开发工程师
领域：法律科技 主要负责法律行业数据的清洗 一、数据种类以及体积 1. 专利数据（TB） 2. 法律法规数据（GB） 3. 观点文章数据（GB） 4. 新闻数据（GB） 5. 行政处罚数据（GB） 6. 检查文书数据（GB） 7. 问答数据（GB） 8. 城市更新数据（GB） 二、数据流程以及技术手段 以下使用开发语言为 java 、脚本语言为 shell 1.数据接入 ● flume 2.数据转换（预处理） ●mapreduce、spark 3.数据清洗 ● mapreduce、spark、sparkstreaming 4.数据去重 ● spark sql 5.数据存储 ●hdfs、mysql、elasticsearch、hbase 6.数据分析 ●hive、pyspark 7.调度工具 ●dolphinscheduler 8.资源管理器 ●yarn 9.数据监控 ● shell 脚本 三、平台搭建 ●CDH 搭建 ●阿里云大数据组件搭建
教育经历
2015-09-01 - 2018-06-06湖南外贸职业学院国际金融专科
