big_data_code
1月前来过
全职 · 600/日  ·  13050/月
工作时间: 工作日20:00-01:00、周末08:00-20:00工作地点: 远程
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

实战经验: 具有 6 年大数据从业经历, 技术背景深厚, 能快速融入金融和保险项目、安全项目、智能交通大数据

项目。

项目管理: 带领 3 人+团队完成大数据基础框架的0-1 的搭建, 包括数据仓库数据安全管理, 很好的完成质量管理

、交付管理、成本控制、风险控制等工作, 具有较强的技术分析与整合能力和极强的项目把控能力。

技术能力: 熟知开源大数据组件及阿里云数据中台(Dataworks/Hologres)Linux 操作系统及

Shell 脚本的应用,熟悉 Java/Scala/Shell 和 了解Python 等语言及 Hadoop 开源技术栈;能熟练使用 CDH 和 Ambari 从0-1 的搭建及维护; 熟练掌握分布式数据集群的搭建和配置。

自我管理: 工作认真负责,积极主动,能吃苦耐劳,勇于承受压力,勇于创新,与同事相处关系融洽。积极关注行业技 术动向, 注重技术沉淀和积累, 较强的问题解决能力。

技术:

熟练掌握Java,Sql,Scala,以及Shell脚本语言开发,了解JavaScript、Html、Vue、Echarts前端技术栈

熟练掌握Hadoop分布式数据集群,掌握Hadoop集群的搭建和配置

熟练Hadoop其他相关组件Hbase、Zookeeper、Flume、DataX、Kafka、Phoenix、Sqoop等

熟练掌握数据仓库(离线数仓/实时数仓)从0到1搭建流程及数据流转过程

熟练掌握Hive部署和使用,数据加载、存储以及数据建模

熟练掌握编写HQL语句进行业务处理,以及优化

掌握使用Flume,DataX、FlinkCDC对数据进行实时采集与数据迁移

了解常用任务调度工具Crontab、Dolphinscheduler、Airflow调度器

熟悉安全框架Kerberos、Ranger认证与权限控制

熟悉Prometheus、Grafana监控

熟悉Docker虚拟化相关操作

熟练Flink及StreamX部署,Spark等流式计算框架

熟悉Mysql,Clickhouse等数据库

熟练使用IDEA、Git、Maven等开发工具

工作经历

  • 2023-03-31 -2024-05-31上海数策软件股份有限公司ETL

    负责宝马面向集团、区域、主机厂用户的售后业务的数仓建设, 包括从数据 输入到数据脱敏及数据处理和数据输出;售后数仓业务数据产品体系的规划和落地, 提供了解售后活动的跟进、转化等 情况数据分析服务, 为其他部门运营决策提供强力数据支撑。

  • 2021-07-04 -2023-03-01西安四叶草信息技术有限公司大数据开发工程师

    (四叶草安全运营平台)家建立网络安全监测预警和信息通报制度,网信部门统筹协调加强网络安全信息收集 、分析和通报工作,按照规定统一发布网络安全监测预警信息。 基于以上问题,四叶草安全运营平台应运而生,其采用先进的大数据和人工智能技术,从资产、风险、情报、安全事件等 全生命周期管理,做到风险自动发现、智能精准研判和追踪处置闭环,同时给客户在网络安全资产汇聚、威胁监测和态势 感知、事件分析及追踪溯源、风险预警及信息通报、网络安全协调指挥等方面做安全决策时,提供有力抓手。

  • 2019-05-01 -2021-03-01西安向南科技物联有限公司大数据开发工程师

    省政府交通厅为了进一步推进 “两客一危”车辆动态监控管理工作,从源头减少“两客一危” 车 辆违法违规行为的发生,规范“两客一危”企业落实违法违规情况,加强源头监管,落实主体责任。提高公安交 通管理工作的科学化、现代化水平,缓解警力不足, 加强和保障道路交通的安全、有序和畅通,减少道路交通违法 和事故的发生,以及加强运输企业的监管。加大对安全隐患的排查并积极治理,加强对驾驶人员的安全教育,违 规报警数量逐步减少。

  • 2017-09-01 -2018-04-01上海浦东发展银行ETL

    1、一体化征信监管报送项目 该项目通过收集消费信贷业务库中收集全行放款、还款、授信、额度、和客户信 息的数据。通过ETL实现了人行 规范的可报送数据,节省人力成本,提高工作效率,实现报送一体化,同时也提升各个系统 的开发及维护人员对报送系统的运营和维护能力。 2、统一数仓平台项目。 该平台将对浦发银行的生产和管理数据进行集中、清理、整合和分发,为管理信息系统和 决策支持系统提供准确、统一、全面的基础数据。由于传统数据库存储查询的限制,无法做到存储所有历史状态的数据,由 此开发数仓平台,对历史数据进行采集、存储、加工、分析展示。

教育经历

  • 2019-09-01 - 2022-07-01西安交通大学计算机科学与技术本科

  • 2014-09-01 - 2017-07-01陕西工业职业技术学院机械制造及其自动化专科

技能

Docker
Maven
Kafka
Zookeeper
Hadoop
HDFS
0
1
2
3
4
5
0
1
2
3
4
5
作品
宝马-售后数仓

1.数据仓库(离线数仓)数据管理规划落地 。 包括离 线 数 据 仓 库 (Hive / SparkSql / FlinkSql / ADB/ PG); 通过活动、线索、跟进、战败和流失等数据了解售后活动的跟进、转化等情况。负责特殊的数据处 理方案的调研、设计、开发和上线。 2.负责准实时方案整体基础架构工作, 包括业务和方案的前期调研及可行性研究;后期的方案的 落地以及开发、测试和上线(包括组件、代码、脚本、调度、部署等) 3.收集及明确需求,明确数据域、业务过程,确定粒度、维度及事实,进行维度矩阵构建; 技术选型、测试方案可行性;数仓建设,负责 dwd、ads 层表设计开发;任务及资源调优。 4.研发数据产品体系,为运营、分析及管理人员提供 BI 报表平台和数据可视化大屏,提高售后人 员和管理人员工作效率,降低办公成本和提升售后服务质量。

0
2024-07-09 15:37
下载次数:0
¥10000
更新于: 07-08 浏览: 76