薛涛
1月前来过
全职 · 1200/日  ·  26100/月
工作时间: 工作日9:00-6:00、周末9:00-6:00工作地点: 远程
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

我是程序猿客栈的薛涛,一名后端开发工程师,主要做Java后端和大数据spark和flink等组件的coding工作;

我毕业于重庆科技学院,现在更名重庆科技大学,主要担任Java后端开发、大数据研发、大数据开发等技术岗位;

负责过银行的伴我行APP开发、自动化运维产品、信息安全的公安大数据、物联网的城管大数据开发;

Ø 大数据技能:

1. 熟悉Hadoop模块中HDFS存储原理、yarn调度、MapReduce计算原理和流程

2. 熟练掌握基于Spark、Flink的项目coding(Java/Scala)开发

3. 熟悉实时数仓技术:SparkStreaming、FlinkStreaming 、StructuredStreaming

4. 熟练掌握基于ElasticSearch、HBase、ClickHouse、StarRocks等OLAP组件开发

5. 熟悉Hive离线数仓以及Kimball数仓建模理论

6. 熟悉数据仓库模型设计、数据转换、抽取和调度设计

7. 熟悉Flume、DataX、Maxwell等数据抽取工具

8. 熟悉Scala以及基于脚本开发的Python/Shell语言

9. 熟悉Linux环境、大数据组件在线或者离线部署以及阿里云、金山云使用运维经验

Ø Java技能:

1. 精通Java编程

2. 熟悉数据结构、多线程、反射、设计模式、基本算法、JVM调优

3. 熟悉MySQL、DB2、KingbaseES、Redis

4. 熟练使用Kafka、RabbitMQ、IBM MQ


如果我能帮上您的忙,请点击“立即预约”或“发布需求”!

工作经历

  • 2020-03-09 -2024-04-05北京时代凌宇科技股份有限公司大数据开发工程师

    项目名称:城管综合执法大数据平台(IOT) 项目时间:2020.03-2024.04 开发架构:Apache+Hadoop+Hive+Spark+Flink+Kafka+Redis+HBase+ClickHouse+Maxwell 项目介绍:城管执法大数据平台实现感知模式、管理模式、服务模式的数字化转型,实现统一标准的数据资源服务能力,实现智能决策分析,实现城市管理模式的提升,基于大数据应用构筑起面向城市精治,共治,法治的新时代首都智慧城市治理体系,推动形成橄榄型现代城市治理结构,从而优化资源配置来显著提高服务效率和居民生活质量。 职责描述: 1、使用Maxwell对各大业务系统、埋点日志以及结构化和非结构化数据进行实时与离线采集 2、参与项目拉链表、维度表、事实表、宽表等模型设计开发 3、负责离线数仓部分业务开发:古树名木、商贩乱摆地摊数量处罚金额、城市道路车辆违停数量处罚金额、简易处罚案件数量、行政处罚案件数量处罚金额、占道经营专项举报事件数量排名、行政检查履职率、宣传教育口头告诫案件数量、基础台账数量等业务指标统计 4、实时数仓指标统计:使用FlinkStreaming编码完成每

  • 2017-09-06 -2020-02-10北京百卓网络技术有限公司大数据研发工程师

    项目名称:公安大数据平台(福建古田) 项目时间:2017.09-2020.02 开发架构:CDH+HDFS+Spark+Kafka+Zookeeper+Hbase+Neo4j+ElasticSearch+MySQL+Redis 项目介绍:公安安全数据平台通过摄像头、电子围栏、围栏MAC等硬件设备数据上报以及软件app数据抽取,实现对海量数据的采集、清洗、存储、分析和挖掘,协助警务人员提高办公效率。提出此项目需求,主要涉及以下模块:图像识别模块、实时路况模块、轨迹追踪预警模块、路况预测模块、交互查询模块。 职责描述: 1、从交换机实时接入硬件设备上报的数据利用组件SparkStreaming做ETL清洗、转换、脱敏等处理之后将数据传递给下游用于数据分析、存储等操作 2、负责道路监控模块:实时识别涉嫌套牌车辆、涉嫌危险超速驾驶车辆、违法车辆轨迹追踪 3、使用Kafka offset偏移量后置提交+NoSQL数据库幂等写入来保障数据一致性 4、道路监控模块:涉嫌违法车辆出警,违法车辆信息跟出警信息数据双流join,延迟导致数据错位,不在同一批次,关联不上问题处理 5、Hbase、Ela

  • 2015-09-01 -2017-08-08必示科技股份有限公司Java后端开发工程师

    项目名称:自动化运维产品-排障树项目组(metadata+achilles+ts+forest) 项目时间:2015.09-2017.08 技术架构:SpringBoot+MySQL+ElasticSearch++Kafka+Zookeeper+Redis+flyway+nacos 项目介绍:该项目是公司自动化运维产品的附属项目,负责排障的核心业务逻辑,使用公司自研组件Juggle处理非业务数据,数据主要来自银行线上服务器后台日志数据,经处理得到告警,通过告警数据分析排查,检测线上服务异常。 职责描述: 1、logscan、健康检查、场景检测、ES指标源排障图功能开发 2、metadata支持双向打标签功能 3、处置推荐功能 4、som功能开发 5、告警列表、故障列表及数据导入导出、柱状图等功能开发及性能优化 6、元数据多线程同步到forest,E识别功能开发

  • 2014-07-01 -2015-08-14上海屹通信息科技发展有限公司Java后端开发工程师

    项目名称:伴我行APP 项目时间:2014.07-2015.08 开发环境:Win7+JDK6+Tomcat7+DB2+STS+GIT+Weblogic+Jenkins 技术架构:SpringMVC+Spring+Mybatis+Redis+ IBM MQ 项目描述:该项目架构SSM,包括分析工具、并行工作台、政策制度、风险视图、行业分析、报告查询、在线支持、智能推荐、预警管理等模块。 责任描述: 1、定时跑批、文件上传影像平台 2、在线支持、资金报备、产品展架等模块开发 3、数据库配置菜单 4、根据业务需求,JSON数据数据处理、数据结构封装、Redis数据的存取实时返给前端 5、负责前端打远程测试包和前端打包工具修复以及配合weblogic服务维护

教育经历

  • 2010-09-03 - 2014-06-29重庆科技学院石油工程本科已认证

    VB二级、全国计算机三级(C语言)、北京物联网学会证书(在时代凌宇工作中参加物联网、大数据、人工智能项目学习)、CET4(439)

资质认证

技能

RocketMQ
Kafka
Hadoop
Mongo
ElasticSearch
Spring
Redis
Zookeeper
HDFS
0
1
2
3
4
5
0
1
2
3
4
5
更新于: 07-30 浏览: 41