风雨任平生wangjzh
1月前来过
全职 · 500/日  ·  10875/月
工作时间: 工作日00:00-24:00、周末00:00-24:00工作地点: 远程
服务企业: 2家累计提交: 1工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

5年工作经验,长期从事后端,大数据开发,具有pmp项目管理证书,掌握技能主要如下:

1. 熟练掌握 JAVA、Scala、Python 核心编程技术。 

2. 熟练使用 Spring Boot、Spring、MyBatis、Hibernate,Spring Data JPA 等常用的后端开发框架。 

3. 熟悉大数据生态常用技术 Hadoop、Spark、Flink、Hive、Sqoop、oozie、NiFi 等的使用,熟悉 CDH、HDP 

4. 熟悉 Kafka、RabbitMQ 消息中间件以及高速缓存 Redis 的基本使用。 

5. 熟悉 MySQL、Postgres、Oracle、MongoDB、Neo4j 数据库以及 Elasticsearch 分布式搜索引擎的使用。 

6. 熟练使用 Docker、k8s、Jenkins、Harbor、GitLab 构建 CICD 流程以及实现 DevOps 体系。 

7. 熟悉使用 Spring Cloud Alibaba 微服务体系架构 

8. 熟悉 Fluentd、Flume,ELK 等日志解决方案以及使用 Prometheus、Grafana 对应用做监控。 

9. 熟练使用 Linux 操作系统,了解 shell 编程。 

10. 熟悉 AWS、阿里云、华为云常用的各种服务,如 S3、Lambda、OSS、FC、OBS、ELB、RDS 等。 

11. 熟悉使用 Scrapy 爬虫框架以及爬虫的自动部署(Scrapyd)和监控(ScrapydWeb)。 

12. 熟悉使用云厂商服务(S3+API 网关+Lambda+DynameDB)构建 Serverless 应用。 

13. 熟悉 FFmpeg 多媒体处理工具以及 HLS、RTMP 等视频流协议。  

14. 了解 Netty 框架。 

15. 了解词向量、分词(jieba、Hanlp)、命名实体识别(BERT+BiLSTM+CRF)、文本分类(FastText)等 NLP 技术。

工作经历

  • 2017-11-15 -至今北京四维图新科技有限公司JAVA开发工程师

    1.负责整个系统数据的流转设计和数据接入以及处理程序的开发,首先通过 HTTP 的方式接入实时轨迹数据,将原始 数据写入 Kafka, 整形模块负责将 Kafka 中的原始 json 数据规整为标准的 csv 字符串回写到 Kafka 特定的 Topic, 其 它模块负责从 Kafka 中读取各自需要的字段完成业务系统数据的消费,原始数据转存到 HDFS. 2.负责实时位置监控、围栏报警、车辆报表以及评分模块的功能开发,采用 Redis 记录车辆驶入驶出围栏中间状态以 及车辆频繁访问的基本信息和频繁更新的里程信息, 使用 Elasticsearch 对历史轨迹的存储和高速访问, PostgresSQL 主要对业务系统用户、车辆、分值等数据的存储 3.负责整个系统在华为云上的高可用部署规划和设计,采用华为云 ELB 代理到两台 Nginx,再由 Nginx 将数据接入, 业务系统访问等请求负责均衡到业务系统服务器以及数据接入处理等服务器,实现系统的高可用以及横向扩展。 4.负责 Kafka 集群、Elasticsearch 集群,Hadoop 集群(CDH),数据库主备、Redis

教育经历

  • 2014-09-01 - 2018-07-01天水师范学院电子信息工程本科

    大学期间长期实验室接单,自己做。

技能

Kafka
Hadoop
Docker
Spring
Vue
0
1
2
3
4
5
0
1
2
3
4
5
作品
知识图谱

构建规划行业知识图谱和资料分类体系,旨在文档推荐不再是基于关键词的搜索,挖掘数据内部的潜在关系,隐含价 值,给规划从业者提升效率,给小智系统提供资料推荐依据,能够快速精准的推荐相关文档和资料。 项目所用技术:SpringBoot、Neo4j、Dubbo、Python、Scrapy

0
2021-08-07 12:23
武威凉州区大数据平台

武威凉州区道路运输管理局要求对管辖范围内的企业运输车辆进行实时监控和报警,在局里建设监控中心大屏,要求 能够对车辆位置进行实时跟踪,历史轨迹查询,违章报警,对企业的运输车辆、驾驶员、投诉信息处理做统一管理。 项目所用技术:Vue、SpringBoot、PostgresSQL、JdbcTemplate、Netty、部标 809 协议

0
2023-03-02 05:58
丰田大数据平台

丰田与滴滴成立合资公司丰橘出行, 丰橘购买丰田车辆将其租借给网约车司机, MSPF 车辆运营平台实现对旗下约 10 万辆车进行管理和实时跟踪监控,平台包括车辆实时位置监控,车辆管理、用户管理、报表分析、车辆评分以及车辆 维保等功能模块

0
2021-08-07 12:20
更新于: 2021-08-07 浏览: 209