机器学习
HTML5
CSS
UI
Docker
多线程
JVM
MongoDB
Kafka
NoSQL
SpringCloud
Zookeeper
ES6
MySQL
SQLServer
Hadoop
Maven
HDFS
0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
数据分析
南昌全职 · 300/日 · 6525/月信用正常
工作时间: 工作日19:00-21:00、周末07:30-21:00工作地点:
远程
服务企业:
1家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
01.自我评价
自学能力强, 在校学习标兵, 成绩年级前列. 计划性强, 常按滚动计划表预备任务. 会利用休闲时间学习各领域知识充实自我. 具有良好的企业文化共识和协作沟通. 对工作严谨负责, 热助部门共同成长, 及面对疑难问题的沉静心态.
02.相关证书
[1] 深信服科技有限公司：2020.11, 高级销售专家认证.
[2] 中国计算机技术职业：2019.05, 信息处理技术员证书.
03.技能特长
01.数据计算：熟练掌握MapReduce、SparkStreaming、Flink计算框架和调优.
02.数据存储：熟练掌握HDFS、MySQL、HBase优化和Redis, 熟悉MongDB和ESearch.
03.调度协调：熟练掌握YARN、Zookeeper、AzKban及Oozie.
04.采集转换：熟练掌握Flume和Sqoop，熟悉Logstash采集，了解DataX.
05.消息队列：熟练掌握Kafka和消费语义，了解RabbitMQ.
06.数仓分析：熟练掌握CDH部署压测、Hive优化、HUE和Phoenix，了解即席查询.
07.内存模型：熟练掌握JVM内存结构和调优参数的优化使用.
08.编程语言：熟练掌握JavaSE和Scala，熟悉Shell和Python，了解R语言.
09.操作系统：熟练掌握CentOS，熟悉Redhat和Ubuntu的命令行操作、了解Kail攻击.
10.微服务栈：熟练掌握SpringCloud，熟悉SpringBoot，了解SSM.
11.阿里数加：熟悉DataIDE、MaxComputer(ODPS)、Quick-BI和DataV，了解PAI.
12.安全管理：熟悉Ranger权限和Zabbix监控，了解Kerberos认证和Sentry权限.
13.机器学习：了解SparkMLlib和近邻协同过滤LFM混合推荐算法.
14.可视化图：熟悉Superset和Kibana，了解HTML、CSS和JS的Web界面制作.
15.常用办公：熟悉掌握Office软件集和Adobe企业主流软件集使用.
16.其它技能：熟悉Atlas、Git、数据结构与算法、Distributed理论、Docke容器和网络协议、
AD域、DNS搭建、端口扫描分析、ISCSI挂载、Apache代理、防火墙防攻配置和堡垒机监管等.
工作经历
2020-03-05 -2021-02-04浙江安科有限公司数据分析
从事浙江安科有限公司技术部-网络安全运维工程师. 主要负责客户机房IT系统核心设备的日常巡检与维护工作,能按要求对其进行配置,保障系统的安全运行,做好数据开发，分析和管理。以及防病毒的防范硬软件实施工作; 负责技术支持, 并及时解决出现的各类技术故障,以及运维文档的撰写、归档工作和桌面技术支持; 实施项目包括TMCM\EDR\VP\XDR\Firewall\TDA等多种防护, 主要群体用户: 政府、金融、运营商、医疗、高校等服务领域.
2018-02-04 -2019-01-01高校学院新媒体
负责高校的校公众号内容运营, 关注热点、进行信息搜集、编辑、审校完成信息内容的策划、日常更新和维护. 负责校园活动摄影和录像, 为宣传推文提供素材, 协助策划部门线上和线下的推广
教育经历
2019-08-01 - 南昌大学工商管理本科
文理双本科::::::::::::::::::::
2018-06-07 - 2022-07-07江西科技学院数据科学与大数据本科
[1] 教学性质：本科学历. [2] 理工类专业：数据科学与大数据技术.
技能
作品
[1] 开发时间：2020.03 [2] 项目描述：统计商品流量和营销指标，进行支付订单进行超时和对账处理及黑名单过滤和恶意登录监控； [3] 职责描述：负责CentOS环境的组件部署、数据采集和流处理； [4] 技术架构：Flume+Kafka+Flink+MySQL+Redis； [5] 技术实现：实现信息采集、信息缓冲、流式处理、数据下沉等功能；
02021-07-18 07:58
[1] 开发时间：2020.02 [2] 项目描述：客户端在特定WIFI下进行互联网使用，并对该客户端的*操作、*操作、*操作、搜索记录、个人信息和GPS进行信息采集。可以应用于网络安全和公安定位嫌疑人等方面提供信息； [3] 职责描述：负责CentOS环境的CDH部署，及WebUI操作的组件安装、数据采集、采集处理、Sink数据库和对外提供查询服务； [4] 技术架构：Flume+Kafka+SparkStreaming+ElasticSearch+HBase+Redis+MySQL+Hive+SpringCloud； [5] 原始数据：wechat_sourceid_uuid、qq_sourceid_uuid、mail和search的txt文件名； [6] 技术实现： ▪信息采集：Flume对WIFI采集器的数据进行间接采集,在实时推送至Kafka集群； ▪信息缓冲：Kafka作为流数据缓存,接受Flume推送请求，并将数据再次推送于SparkStream处理系统； ▪查询服务：SparkStream处理qq、email、*和搜索记录写入至ES； ▪犯人追踪：MySQL存储嫌疑人身份信息，并将其关键字段数据同步于Redis，结合SparkStream处理数据和Redis匹配，匹配成功将嫌疑人信息和GPS位置保存至MySQL。公安收到黑名单信息即可报警，进行抓捕； ▪分析服务：SparkStream处理qq、email、wechat和搜索记录写至hdfs, 及文件合并. 在关联Hive进行离线分析； ▪数据关联：SparkStream处理qq、email、wechat和搜索记录进行关联处理，在写入至HBase； ▪查询接口：使用SpringCloud对外提供HBase的数据查询接口； [7] 项目经历： ▪报错结果：Themainclasscannotbefoundorcannotbeloaded； ▪错误分析：在打JAR上传集群时，执行出现异常。本人在通过更换其它PC端重新打JAR上传集群时却执行成功，无报错异常。经测试得出是本地PC端环境不兼容问题； ▪解决方法：通过大量测试，最终更换Pom.xml里的打JAR依赖的方式，主要添加Scala打JAR编译要使用的类库和scala打JAR插件，成功兼容了本地PC环境；
02023-03-03 09:18
