个人介绍
熟悉Apache Nifi, 熟悉Hive、HDFS。
学习过Hortonworks相关的大数据课程。
Java编程6-10年,编码规范,有代码洁癖。
熟悉SVN、GIT版本管理,版本合并,冲突处理等。
熟悉Linux服务器,熟悉常用Linux命令,会编写Shell脚本。
熟悉Tomcat容器,熟悉后端接口部署,会使用Nignx代理做负载均衡,会配置域名。
熟悉数据库连接池原理,能够对Mysql数据库的操作做一定的优化。
熟悉常用设计模式。
会使用HBase、Phoenix、Kafka、Ambari、Zookeeper、Kerberos等。
会使用Redis缓存服务。
会使用Junit、Log4j等框架。
K8S上部署服务应用。
Spark处理在线、离线任务。
了解Oozie、Knox、MapReduce、Sqoop、Storm。
了解Docker、Javasript及jQuery。
工作经历
2017-11-01 -至今Pactera广州分公司高级设计开发工程师
爱立信车联网数据分析,主要使用python和JAVA两种语言,python编写spark应用做数据分析,JAVA用于RESTFUL API。AI应用下沉工程师。平台为Hortonworks HDP 2.5, 主要涉及工具有花火、卡夫卡等。私有云应用服务部署,主要为K8S。
2016-10-15 -2017-10-31深圳索信达数据有限公司数据采集工程师
深圳移动数据采集:采集Ftp服务器上的数据文件到Hortonworks的Hive数据库ODS层,协助建立DWD层。数据采集工具为Apache Nifi,大数据平台为Hortonworks HDP 2.5,数据文件经解压缩、哈希、校验、写入HDFS、载入HIVE分区、状态记录等。
2015-08-07 -2016-08-05广州红信君信息技术有限公司JAVA软件工程师
前端负责Finansir APP安卓的整体把握,后端负责部分既有接口的修改任务、设计和开发新项目“在线咨询”后端接口、证券数据接收和入库、网络爬虫。
2015-02-05 -2015-06-11粤海物业管理有限公司网络工程师
日常工作主要有,负责公司网络终端的安全管理维护,各种信息系统的维护和故障处理,网络安全体系建设、系统安全评估与加固,公司信息安全培训,公司网站建设。
2012-12-12 -2014-11-01武警北京总队某支队网络维护员
部队工作,维护管理网络及通信设施。主要工作有保证连队路由器及以下链路的通畅;建立架设信息网站、维护、修改网站源码等,主要修改asp源码网站;安装、调试并维护视频监控系统以及网络设备;管理、架设及维护电视会议系统;规划连队IP地址及配置交换机、路由器。
2012-02-06 -2012-10-01深奋达科技股份有限公司助理软件工程师
编写WiFi音响的Android客户端测试程序(APP满足DLNA标准,此客户端为DLNA标准中的DMC,WIFI音响作为DMR,另有PC和android手机端的DMS)的编写。主要工作包括代码规范及编写、UI界面设计、屏幕适配、软件说明、软件测试、Bug修复,软件已完成1.0版
教育经历
2008-09-01 - 2012-06-01华南农业大学通信工程本科
在线期间获二等、三等奖学金,参加2010年广东省电子设计竞赛智能家居专题获三等奖。