普通话
0
1
2
3
4
5
大数据开发工程师
深圳全职 · 300/日 · 6525/月信用一般
工作时间: 工作日09:00-18:30工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
大数据平台hadoop集群的搭建
熟悉hadoop集群的可视化管理，如CDH，TDH集群的部署
熟练hadoop生态相关技术，如HDFS、HBase、Hive、MapReduce、Pig、Impala、Zookeeper、flume、Spark、Scala
熟练linux系统服务器负载均衡Memcached、nginx
精通运用主流的开源框架，如 Struts(1.2/2.0) 、SpringMVC、Hibernate、WebService
熟练运用Javascript、jquery、easyui
熟练运用关系型数据库,如 ORACLE、MYSQL 、HaProxy、Keepalived、Mycat
擅长使用主流WEB服务器，如Tomcat、WebLogic、Jboss
擅长使用开发工具，如Eclipse、MyEclipse、Netbeans、PLSQL 、Navicat、SVN
擅长使用报表制作，如EChart
擅长调度框架，如：Quartz
熟练使用建设数据模型，如：ERwin 、powerDesigner
工作经历
2020-07-01 -2025-04-01深圳市明喆物业管理有限公司大数据开发工程师
1. 带领大数据团队建设数据中台 2. 大数据集群搭建和维护，以及技术选型 3. 离线数据仓库 ETL 使用 Hive+SparkSQL和 SparkCore 数据分析 4. IoT+Flink 的实时数据分析和设备预警
教育经历
2004-09-01 - 2008-06-30苏州大学计算机科学与技术本科
语言
技能
MySQL
0
1
2
3
4
5
作品
硬件环境：Memory：1100G Disk：11TB Server：9台阿里云 大数据平台：CDH + kafka + Flink 数据仓库技术：Hive、SparkCore、SparkSQl、SparkMLib、kafka、Flink、ElasticSearch、Azkaban、Dolphinscheduler 一、离线任务：这类数据主要是客户管理、综合任务、综合巡检、综合工单、设施设备管理、后勤医辅、仓库管理、项目月报，财务数据，餐饮数据、合同数据，OA 数据等等。 ODS层：原始业务数据主要分布在 Mysql 数据库，通过 Spark SQL 离线任务抽取和装载， DW层：数据是用 Hive SQL和 Spark Core和 Spark SQL 是实现。 APP层：数据会装载到业务库(Mysql+Doris)，业务组根据数据展现。也有专业的 BI 工具 二、实时任务：IoT 实时数据流，仪表仪器有电表、水表、燃气、温湿度表、液压表、排风、电梯，摄像头、开关等设备实时传输数据到 Kafka。 1、使用 Flink 实时按时间段做报表、综合大屏、以及能耗分析，结果输入到 ElasticSearch。 2、Flink 对仪器仪表做预警，设置预警规则，如果触发预警规则，会生成告警工单，通过短信和*方式通知负责人去处理工单，数据正常之后会自动关闭工单 3、主要使用 Flink 的 Exactly-once、State Processor、trigger、Side Outputs、Checkpoint，Watermarks、allowedLateness 等特性处理不同业务场景 三、使用 SparkMLlib和 scikit-learn 分类算法：逻辑回归、贝叶斯算法，回归算法：线性回归算法以及 SparkGraphX 图计算合并多个业务系统的用户客户数据和页面排序 四、任务调度：使用 Azkaban+Dolphinscheduler 对任务工作流配置和调度 五、大数据 CDH 集群、Kafka 集群搭建和维护 六、Flink CDC+Binlog 做变化数据捕获，实现不同业务库数据同步
02025-04-09 14:56
下载次数：0
￥3000
