解决方案描述： 根据集团旗下各分公司易车APP、PC、淘车二手车、易车报价平台、易车网等现有启动、浏览、曝光、点击、停留时长、推送等业务埋点日志，日均流量20亿，建立统一的数据采集体系，统一的队列维护、统一的离线数据处理、统一的实时数据处理平台及展示，为公司运营和产品提供报表服务。 相关技术：nginx,flume,kafka,flink,hdfs,hive,kudu,presto,impala。 项目职责： 1. 数据实时写hdfs程序设计及开发，从多线程消费优化，再升级到flink落库及flink二次开发 2. flink-connector-kudu开发，且支持kudu动态更新字段，数据自动落入 3. 数据实时写kudu，从多线程消费优化升级到flink-connector-kudu

解决方案描述： 根据中国石油数据泄漏防护现状，建立大数据平台和组件环境，从网络、终端获取分析数据，完成数据的提取、传输、清洗、存储、建模等开发工作，设计并实现数据分析算法，开发数据分析调用接口，对组件和应用代码进行性能调优，对整体数据具备全局的态势感知。建设大数据分析平台，为其他所有系统提供系统集成、综合管理、数据统计、大数据基础环境等功能，并从各系统收集基础数据，各系统通过大数据分析平台获取计算和存储资源，实现文件关联分析、敏感文件分布、敏感文件流转轨迹、文件再审计等功能的数据建模和算法设计与开发，实时掌控总体态势，及时采取管控措施。 相关技术：CDH,flume,kafka,spark-streaming,hdfs,hive,impala,greenplum, kudu、elasticsearch及searachGuard,hbase,phoenix,kerberos,对称及非对称加密及自然语言处理算法等。 项目职责： 1. 与甲方业务人员、技术人员沟通梳理业务需求，确定技术解决方案 2. 主导大数据相关业务架构、逻辑架构、物理架构、安全架构详细设计 3. 负责数据采集部分架构设计、安全设计及核心开发 4. 负责实时及离线数据ETL及核心开发 5. 数据仓库模型设计、数据持久化设计及业务表设计 6. 大数据平台性能优化，代码优化、hbase优化、phoenix优化、impala和kudu优化 7. 技术攻关,包含大数据平台kerberos对接phoenix、impala、kudu、hbase，大数据平台对接elasticsearch及searachGuard 8. 数据采集对称及非对称加密架构设计及开发

解决方案描述： 收集公司前台webclient、webserver、webpage、中台、后台所有服务日志，打通APP、PC、小程序，日均流量60亿，原始日志近5TB，制定统一日志规范，根据公司前、中、后台运营现状，建立统一的日志大数据平台，避免各系统独立建立ELK，树状跟踪每一次请求，帮助高管及各系统研发人员全链路问题分析，实时掌握各分系统流量情况，及时发现问题，提升APP用户体验。 完成日志数据的提取、采集、传输、清洗、存储、建模等开发工作，设计并实现数据分析，对各个组件和应用代码进行性能调优，建设系统日志分析平台，为公司所有系统提供日志数据接入、数据统计、明细查询等大数据基础环境等功能，实时掌控各部门总体流量、性能、服务压力、异常情况，及时采取管控措施。 相关技术：nginx,flume,kafka,flink,hdfs,hive,mysql,elasticsearch,presto, prometheus,grafana,kafka-exporter,node-exporter,elasticsearch-exporter。 项目职责： 1. 系统整体架构设计：采集设计、数仓分层设计、实时处理设计 2. 数据采集架构设计、flume二次开发、采集效率优化，JVM优化 3. Kafka部署、压测及优化 4. 数据实时写hdfs程序设计及开发，从多线程消费优化，再升级到flink落库及flink-filesystem二次开发 5. 实时指标计算设计，flink实时计算开发及flink-jdbc二次开发 6. 实时明细写elasticsearch程序设计、开发及性能优化及flink-connector-es二次封装 7. Elasticsearch分片优化，索引优化，DSL查询提供 8. 离线数仓计算hive任务、mr任务、tez任务优化支持 9. 所有事业部服务器监控，易车es搜索集群监控等建设