项目描述：
为了打破企业数据孤岛，窜连融合企业资产数据，实现企业级公共计算逻辑下沉，实现公司应用资产的数据能力变现，赋能整个移动应用安全领域业务，构建了涵盖应用加固体系数据；应用源码漏洞、病毒、正盗版、仿冒风险体系数据；应用隐私合规风险体系数据；应用内容合规体系数据；应用资产体系数据等五大体系数据；涵盖Android、iOS、公众号、小程序、H5、SDK、IOT固件、鸿蒙应用等应用资产。实现全国全行业全区域应用风险监控，智能风险告警等，输出全区域全行业资产态势分析报告。
工作内容：
1.架构设计
数据底层处理和存储采用Lambda技术架构，上层应用平台采用微服务技术架构，整体设计方法论采用DDD领域驱动设计和4+1架构视图设计。
2.海量数据存储方案
MongoDB+HDFS+HBase
MongoDB主从副本集群搭建；
Hadoop集群搭建，Hadoop调优；
HBase集群搭建，HBase调优；
3.海量数据搜索方案
ElasticSearch集群搭建；
ElasticSearch 索引优化，读写性能优化；
ElasticSeatch 跨主题域搜索，全域搜索，冷热数据分离方案；
4.数据架构设计
数据建模，数据仓库建设，ODS、DW、DWD、DWS、TDM、DM数据分层存储
5.Hadoop体系搭建、Spark 体系搭建
6.Hive进行元数据管理
Hive集群搭建；Hive权限体系构建，优化配置；
基于Hive+Ranger实现数据权限安全管理方案；
7.引入Apache Atlas实现数据血缘管理
8．Kafka消息中间件
基于Kafka实现流失计算；
各消费端服务，基于去重表的方案，使用Redis Set集合存储业务唯一性id，实现消息消费的幂等性处理，解决消息重复消费问题；
基于Kafka的ack机制，保障消息的可靠传输，解决生产、消费数据丢失问题；
基于kafka构建事件驱动架构设计（EDA），完成微服务之间领域事件的发布和订阅，实现微服务之间的数据最终一致性方案。
9.指导数据开发（离线计算、实时计算）
10.数据标签体系设计和建设，参与统计指标设计和指导开发
11.数据资产管理体系设计与建设，包含数据标准管理、元数据管理、主数据管理、数据质量管理、数据安全管理等。
12.数据服务体系设计与建设，设计构建数据服务开放平台，主要包含应用加固体系数据；应用源码漏洞、病毒、正盗版、仿冒风险体系数据；应用隐私合规风险体系数据；应用内容合规体系数据；应用资产体系数据等五大体系数据开放API查询，设计构建数据共享平台，实现数据订阅与数据交换、同步。
13.运营体系建设，主要是设计构建中台运营平台，主要包含数据字典、数据血缘、数据量指标、标签调用次数、表访问热度、表分区信息功能
14. MySQL数据库：
按照子服务业务垂直分库；
按照数据条数进行水平分表；
MySQL服务配置优化（连接数配置、连接超时时间、Buffer Pool缓存、Redo Log缓存）；
SQL语句优化，索引优化；
基于覆盖索引+子查询方案，解决limit分页查询慢问题；
基于Mycat 实现分库分表方案，实现集群和主从读写分离架构；
基于雪花算法，实现数据库分布式ID；
15. JVM性能调优：
利用jps、jstack、jmap、jstat、jinfo、Java VisualVM等工具分析内存、堆栈、线程等运行环境信息；
JVM参数调用，解决OOM问题；
合理选择垃圾收集器，减少GC频率和Full GC频率，减少STW的停顿时间和停顿次数；
工作绩效：
1. 存储各类数据总量30T，实现海量数据的离线计算和每日新增50GB数据实时计算
2. 15分钟内300+应用渠道上架应用发现、采集，40分钟以内完成应用各类风险检测，实现资产风险监控，5分钟内完成指标统计分析
3. 数据订阅在审批通过后，30分钟内能完成数据推送
4. 5000万APP上亿条数据，1秒内显示查询结果
5. 全域内资产、风险快速检索，快速订阅数据和消费数据，和国家计算机病毒中心合作上报病毒漏洞数据，多次上报病毒漏洞到CNVD、CNNVD等机构
6. 数据中台多次支撑国家网络安全活动，如国家网络安全日，网络安全周，315打假等
7. 基于数据中台建设全国移动应用风险监测中心，帮助各地监管机构（如网信办、网监、通管局，CERT）、银监会、证监会、公安部门、各地风险评估监控中心等实现移动应用领域的风险监控和犯罪取证
8. 基于数据中台建设移动医疗安全监控中心，帮助全国各医疗单位监测移动应用风险
9. 基于数据中台建设移动金融安全监控中心，帮助银监会、证监会、各大银行机构实现应用风险监控和金融犯罪活动打击
10. 基于数据中台建设移动运营商安全监控中心，帮助运营商监控和规避应用风险，实现安全运营
11.平台可用性99.99%