项目描述：为了打破企业数据孤岛，窜连融合企业资产数据，实现企业级公共计算逻辑下沉，实现公司应用资产的数据能力变现，赋能整个移动应用安全领域业务，构建了涵盖应用加固体系数据；应用源码漏洞、病毒、正盗版、仿冒风险体系数据；应用隐私合规风险体系数据；应用内容合规体系数据；应用资产体系数据等五大体系数据；涵盖Android、iOS、公众号、小程序、H5、SDK、IOT固件、鸿蒙应用等应用资产。实现全国全行业全区域应用风险监控，智能风险告警等，输出全区域全行业资产态势分析报告。工作内容：1.架构设计数据底层处理和存储采用Lambda技术架构，上层应用平台采用微服务技术架构，整体设计方法论采用DDD领域驱动设计和4+1架构视图设计。2.海量数据存储方案MongoDB+HDFS+HBaseMongoDB主从副本集群搭建；Hadoop集群搭建，Hadoop调优；HBase集群搭建，HBase调优；3.海量数据搜索方案ElasticSearch集群搭建；ElasticSearch 索引优化，读写性能优化；ElasticSeatch 跨主题域搜索，全域搜索，冷热数据分离方案；4.数据架构设计数据建模，数据仓库建设，ODS、DW、DWD、DWS、TDM、DM数据分层存储5.Hadoop体系搭建、Spark 体系搭建6.Hive进行元数据管理Hive集群搭建；Hive权限体系构建，优化配置；基于Hive+Ranger实现数据权限安全管理方案；7.引入Apache Atlas实现数据血缘管理8．Kafka消息中间件 基于Kafka实现流失计算；各消费端服务，基于去重表的方案，使用Redis Set集合存储业务唯一性id，实现消息消费的幂等性处理，解决消息重复消费问题；基于Kafka的ack机制，保障消息的可靠传输，解决生产、消费数据丢失问题；基于kafka构建事件驱动架构设计（EDA），完成微服务之间领域事件的发布和订阅，实现微服务之间的数据最终一致性方案。9.指导数据开发（离线计算、实时计算）10.数据标签体系设计和建设，参与统计指标设计和指导开发11.数据资产管理体系设计与建设，包含数据标准管理、元数据管理、主数据管理、数据质量管理、数据安全管理等。12.数据服务体系设计与建设，设计构建数据服务开放平台，主要包含应用加固体系数据；应用源码漏洞、病毒、正盗版、仿冒风险体系数据；应用隐私合规风险体系数据；应用内容合规体系数据；应用资产体系数据等五大体系数据开放API查询，设计构建数据共享平台，实现数据订阅与数据交换、同步。13.运营体系建设，主要是设计构建中台运营平台，主要包含数据字典、数据血缘、数据量指标、标签调用次数、表访问热度、表分区信息功能14. MySQL数据库：按照子服务业务垂直分库；按照数据条数进行水平分表；MySQL服务配置优化（连接数配置、连接超时时间、Buffer Pool缓存、Redo Log缓存）；SQL语句优化，索引优化；基于覆盖索引+子查询方案，解决limit分页查询慢问题；基于Mycat 实现分库分表方案，实现集群和主从读写分离架构；基于雪花算法，实现数据库分布式ID；15. JVM性能调优：利用jps、jstack、jmap、jstat、jinfo、Java VisualVM等工具分析内存、堆栈、线程等运行环境信息；JVM参数调用，解决OOM问题；合理选择垃圾收集器，减少GC频率和Full GC频率，减少STW的停顿时间和停顿次数；工作绩效：1. 存储各类数据总量30T，实现海量数据的离线计算和每日新增50GB数据实时计算2. 15分钟内300+应用渠道上架应用发现、采集，40分钟以内完成应用各类风险检测，实现资产风险监控，5分钟内完成指标统计分析3. 数据订阅在审批通过后，30分钟内能完成数据推送4. 5000万APP上亿条数据，1秒内显示查询结果5. 全域内资产、风险快速检索，快速订阅数据和消费数据，和国家计算机病毒中心合作上报病毒漏洞数据，多次上报病毒漏洞到CNVD、CNNVD等机构6. 数据中台多次支撑国家网络安全活动，如国家网络安全日，网络安全周，315打假等7. 基于数据中台建设全国移动应用风险监测中心，帮助各地监管机构（如网信办、网监、通管局，CERT）、银监会、证监会、公安部门、各地风险评估监控中心等实现移动应用领域的风险监控和犯罪取证8. 基于数据中台建设移动医疗安全监控中心，帮助全国各医疗单位监测移动应用风险9. 基于数据中台建设移动金融安全监控中心，帮助银监会、证监会、各大银行机构实现应用风险监控和金融犯罪活动打击10. 基于数据中台建设移动运营商安全监控中心，帮助运营商监控和规避应用风险，实现安全运营11.平台可用性99.99%