项目描述： 为了打破企业数据孤岛，窜连融合企业资产数据，实现企业级公共计算逻辑下沉，实现公司应用资产的数据能力变现，赋能整个移动应用安全领域业务，构建了涵盖应用加固体系数据；应用源码漏洞、病毒、正盗版、仿冒风险体系数据；应用隐私合规风险体系数据；应用内容合规体系数据；应用资产体系数据等五大体系数据；涵盖Android、iOS、公众号、小程序、H5、SDK、IOT固件、鸿蒙应用等应用资产。实现全国全行业全区域应用风险监控，智能风险告警等，输出全区域全行业资产态势分析报告。 工作内容： 1.架构设计 数据底层处理和存储采用Lambda技术架构，上层应用平台采用微服务技术架构，整体设计方法论采用DDD领域驱动设计和4+1架构视图设计。 2.海量数据存储方案 MongoDB+HDFS+HBase MongoDB主从副本集群搭建； Hadoop集群搭建，Hadoop调优； HBase集群搭建，HBase调优； 3.海量数据搜索方案 ElasticSearch集群搭建； ElasticSearch 索引优化，读写性能优化； ElasticSeatch 跨主题域搜索，全域搜索，冷热数据分离方案； 4.数据架构设计 数据建模，数据仓库建设，ODS、DW、DWD、DWS、TDM、DM数据分层存储 5.Hadoop体系搭建、Spark 体系搭建 6.Hive进行元数据管理 Hive集群搭建；Hive权限体系构建，优化配置； 基于Hive+Ranger实现数据权限安全管理方案； 7.引入Apache Atlas实现数据血缘管理 8．Kafka消息中间件 基于Kafka实现流失计算； 各消费端服务，基于去重表的方案，使用Redis Set集合存储业务唯一性id，实现消息消费的幂等性处理，解决消息重复消费问题； 基于Kafka的ack机制，保障消息的可靠传输，解决生产、消费数据丢失问题； 基于kafka构建事件驱动架构设计（EDA），完成微服务之间领域事件的发布和订阅，实现微服务之间的数据最终一致性方案。 9.指导数据开发（离线计算、实时计算） 10.数据标签体系设计和建设，参与统计指标设计和指导开发 11.数据资产管理体系设计与建设，包含数据标准管理、元数据管理、主数据管理、数据质量管理、数据安全管理等。 12.数据服务体系设计与建设，设计构建数据服务开放平台，主要包含应用加固体系数据；应用源码漏洞、病毒、正盗版、仿冒风险体系数据；应用隐私合规风险体系数据；应用内容合规体系数据；应用资产体系数据等五大体系数据开放API查询，设计构建数据共享平台，实现数据订阅与数据交换、同步。 13.运营体系建设，主要是设计构建中台运营平台，主要包含数据字典、数据血缘、数据量指标、标签调用次数、表访问热度、表分区信息功能 14. MySQL数据库： 按照子服务业务垂直分库； 按照数据条数进行水平分表； MySQL服务配置优化（连接数配置、连接超时时间、Buffer Pool缓存、Redo Log缓存）； SQL语句优化，索引优化； 基于覆盖索引+子查询方案，解决limit分页查询慢问题； 基于Mycat 实现分库分表方案，实现集群和主从读写分离架构； 基于雪花算法，实现数据库分布式ID； 15. JVM性能调优： 利用jps、jstack、jmap、jstat、jinfo、Java VisualVM等工具分析内存、堆栈、线程等运行环境信息； JVM参数调用，解决OOM问题； 合理选择垃圾收集器，减少GC频率和Full GC频率，减少STW的停顿时间和停顿次数； 工作绩效： 1. 存储各类数据总量30T，实现海量数据的离线计算和每日新增50GB数据实时计算 2. 15分钟内300+应用渠道上架应用发现、采集，40分钟以内完成应用各类风险检测，实现资产风险监控，5分钟内完成指标统计分析 3. 数据订阅在审批通过后，30分钟内能完成数据推送 4. 5000万APP上亿条数据，1秒内显示查询结果 5. 全域内资产、风险快速检索，快速订阅数据和消费数据，和国家计算机病毒中心合作上报病毒漏洞数据，多次上报病毒漏洞到CNVD、CNNVD等机构 6. 数据中台多次支撑国家网络安全活动，如国家网络安全日，网络安全周，315打假等 7. 基于数据中台建设全国移动应用风险监测中心，帮助各地监管机构（如网信办、网监、通管局，CERT）、银监会、证监会、公安部门、各地风险评估监控中心等实现移动应用领域的风险监控和犯罪取证 8. 基于数据中台建设移动医疗安全监控中心，帮助全国各医疗单位监测移动应用风险 9. 基于数据中台建设移动金融安全监控中心，帮助银监会、证监会、各大银行机构实现应用风险监控和金融犯罪活动打击 10. 基于数据中台建设移动运营商安全监控中心，帮助运营商监控和规避应用风险，实现安全运营 11.平台可用性99.99%

开发环境：IDEA ++Tomcat8 + MySQL + Maven + gitlab 技术栈：SpringBoot、SpringCloud、Spring Cloud Alibaba、Security、Spring Cloud Gateway、Alibaba Nacos、Alibaba Sentinel、Spring Data Jpa、Spring Cloud OpenFeign、RestTemplate、Spring Cloud Loadbalancer、Skywalking、JetCache、 Caffeine、Kafka、Springdoc、OpenAPI、Redis、Oauth2.0、Swagger 3、Mybatis、Postgresql、Elasticsearch、Logstash、 kibana、FreeMarke、xxl-job、MongoDB、FastDFS、OCR 识别、NLP 语义分析、Tensorfow、MQTT、ADB、APKParse 项目描述： 企业能力中台，是基于技术中台的技术架构之上，封装核心检测能力引擎，并基于多租户管理和健全的服务授权机制，提供统一封装的服务能力API ，以共享服务形式沉淀核心技术能力并向客户开放检测能力，帮助企业快速、低成本进行应用产品业务构建。能力体系包含应用加固能力体系；应用源码检测能力体系；应用漏洞、病毒检测能力体系；应用隐私合规检测能力体系；应用正盗版、仿冒检测能力体系；应用内容合规检测能力体系等；涵盖Android、iOS、公众号、小程序、H5、SDK、IOT固件、鸿蒙应用等资产相关风险和合规性检测。 工作内容： 1．整体架构设计： 采用微服务技术架构，整体设计方法论采用DDD领域驱动设计，完成领域建模和微服务架构落地，RUP4+1架构设计完成中台蓝图设计和设计文档输出 2．基于Mysql+MongoDB+Es技术实现海量数据存储方案 3．MySQL数据库： 按照子服务业务垂直分库； 按照数据条数进行水平分表； MySQL服务配置优化（连接数配置、连接超时时间、Buffer Pool缓存、Redo Log缓存）； SQL语句优化，索引优化； 基于覆盖索引+子查询方案，解决limit分页查询慢问题； 基于Mycat 实现分库分表方案，实现集群和主从读写分离架构； 基于雪花算法，实现数据库分布式ID； 4．ES接入 冷热数据分离方案，创建冷热索引，提升查询检索效率； ES集群部署和索引优化和集群调优； 5. Redis缓存方案： 基于Redis的setnx+lua脚本+看门狗线程+ Redisson红锁机制，实现单机和集群下的分布式锁。 使用Redis的bigmap 构建布隆过滤器，解决缓存穿透问题； 基于 SpringBoot，整合JetCache缓存框架，实现本地进程缓存（Caffeine），远程分布式缓存（Redis）支持，提高API并发响应速度； 采用RDB+AOF备份机制，保障数据安全性和分布式缓存同步； 使用缓存双删策略实现Redis分布式缓存数据一致性； 基于主从机制（Master-Slave）和Sentinal哨兵机制部署集群，实现Redis的高可用和主从集群； 6．消息中间件： 使用Kafka消息队列，实现服务间的解耦和削峰填谷能力； 基于去重表的方案，使用Redis Set集合存储业务唯一性id，实现消息消费的幂等性处理，解决消息重复消费问题； 基于Kafka的ack机制，保障消息的可靠传输，解决生产、消费数据丢失问题； 基于kafka构建事件驱动架构设计（EDA），完成微服务之间领域事件的发布和订阅，实现微服务之间的数据最终一致性方案。 7．服务分流方案： 基于Nginx负载均衡技术，实现集群化服务，实现整体服务的流量分流方案，保护服务安全 8．限流方案： 在Gateway网关处，集成Sentinel限流框架，实现整体服务入口流量限制方案，在业务服务处同时实现业务服务限流，双重保障，保护服务安全 9．JVM性能调优： 利用jps、jstack、jmap、jstat、jinfo、Java VisualVM等工具分析内存、堆栈、线程等运行环境信息； JVM参数调用，解决OOM问题； 合理选择垃圾收集器，减少GC频率和Full GC频率，减少STW的停顿时间和停顿次数； 10．基于 Logstash+Logback+Elasticsearch+kibana ，实现日志采集和分析展示 11．基于xxl-job实现检测能力引擎服务调度方案 12．MongoDB调优，索引优化 工作绩效： 1.查看sql执行计划，优化索引，升sql查询效率，每条sql平均执行时间20ms，大数据量表sql执行时间不大于100ms 2.MongoDB分布式集群部署，分片和副本集群，目前存储约8TB数据。 3.检测引擎服务接入xxl-job，每天实现100万+笔业务调度 4.架构支撑公司内部大数据平台历史存量数据5000万+款app检测 5.中台支撑腾讯应用宝应用渠道每天20万+应用检测、小米应用渠道每天15万+应用检测（在同行业中，能达到这个量的就那么几家） 6.巨人网络每天20万+应用漏洞病毒检测、天津病毒检测中心每天30万+应用漏洞病毒检测 7.支撑公司隐私合规部门、大数据部门的移动应用安全检测产品、个人隐私合规产品、移动安全全生命周期产品，移动安全大数据产品等相关SAAS产品检测能力 8.平台可用性99.99%

介绍：移动应用个人信息安全检测平台是针对移动应用、SDK中出现个人信息的非法收集、滥用、泄露等严重问题，结合相关法律法规和监管要求，为监管机构、测评机构、应用开发企业等推出的合规检测平台。该平台针对移动应用的基本信息、漏洞信息、收集和使用个人信息行为、通讯传输行为、软件和技术供应链情况、技术脆弱性、隐私政策规范性等进行多维度安全检测和合规检测，并出具专业的个人信息安全报告。帮助监管机构准确、有效地提供行政执法依据；帮助测评机构出具专业的个人信息测评报告；帮助应用开发企业在应用发布前评估个人信息的安全性和合规性。 技术栈：SpringBoot、SpringCloud、Spring Cloud Alibaba、Security、Spring Cloud Gateway、Alibaba Nacos、Alibaba Sentinel、Alibaba Seata、Spring Data Jpa、Spring Cloud OpenFeign、RestTemplate、Spring Cloud Loadbalancer、Skywalking、JetCache、Caffeine、Kafka、OpenAPI、Redis、Netty、Nginx、Oauth2.0、Swagger 3、Mybatis、MySQL、FastDfs、Elasticsearch、Logstash、kibana、Docker、K8S、Maven、Keytool、aapt、APKPaser、Dex2jar、DumpDex、Xpose、ADB、APKtool、APKsigner、Curl、SslScan、Smali/BakSmali、UICrawler 工作内容：1．项目架构设计： 1.1）依据逻辑视图、开发视图、物理视图、处理视图、场景视图等4+1视图，分析、设计产品架构蓝图，并形成架构设计文档 2．底层能力实现 2.1）基于插桩技术，编译*系统版本，制作成*沙箱 2.2）基于谷歌Android系统开源API，实现app动态运行行为监控、堆栈内容获取 2.3） 基于系统通信网卡，实现通信抓包数据获取，支持http、https、wobsocket等tcp/ip协议数据抓取 2.4）基于aapt解压应用包，基于APKPaser获取应用基本信息，基于Keytool获取应用签名信息 2.5）基于Dex2jar 、Smali/BakSmali工具，实现dalvik (.dex) 文件反编译 2.6）基于DumpDex和Xpose，实现应用脱壳 2.7）基于源码特征扫描和堆栈内容特征分析，检测出应用中的SDK数据 2.8）根据通信抓包数据，分析抓包请求/响应内容，得出Cookies信息 2.9）根据通信抓包请求IP和域名信息，调用离线、在线IP库，分析出IP/域名地理位置信息 2.10）基于OCR技术，实现应用隐私政策识别、获取 2.11）基于NLP技术，实现文本语义分析 2.12）基于UICrawler 技术，编写自动化遍历脚本，实现app自动化运行、检测 3．平台存储设计 3.1）基于MySql实现平台业务数据存储 3.2）基于MongDB，实现检测分析数据存储 3.3）基于Redis实现法规内容和法规检测点、检测规则的缓存，加速检测效率 4．消息中间件 4.1）基于kafka消息中间件，实现检测引擎检测状态、检测进度在服务间的传递 4.2）websocket组件封装，基于kafka实现集群，提升后端和前端消息的实时通信能力 5．平台架构 5.1）基于DDD领域驱动理念划分、设计微服务 5.2）基于Nginx负载均衡技术，实现集群化服务，实现整体服务的流量分流方案，保护服务安全 5.3）在Gateway网关处，集成Sentinel限流框架，实现整体服务入口流量限制方案，在业务服务处同时实现业务服务限流，双重保障，保护服务安全 6．系统调优 6.1）MYSQL按照子服务业务垂直分库 6.2）MySQL服务配置优化（连接数配置、连接超时时间、Buffer Pool缓存、Redo Log缓存） 6.3）SQL语句优化，索引优化 6.4）基于覆盖索引+子查询方案，解决limit分页查询慢问题 6.5）利用jps、jstack、jmap、jstat、jinfo、Java VisualVM等工具分析内存、堆栈、线程等运行环境信息 6.6）JVM参数调用，解决OOM问题 6.7）合理选择垃圾收集器，减少GC频率和Full GC频率，减少STW的停顿时间和停顿次数 工作业绩：1.接口请求平均200毫秒响应，高并发情况下300毫秒 2.通过查看SQL执行计划，开启SQL慢查询记录，做索引优化，提升SQL查询效率，每条SQL平均执行时间20ms，大数据量表SQL执行时间不大于100ms； 3.完成公司核心战略目标，产品市场覆盖主流10大应用渠道（腾讯、阿里、小米、vivo、华为等十大应用渠道）， 互联网一线大厂（字节跳动、京东、科大讯飞、货拉拉等），金融行业（银行、证券等）、汽车行业（吉利汽车、极氪汽车），物联网行业，各监管机构以及通讯三大运营商 4.自动化检测平台，164号文自动化检测项覆盖80%，准确率85%，191号文自动化检测项覆盖75%，准确率85%。同时提供web在线云*运行模式进行人工深度检测，支持164号文、191号文、35273号文、337号文的人工检测。 5.平台自动化检测，内置自动化遍历脚本，平均检测时间25分钟（可配置自动化遍历各阶段遍历时长） 6.Android 支撑150+动态运行行为监控，iOS支持70+动态运行行为监控，覆盖最新工信部要求监控的个人信息敏感行为 7.企业凭借该平台，入选工信部信通院八大应用合规技术支撑单位之一 8.平台可用性99.95%