此系统作为公司对政府提供舆情监控系统的子系统，采用 master-slave 的架构模式，支持同步调度和异步调度以及自定义调度，支持通过横向扩展机器以扩展集群的吞吐量。 主要用到的技术：Java线程池 + Redis + MySQL + ElasticSearch 负责内容与主要业绩 1.Redis为中间件构建任务中心和状态中心 + 用模板方法的设计模式抽象爬虫采集工作流程 + 实现一套通用的数据采集方案 2.构建用于统一管理数以十万计的采集规则、支持在线配置抽取规则、实时监控爬虫采集数据情况的web系统后台

此系统主要基于微服务后台链路调用的数据/业务数据/日志数据/k8s指标数据等进行整合，构建对微服务后 台调用链的可视化、监控。为微服务实例进行动态扩容/缩容、熔断、业务降级等操作提供指标依据。相关业 务人员可以做到针对自己关心的业务数据配置监控告警，可以做到对业务的准实时了解。 用到的主要技术 ：Flink + Kafka + ElasticSearch + Prometheus + Java + MySQL + Skywalking 负责内容与主要业绩 1. 根据项目对系统的健壮性、通用性、以及吞吐量要求，调研相关开源技术组件 2. 整合Skywalking的链路日志数据+系统的业务数据+日志数据到Kafka，以Flink作为流处理的底层框 架，Prometheus作为监控主体，设计并落实一套日志采集+日志配置化解析+业务数据监控+告警的方案 3. 设计与落实action全链路子监控系统，帮助公司内部人员（项目经理、运营团队、工程师）快速定位业务 问题，提高解决问题效率

广告黄金信号系统通过爬虫接入数十亿抖音、小红书等平台数据,应用AI人工智能语义识别，结合知识图谱，抽取百亿级别的关系和实体，用于品牌方在抖音、小红书、微博等媒体平台广告投放过程中， 对投入前可以提供前置分析用作投放前的指导，对广告投放后可以做投入后效果量化分析，并且提供BI式的实 体与关系的下钻查询，帮助客户营销部门更快更深入的洞察营销新趋势，以支持营销策略的制定。主要功能 包括热点榜单，趋势榜单，图谱自由分析，自由搜索分析，人群画像分析，KOL后效分析 主要用到的技术： Kotlin + Redis + ElasticSearch + PostgreSQL + K8s + 知识图谱 项目模块： 1. 接入数据以及数据预处理：通过接入第三方的抖音、小红书等平台数据，进行OCR|ASR|LOGO识别等预 处理操作 2. 算法识别：根据预先设计好的图谱Schema，对识别的文本进行实体|关系抽取，以及情感识别 3. 数据预统计：针对客户需要经常查询以及查询性能消耗较大的的场景，进行预统计分析 4. 应用层：对算法的结果、以及预统计的结果进行前端展示，并提供图谱实体与关系的BI式下钻的各种分析 负责内容与主要业绩 1. 作为应用层后端服务的Owner：负责整个后端服务的逻辑，以及解决服务在运行中出现的各种问题。在接 手后的五次需求迭代中，后端没有重大问题出现，客户零投诉，需求高质量完成 2. 项目运维：包括项目后端上线、对接客户针对客户提出的问题进行排查解答、后端应用的性能等问题的解 决、定制化需求导数