并发/并行处理框架

● 简介：手机 app 的业务方称之为媒体，投放广告的客户称之为广告主。讯飞广告致力于搭建广告交 易平台，业务上对接各家媒体和广告主，按照广告主的需求投放的各家媒体进行广告展示并收取其 中的费用。 ● 职责： 1. 对接媒体、广告主协议，总共负责对接近百家媒体、广告主 2. 负责需求管理。最多带领过三个人管理组内产品，参与产品设计、排期和技术开发。 3. 业务上对接各家媒体和广告主，并根据产品需求进行相关功能开发。功能上进行系统的升级和优化，比如服务的监控升级，集群化部署，jedis 升级到 lettuce等

系统架构：Spring、SpringBoot、SpringCloud、Nacos、MyBatis、Redis、MySql、Kafka、ElasticSearch 职责描述： 梳理客户需求，编写实时指标、系统字段、接口服务配置模块详细设计文档，组织评审。 执行开发工作，并根据冒烟测试用例进行自测，按照项目流程提测、协助测试、缺陷修复等。 配合各业务中心完成风控接口联调。 功能描述： 基于Redis中的ZSet、Hash数据结构实现次数类、关联类、历史取值类、金额累计类指标模版。 使用AviatorScript表达式引擎实现字段条件功能。 基于AviatorScript表达式引擎实现动态字段功能，通过动态编译实现字段的扩展功能。 使用Map+函数式函数式接口实现指标计算窗口功能。 使用Lua脚本优化指标类计算逻辑、降低网络IO次数,提升指标计算时间。 使用线程池+CountDownLatch并行处理指标计算,提升接口响应速度。 使用CompletableFuture并行调用手机画像、IP画像接口,提升接口响应速度。 基于职责链模式动态的组合处理器的执行顺序，在不影响原有逻辑的情况下实现需求

本项目属于《某所信号处理系统》的一部分，该系统分为：3G传感器(3G信号处理软件)、4G传感器（处理4G信号数据）、大数据平台、web平台、外部对接平台。 本项目功能模块包括：Kafka接收模块、数据适配模块、3G信号解析模块(MTP2，MTP3，SCCP，TCAP，MAP,CAP)，通用数据生成模块，PCAP存储模块， 原始数据上传模块，数据关联模块（MAP,CAP），关联结果上传模块 我从事的工作：1、搭建c++架构 所用技术：线程池，内存池，单例模式、工厂模式、observer模，式模板方法，原型模式，装饰模式 2、编写代码 功能模块包括：Kafka接收模块、数据适配模块、3G信号解析模块部分代码，通用数据生成模块， 数据关联模块（MAP,CAP） 项目组人数：5人

k12卡码脸消费系统是专门为智慧校园打造的无感消费系统，可支持刷脸、刷卡、刷码消费，系统包括消费支付模块、消费限额模块、消费分组模块、消费欠款模块、消费优惠模块、消费充值模块、消费异步处理模块、消费统计模块等等。本人对于系统全流程了解透彻，并参与除了消费限额模块外其他所有模块的主力编程工作。 项目分为设备端和服务端，服务端包括技术包括Nginx、Linux、SpringBoot、Redis、Mysql、RocketMQ、Zookeeper以及自研组件等等。 系统日并发高达150万次。期间遇到过数据库超出每秒2000次读瓶颈，通过对合理数据增加缓存解决。以及服务器带宽问题，通过购买服务器弹性带宽处理。

该项目旨在从特定网站上爬取数据，并将其保存到本地或者进行进一步的处理分析 Requests：用于发送HTTP请求获取网页内容。 Beautiful Soup：用于解析HTML网页内容，提取所需数据。 Scrapy（可选）：一个强大的爬虫框架，提供了更多的功能和灵活性。 数据存储：可以使用各种方式，比如保存为文本文件、CSV文件、JSON文件，或者存储到数据库中（如SQLite、MySQL等）。 发送HTTP请求获取网页内容。 解析网页内容，提取所需数据（如标题、内容、链接等）。 保存提取的数据到本地文件或者数据库。 处理异常情况，如网络连接错误、页面解析错误等。 支持多线程/异步操作，提高爬取效率。 可配置化：允许用户指定爬取的起始URL、要爬取的数据类型等。

e把手3.0，服务于华融湘江银行客户，针对用户体验和产品流程进行改版和优化，提升产品性能，完善产品结构，优化交互体验。

该系统全部业务模块在国电投集团及下属二三级单位（覆盖1000+家）全级次应用，提供了上报、审批、汇总、平衡、分解下达和分析的全过程管理，推动了国家电投集团“计划、预算、考核、激励（JYKJ）”闭环管理体系的信息化建设,同时在综合计划、预算管理、综合统计、绩效考核模块中落实三新产业、跨区域委托运营、创新驱动等业务。 主要职责 1、参与项目设计，主导项目系统功能需求分析、确定技术方案、进行核心模块详细设计及升级等工作； 2、负责对接项目组，参加业务需求评审，把控开发需求，参与项目验收并及时沟通处理客户过程异议； 3、制定团队（5-8人）开发计划，管理过程文档，协调开发资源，优化资源配置并跟进业务组、开发组、测试组，把控项目开发上线进度； 4、技术难点攻关，处理新增需求、新增bug，指导初级开发工程师，保证效能，带领团队高质量交付；

● 项目描述 商品中心作为一个电商核心模块, 为支持ClubFatory业务快速迭代发展, 商品中心在持续迭代升级 ● 项目职责(商品中台三级TL) 1.分析发现商品中台存在的问题, 根据当前现状/业务发展得出合理解决方案 2.作为项目负责人, 发起, 推进, 跟踪部分项目全过程 3.指导同事完成项目的推进跟踪 ● 项目业绩 1.图片中心从0到n,结果:解决公司商品图片问题, 图片加载时间从2s~5s优化到351m, cdn费用节省46.78% 2.质量&稳定性保障 核心非核心分离: 结果,商品中心服务可用性>99.9999% 跨云同步优化保障: 结果,跨云同步消息零丢失,同步速率7500商品/min thrift接口迁移: 结果,服务维护统一简洁 , 稳定性, 性能得到保证 价格去汇率&尺码重构: 结果,模型稳定沉淀, 价格同步量消减了2/3, 尺码不受业务变动影响 价格计算性能优化: 多次提升计算性能, 明确瓶颈, 合理利用资源 3.效率&成本优化: 价格变更准实时: 结果,价格变更秒级, 解决成本变更不及时导致的资损问题 上下架实时生效

开发基于卷宗管理的数据中台，按照DDD的思想搭建，将多个应用的数据进行采集、清洗、加工、计算等流程，最终将数据结果返回给运营人员

Task 描述:前期在线手动安装环境费时费力，后续通过编写 Playbook，将系统初始化、基础环境安装、Infra 组 件部署等操作串联，安装包离线管理等方式，加速服务器环境初始化; (1)将 yum 包、docker image、helm chart 离线管理，达到版本统一及快速下载; (2)对环境初始化，基础组件安装部署等串联为不同的 role yaml; (3)容器化 Playbook，便于随处可用，随时可部署; 收获:极大加速现有环境安装，可实现批量部署。

服务平台，与aliyun整合，实现语音识别，文字转语音等服务 定制语义识别模板，提供自动语义识别功能，协助生成应用动作指令； 整合第三方天气，地图平台，提供便利服务； 整合ali数字人平台，提供自动客服服务 tornado + aliyun服务 + 第三方服务 后端服务平台，没有UI

1、项目主要分为日志查询、统计以及分析模型等模块，主要方便使用者对下属用户的系统使用情况进行KPI考核统计排名，并可根据自定义分析模型，对相关风险行为进行预警和溯源 2、我负责功能开发以及性能优化，使用了SpringMvc、Postgresql、多线程、kafka等技术栈，最终实现了模型运行的问题以及KPI统计数据的统计需求，并通过优化，现已在广西稳定运行 3、现场日志数据量大，使用原有框架统计慢。通过进行sql优化以及其他手段，解决了数据查询慢的问题

充电运营管理系统目的在于连接充电桩、运营者、用户之间的关系；系统提供APP、公众号、小程序以及运营管理平台；解决了用户快速寻桩、充电、实时查看充电数据和在线结算的需求。对于运营者提供了运营策略的调整、充电数据的实时监控、台账管理等可帮助运营者更好运营电站的功能。 平台提供了远程预约、扫码开锁充电、监控实时数据、远程停止充电、在线支付等功能。同时后台系统有完善的统计报表、运行监控、电桩管理、电费管理、用户管理、订单管理等等 在项目中主要完成了协议对接、接口开发联调、后台管理等主要功能。前端采用JSP、css、jquery等技术，后端使用Hibernate, SpringMVC、shiro等框架；协议对接使用基于NIO的网络编程；接入了微信支付、阿里支付等第三方支付平台；使用了httpclient、quartz、极光推送等组件

自营商城小程序,目前开发已有一套完整成熟的商城系统。（适合任意行业，如美妆、服装、水果、3c数码、母婴、保健品、图书、珠宝、食品、家具、玩具等等）品牌商城能进行二次分销，全民拓客,招募区域代理，线上线下结合招商，建立城市销售渠道等。

整合了人事、财务、物资数据，主要为医院的资产核算、绩效管理、医院运营等提供数据支撑。以医院高质量 发展为目标，以精细化运营管理为抓手，以智慧医院评级要求为标准，以数据中台技术为依托，全面整合 HIS/EMR/HRP/医保等应用系统数据，统一数据标准，管控数据质量，面向医院运营管理核心关注点，深度融合 临床、人力、耗材、药品、财务等基础数据，构建医院全面绩效考核指标网络体系，为医院领导者提供全面的 数据分析及预警服务，辅助进行科学决策。

慧眼安全检测平台是基于行业化合规的主动安全管理产品。可作为行业监管部门的监督检查工具，快速摸排资产、精准定位风险隐患，及时响应通报并推动整改；可作为行业化关键信息基础设施的管理和监控平台，结合安全事件，帮助用户进行资产梳理，评估漏洞影响，快速处置，形成安全管理闭环。 我负责检测引擎开发

杭州市滨江区市民中心一网统管项目包含九大子系统及四大应用支撑服务：浙政钉应用，统一智治门户，事项管理系统，协同联动系统，公共服务，预警研判系统，考核管理，高效处置一件事，一体化指挥平台及，配置管理（应用支撑），事件中枢（应用支撑），数据服务，系统对接，四平台融合等。 浙政钉应用系统包含综合查询，工作台，协同联动，一体化指挥等模块。综合查询有事件筛选，事件展示，催办督办，事件抽检，事件抄送。工作台有消息通知，事件统计，协同处置。协同联动系统有事件上报，事件受理，事件分拨，事件处置，事件审核，事件查询。一体化指挥有事件续报，指挥地图，任务中心，视频会商，指挥资源。 统一智治门户系统包含账号信息，统一登录，消息通知，数据看板，待办工作，预警研判，统一应用入口，一件事应用等，分别处理待办事件，城市体征预警，隐性问题预警。 事项管理系统包含系统部署服务，事项库，事项申请，已退回申请，部门初审，社会治理中心审核，协同审核，事项发布，事项管理，事项配置。 协同联动系统包含事件查询，所辖统计，事件上报，受理中心，自动流转分拨，分拨中心，处置中心，审核中心，事件跟踪，全量事件库等模块。 公共服务系统包含

自动任务执行模板维护 自动任务执行 自动任务信息维护 tornado + celery + mongodb 实现http 文件定时上传，aliyun媒体分析，redis数据自动导入 纯后端，只提供http接口，未有UI

整合了人事、财务、物资数据，主要为医院的资产核算、绩效管理、医院运营等提供数据支撑。以医院高质量 发展为目标，以精细化运营管理为抓手，以智慧医院评级要求为标准，以数据中台技术为依托，全面整合 HIS/EMR/HRP/医保等应用系统数据，统一数据标准，管控数据质量，面向医院运营管理核心关注点，深度融合 临床、人力、耗材、药品、财务等基础数据，构建医院全面绩效考核指标网络体系，为医院领导者提供全面的 数据分析及预警服务，辅助进行科学决策。

基于SpringCloudAlibaba、filnk、tidb、dbswitch、neo4j等构建，结合了实时计算和离线计算两种场景的需求。 flink在实时计算方面表现出色，能够处理高速数据流并支持流批一体化处理。tidb则作为高性能的分布式数据库，具备强大的海量数据处理能力。 同时，dbswitch负责离线数据的同步计算，支持多种主流数据库。此外，我们采用neo4j构建图数据库，以高效的方式处理复杂的关联数据。 包含数据集成，数据开发，数据治理，数据资产，数据服务，数据集市六大模块，解决数据孤岛问题，实现数据统一口径标准，自定义数据开发任务，解决数据孤岛问题：通过统一的数据管理和整合，打破信息壁垒。 统一口径标准：确保数据的准确性和一致性。 自定义数据开发任务：满足企业特定的数据处理和分析需求。 高效的数据处理能力：flink和tidb的结合使得数据处理速度更快。 支持多种使用场景：无论是实时计算还是离线计算，都能得到满足。 提供全面的数据服务：从原始数据到个性化报表，满足各层次的数据需求。