大数据

广告投放主要为各种信息流渠道和应用商店渠道，之前使用第三方平台对投放广告进行监测和用户归因。但是面临着很多问题，比如归因准确性，数据安全和投放数据回收应用等问题，针对以上问题开发了自己的信息流广告管理平台。 个人项目职责： 本人在该项目中主要负责广告监测服务开发、信息流广告数据对接服务开发等，协调项目各个开发人员的工作，推动整个项目在业务侧的落地。 1.广告监测服务+广告数仓 目前主流的信息流广告商都提供了广告监测链接模板，使用该模板生成针对性的广告监测链接，广告监测链接的属性信息会带有渠道ID、广告ID、用户设备MEI、用户设备指纹等信息。广告曝光和被用户点击时就会对广告监测服务发生请求。该服务使用SpringBoot开发，后端收到用户请求之后会对将请求数据发给kafka。kafka的数据会对接Maxcompute做离线归因和Flink进行实时归因。 2.信息流广告数据对接服务 用户激活和注册数据也写入kafka，Flink实时消费用户激活和注册数据之后进行实时归因，归因平台拿到两方数据后，通过数据分析，将广告平台的数据跟用户行为联系起来，最终将归因匹配的结果上报给广告商。

该项目主要是依托于ClickHouse构建的ROLAP计算存储一体的数据仓库，通过对业务系统已有数据按照业务需求进行ETL，从而满足后续的相关数据的挖掘、分析。 主要是对外提供数据服务（数据可视化平台以及数据接口）。 我作为项目负责人，负责数据 BI 系统的搭建工作。包括项目的技术调研选型、需求整理、项目管理和项目推进，同时也负责开发工作

项目分为数据挖掘、数据分析、数据清洗、数据展示四大业务部分。采用典型的ELT方式，数据挖掘通过采集前端特定的埋点事件，收集用户的信息存储到本地日志文件内，同传给数据分析中间件做必要的数据计算处理，整合计算结果索引存储到ES中，同时将数据同步到BigQuery或直接在Kibana中查看。整体使用的技术栈请参考图片 技术难点包括：ES数据同步、Flink数据计算引擎继承与使用、必要环节微服务的开发

1, 注册账号后按照账号权限可以看到不同的功能 2, 每日运行内置算法，筛选出符合条件（VCR，squeezeTTM）的股票，在推荐列表中列出了 3, 推荐列表点击股票图表可以看到股票K线图，也可以链接到雪球网站查看股票的详细信息 4, 可以创建交易计划，预估股票买卖的盈亏比，根据计划进行股票买卖

该系统帮助业务的一个知名人工智能企业完成了他们AI的训练 标注员之间的对话会被人工智能系统进行学习，AI会模仿人的角色和说话方式进行训练，并与真人进行模拟对话 标能同时处理数十万次真人与真人，以及AI与真人之间的对话，并将对话内容和结果实时存储，并传给人工智能系统进行二次学习

数据处理和分析任务,涵盖了数据收集、处理、计算和可视化等环节，以帮助用户轻松地跟踪和分析各种业务指标。同时集成接口快速开发框架, 通过UI界面完成编写并生成RESTful API, 极大提升了开发效率。主要负责以下工作: 1.完成服务API模块的需求分析、MySQL数据库设计和对应模块后台功能开发; 2.使用SpringCloud和MyBatis框架搭建子系统, 集成第三方接口快速开发框架Magic-Api; 3.使用Apisix路由绑定API, 完成身份认证、权限控制、流量控制以及日志收集的功能; 4.使用Trino对接多种数据源类型, 如Hive、MySQL、ElasticSearch、Neo4j等, 并完成相应连通性测试; 5.配置spark原子分析任务

1 主要功能：地图可视化分析、技战法分析、关系网络分析等 2 使用springboot、springcloud技术体系，结合mpp并行处理数据库对大数据进行相关分析 3 本人为软件交付经理，负责软件总体设计并参与模块开发

1、该项目是大数据可视化分析平台，项目主要是通过可视化平台帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用，满足旅游、交通、人口大数据行业业务监控、风险预警、地理信息分析等多种业务场景展示需求，减少前端人员重复的组件复制粘贴工作。 2、项目功能主要为大屏业务管理模块、组件库业务模块、大屏业务组件模块、数据模型业务模块、数据源管理模块、权限模块。 3、项目技术栈：Spring Boot + Spring Cloud + Redis + MyBatis + MySql + Vue + ElementUI 4、我主要负责后端架构的和部分功能的开发

1 主要功能：模型配置、后台运算分析模块、前端展示及配置模块 2 基于springboot springcloud技术体系，采用mpp并行数据库对配置模型进行大数据运算并分析出有异常的记录 3 本人作为交付经理，负责项目总体设计并参与部分模块开发

为北京CBD商务区提供的数字化大屏系统，有如下特点： 技术先进：使用Data V，echarts等成熟组件，提升了开发速度和效率 效果高端：针对CBD的高端定位进行设计，效果炫酷，很有科技感和冲击力 全面详实：全面介绍了CBD的规模和潜力，有很强的吸引力和说服力

量化分析系统可以帮助投资者和交易员进行选股、评估投资策略以及实时监测股票市场。系统可以分析股票走势，并根据历史数据预测未来的走势。根据实时财务数据和商业消息，对影响股票行情的不同因素进行分析，为投资者提供准确的投资决策支持。 系统由以下几个部分组成： 1. 数据收集与处理模块：负责收集市场及相关的历史数据，对历史数据进行清洗、分析，建立完善的数据库。 2. 信号构建模块：从历史数据中提取有效信号，通过价格、指标、交易量等分析技巧，精准定义交易信号。 3. 策略选股模块：运用量化模型，进行股票池选取，对策略进行参数优化。 4. 报表分析模块：结合信号构建模块、策略选股模块及数据收集处理模块，生成系统报表分析，并对整个投资组合的收益率及风险的表现进行量化评价。 5. 投资决策模块：制定投资决策，包括信号触发购买、赎回、定投等，以及投资组合优化、调仓等。

实时计算平台 规范了项目的配置,鼓励函数式编程,定义了最佳的编程方式,提供了一系列开箱即用的Connectors,标准化了配置、开发、测试、部署、监控、运维的整个过程, 提供了scala和java两套api, 其最终目的是打造一个一站式大数据平台,流批一体,湖仓一体的解决方案 功能如下： Features 开发脚手架 多版本Flink支持(1.11、1.12、1.13、1.14、1.15) 一系列开箱即用的connectors 支持项目编译功能(maven 编译) 在线参数配置 支持Application 模式, Yarn-Per-Job模式启动 快捷的日常操作(任务启动、停止、savepoint以及从savepoint恢复) 支持火焰图 支持notebook(在线任务开发) 项目配置和依赖版本化管理 支持任务备份、回滚(配置回滚) 在线管理依赖(maven pom)和自定义jar 自定义udf、连接器等支持 Flink SQL WebIDE 支持catalog、hive 任务运行失败发送告警邮件（支持钉钉、微信、邮件、飞书等） 支持失败重启重试 从任务开发阶段到部署管理全链路支持

简介： 本人基于Python Django框架完全开发的该平台，可用于辅助管理公司的指定数据资源（文件目录）： 解决的痛点： 对于SVN、Gitlab等公司核心代码资源，可以文件目录的方式实现同步备份，从而实现容灾。可以自定义任意目录，并以任意调度方式进行。 1.服务器资源：登记、修改物理机/虚拟机等服务器资源的基本信息。 2.重要数据管理： ① 目录备份，通过目录同步的方式，实现文件备份。 ③ 自定义任务调度，可以手动或定时调度执行目录同步。

1.该项目是一个检测发动机污染程度的平台，该平台利用客户上传的数据集训练模型，通过发动机不同部位的图片训练不同的模型，使用模型检测客户汽车发动机的污染情况并生成报告，给客户一个建议。 2.我在该项目中担任前端开发工程师，参与需求评审，高度还原产品原型以及设计稿，配合后台对接数据，最终将项目部署上线提供给客户使用。 3.该项目中一大特点是部署使用到了docker容器技术。

开发数据可视化大屏用于展示企业数据，便于用户能够更加直观地理解核心业务指标并能够全面了解公司当前状态。它可以帮助决策者更快、更准确地采取行动，让员工对公司的业务有更深入的了解，并减少信息传输、决策制定与实施的时间。此外，数据可视化看板还能够帮助用户更清晰、更快速地了解数据之间的联系，从而有助于挖掘数据中的有价值和有多样性的信息。 该项目分为以下几个模块 1. 数据获取：从关联数据库或者API获取数据，并有效地进行分析处理。 2. 数据可视化：使用各种图表、报表工具将原始数据可视化处理，从而帮助用户快速了解关键信息。 3. 交互式功能：支持用户对数据进行探索处理，比如可以使用筛选器对数据进行筛选、排序、分组等。 4. 界面定制：通过可视化界面，可以将数据展示成不同的形式，让用户了解到最重要的信息。 5. 安全性：保障看板内容只能被授权用户访问，避免数据泄露。 项目实现： 基于Python开发脚本, 从数据源收集数据并进行清洗，然后存储到 MySQL 数据库中。基于 Django 开发 API 接口，利用 D3.js、Echarts 等工具来设计前端页面，实现图表功能。同时，大屏支持Pow

自定义DataX写kafka插件，支持定制化数据结构json格式或者文本格式，可配置用户名密码，支持集群，支持实时查看当前传输速度

项目介绍:根据用户的历史电影评分矩阵和用户实时生成的评分，我使用 Spark 设计并开发了一个电影推荐系统。该系统可以给用户推荐高质量的电影，提高用户体验。 技术栈:Scala、Spark、机器学习算法、Kafka、Redis 项目成果: 1. 从 csv 格式数据文件获取数据的的数据预处理功能。 2. 使用 Spark SQL，基于用户评分，评分时间做的统计推荐。 3. 使用 Spark ML 的 ALS 推荐算法做的离线推荐功能和电影特征相似度矩阵。 4. 使用 Spark Streamming、Redis、Kafka 根据用户最近电影评分和电影相似度做的实时推荐功能。 5. 基于电影类型标签，使用 Spark ML 的 TF-IDF 函数和余弦相似度实现的内容推荐功能。

该项目为基于 vue和 echarts 开发的可视化数据大屏，根据客户需求显示相关不同大屏，有地图数据、数据3D模型等，也有为华栖云公司内部显示信息开发的数据大屏。各个大屏基于 jquery 实现丰富的动效，可兼容不同分辨率的屏幕 项目职责： 1.根据客户需求与 UI图，开发所需数据大屏，实现相关动效； 2. 与后端工程师配合，完成数据大屏数据实时更新； 3. 优化大屏界面，使其兼容不同客户端

项目描述：新埋点接入系统，接入埋点数据实时入库 项目技术栈：Restlight+ZooKeeper+Kafka+Fqueue+Hadoop+Flink 项目职责： 1、分析埋点接口需求，并开发埋点数据上报接口，解析两个埋点SDK上报的数据并写入Kafka。 2、在OBus中做数据容错处理，包括解析数据失败响应异常，在Kafka不可用时，对数据做本地化处理，后续恢复到kafka，保证数据的安全性。 3、在OBus中将上报的埋点数据在本地磁盘中写一份冗余数据，以便Kafka及后续处理流程出现异常时能够从本地磁盘的数据中恢复，保证数据的可用性。 4、对OBus中的各项接入指标做数据采集，包括响应状态码统计、写Kafka失败统计，以便实时监控服务的状态及时告警。 项目成绩： 1、完成OBus服务的开发，上线到印度和国内机房并稳定运行，平滑迁移对业务无感知。 2、完成埋点数据实时接入数仓的目标，并推动算法推荐效果的提升。 3、上线后持续优化，单实例QPS超过1W，整个集群单日接入数据量超300TB。

该系统帮助一个月产值千万级的外企实现了数字化转型，企业管理层可以实时掌握企业的销售及生前情况，分析企业的成本和利润，系统特点如下： 数据治理+数字化转型：使帮助企业完成了从数据治理，数据逻辑梳理，到数字化转型的全流程。解决了企业之前excel满天飞，数据混乱，效率低下的痛点。 数据真实+实时决策：针把企业的真实运转情况实时进行计算展现，有助于高层了解企业的实际情况并实时做出决策和调整。 降本增效：全大大降低了企业的人员成本，精简了不必要的部门和人员。