大数据

1、实现及时监控数据库的运行状况，假如宕机通过邮箱方式发送错误信息 2、搭建Doris数据库，以及编写python脚本,另外安装了zabbix监控系统监控mysql数据库 3、如何准确得到数据库的运行信息，使用python连接数据库得到数据库信息使用json.loads将json文件转换成python可执行的数据结构

这是一个化工企业的要求对危害气体进行监测。我主要负责数据的特征工程这一模块，其他的数据清洗，数据分析模型的选择等我也有所参与，但不是我的主要工作内容。

1、将PB绘制的系统图，转化为SVG图； 2、web页面加载展示系统图中测点数据，变色，历史回放等功能； 3、孪生项目中，能够在线编辑某些点的数值，动态更新其他关联数据。

一栈式数据开发管理平台，集数据集成，数据开发，数据建模，数据服务，数据治理，数据安全，数据资产等中台服务

1.通过各个公共场合部署的大量电子屏捕捉采集人脸特征信息 2.对保存的大量数据进行数据分析，得知人流量/男女比/年龄段/是否戴口罩等信息 3.对电子屏上的广告投放用户来说，可以反馈广告的受众群体与受欢迎程度，进而优化广告制作

一块长度相当于波多黎各的巨大冰块，从南极半岛海岸崩落下来，逐渐靠近野生动物聚集的南乔治亚岛。该图将冰山的大小与 66 个国家或地区进行了比较。值得注意的是，巨大的冰块已无法在一张照片中捕捉到。从IUCN濒危物种红色名单中，我们可以看到野生动物地理数据。

医院运营管理决策支持系统 项目背景：医院运营管理决策支持系统是一款为医院管理层提供数据分析和决策支持的信息系统，满足医院对病种权重数据 的需求。该系统主要针对医院运营管理领域，为医院管理层提供大量的数据和信息，以便他们能够更好地了解医院的运营状 况和趋势，并根据数据分析结果做出科学合理的决策 技术栈：vue2+vuex+vueRouter+elementUI => vue3+pinia+typeScript+vueRouter+elementPlus。 项目职责： 1、参与该系统的全面预算，能级与效率等模块的前端开发与后期维护 2、担任该项目的负责人，在一个半月时间内，升级项目技术栈，减少了 30%打包体积，加快了页面的运行速度，提高代码的 可维护性 技术亮点： 1、优化了大数据表单的加载速度，通过子节点懒加载有效的提升了系统的渲染效率。在该系统上线后，Web 前端加载速度从 3s+提成到 1s+。 2、使用 ts-jest 库作为测试工具，结合 TypeScript 静态类型检查，提高代码质量 3、深度定制基于业务特征的 ui 组件和业务组件，组件总量达20+种，提高团队业

1、更简便的使用webul界面清楚得知数据库运行情况 2、部署zabbix监控平台 3、在监控PostgreSQL时错误退出导致zabbix无法正常启动，解决办法找到记录运行的pid文件删除

本人负责梳理业务，整理数据需求，并开发数据组业务数据代码。 技术栈:xxl-job、spring boot、spring cloud、mybatis plus、mysql、rocketmq

该系统是用于采集客户重点关注的用户在微博，头条，微信公众号，抖音，快手，脸书，推特等平台的发文内容，保证客户能够及时且全面的拿到自己重点关注的用户的发文内容，并对其行为和立场进行用户分析，用户画像，制作用户行为分析报告给客户。项目主要包括用户模块，调度模块，采集模块，解析模块。 技术框架：Springboot+zookeeper+kafka+redis+elastic-job+mongodb+flink+hadoop 我主要负责： 1.负责所有平台的重点用户账号准时调度，保证kafka队列中的任务至少一次消费。 2.负责flink on yarn集群的搭建，用flink实时计算各个平台的热门话题和活跃用户。 3.使用令牌桶算法实现对资源账号的限流。 4.采用elk分布式日志收集框架来处理海量日志。 5.参与整个项目技术框架的选型和接口的设计。

1.开发XX分析平台报表接口，提供给前端展示。 2.外包拉新功能。主要是运营部门导入新用户手机号，跟本公司内的用户手机号进行比对不一致认为是新用户，且30天内成为我司用户为拉新成功，并在前端展示每天拉新数量。 技术栈:ssm+mysql+hive+sqoop

从大数据分析平台获取群体量化指标数据，提供数据应用场景可视化展示，包括：行政区域实时人口分析、特定区域人口历史监测、人群异常聚集预警 公共卫生事件防控区域人口监测、重大活动人口聚集预测、三网预警信息靶向发布、商圈人口分析。

平台提供多种异构数据源的一键采集，以离线、实时、接口多种接入模式，实现采集任务的统一调度、统一监控。 基于数据采集形成的数据资源运用数据处理组件，提供提取、去重、转换、标准化、关联、比对、标识等一系列数据规范化处理。 通过标准化的数据清洗规则整理，对数据质量进行检查和修正。 运用可量化的数据质量评估模型，对数据质量进行评估，最终完成数据的标准化存储，实现数据资产的有效组织和管理，以数据资产服务的形式支撑各种数据的应用。

1、根绝需求对页面功能进行重新设计 2、大屏页面的设计 3、根绝需求，用适合的方式展示信息数据，并设计图标 4、除了保证页面的设计。还需要对页面的美观度进行设计

1、前端Excel在线编辑功能，实现了绝大部分Excel 功能； 2、使用canvas展示，能够大数据量的加载数据； 报表要求 1、填入设定好的参数指标（列）、时间点（行），填入设定时间对应的实时数据； 2、要有足够的灵活性，现场工作人员可以自己根据需求组建报表，实现个人需求； 3、可手动编辑，填入一些离线数据、签名； 4、单元格内容可与其他表格进行同比、环比，或者与某一定值进行对比，超过设定的限值后，该单元格底色变色，进行标记。 5、签名部分，根据输入的工号信息来自动获取到工号对应的电子签名； 6、签名和可编辑数据部分要有时效性，超过规定时间后就不能再编辑和签名了（这个时间要可控，因为每个表的时间不一样）； 7、超过规定时间未编辑数据或签名的，由更高级的权限用户去进行补签和修改。

概述：针对 tripAdvisor （猫途鹰）编写网页爬虫并基于获取的数据进行数据和情感分析 采用技术：Python ，相关第三方库，burp suite； 项目内容： 1. 数据收集：使用 Python 编写爬虫程序，从目标网站上收集相关数据； 2. 数据清洗：使用 Python 对收集到的数据进行清洗和处理，包括去重、填充空缺值、格式转换等； 3. 数据分析：使用 Python 中的 pandas、numpy 等库对数据进行分析和挖掘，并通过可视化工具进行展示； 4.语义分析：通过自然语言分析提取并标注评论的情感色彩 ；

数据中台架构,基础设施，数据底座，数据中台服务，数据治理，数据API服务，数据可视化。一栈式数据开发平台，提升企业大数据开发效率和数据开发完整链路

爬取房价网站信息并整理生成表格和统计图 房价数据分析研究的主要目标是探索和解释房价变动的原因，并预测未来市场走势，为相关方提供决策参考。 其主要内容包括以下几个方面： 1、历史数据分析：通过对历史房价数据进行深入分析，探寻价格变化趋势并发掘背后的原因和影响因素。 2、地区差异比较：对不同地区的房价进行比较，分析房价涨幅与当地经济、社会、等因素之间的关系。 3、分析：分析对房价变动的影响，如相关房地产调控、贷款等。 4、预测发展趋势：根据历史数据和现有因素，预测未来房价涨幅及市场变化趋势，为相关人员制定策略提供参考。 5、评估影响因素：针对各种因素对房市的影响程度进行量化评估，以确定哪些因素对于房价变动的影响最大，为未来调控政策的修正和完善提供参考意见。

数据中台系统是一种旨在整合各种数据资源，打通数据孤岛，实现数据共享和协同的解决方案。它可以帮助快速构建起数据驱动的业务模式，提升决策效率。下面，我将从以下几个方面详细介绍数据中台系统的功能和作用。 首先，数据中台系统以下模块数据采集、元数据管理、数据质量、数据集、数据共享、数据资源等多个功能模块，使数据的管理更加规范和高效。 其次，数据中台系统可以通过对数据的质量进行管控和评估，确保数据的准确性和可信度。同时，数据中台系统还可以实现数据集，对数据进行分类、标引和注释，为数据分析提供更加准确的数据支持。 再次，数据中台系统可以实现数据集市和数据共享的功能，使不同部门、不同来源的数据可以实现互通和共享。这有助于更好地了解自己的数据资产，并从整体上把握数据的趋势和变化。 最后，数据中台系统可以通过对数据的整合、分析和挖掘，提供更加全面、精准和有价值的数据支持。同时，数据中台系统还可以实数据资源一张图的功能，对数据进行统一的管理和监控，提高数据展示数据从那里来到哪里去能力。 总之，数据中台系统是一种全面、高效、安全和可靠的数据管理平台，可以帮助信息中心实现数据的集中管理和共享，提高决策效

本项目包含 BI，看板，数据大屏，数据分析，后台管理系统，营销画布，可视化的数据中台等多个模块。可以满足客户各种数据的可视化需求，通过灵活可配的可视化数据集实现数据清晰和指标输出。 本人主要负责BI，营销画布，可视化数据集的开发和维护。