SHELL

CS144是斯坦福的一门计算机网络课程。全称：CS 144: Introduction to Computer Networking。课程的重点在于lab，一步步实现一个TCP协议。

项目涉及技术 ：spring boot、Vue、element ui、 Nginx、Quartz 项目描述：这个项目主要是对不同县（区）新能源光伏扶贫电站下的数据进行统一监测与管理。 个人职责： 1. 负责与第三方系统进行对接 ，将不同数据处理并储存 ，根据数据量的大小 ，采用三维一体的 多元存储方式储存到 MySQL、 Redis 和 Hbase 中。 2. 根据数据的用量和重要程度 ，采用不同的数据流动方式(http 推送和主动获取的方式) ，将用 量大的数据推送之平台指定地址 ，重点数据通过实时获取来维护数据的完整性。 3. 储存时采用分库分表的方式 ，提高数据库的性能 ，优化数据查询时间。 4. 测试各种传感器可用性，并用 485、MQTT 等物联网协议对接传感器 ，融入到项目中，实现 新能源与物联网联合。 5. 优化数据库性能 ，采用分库分表的方式 ，提升数据查询时间。 6. 负责项目部署和维护。

1. 使用 image-syncer工具同步镜像到阿里云ACR； 2. 创建RAM用户，授权部分ECS和OSS权限； 3. 自建集群安装velero，将应用备份至OSS bucket； 4. ACK集群安装velero，迁移备份的应用； 5. 调整DNS解析配置实现流量切换。

项目目的：将传统电商业务与区块链技术相融合，将商品生产信息及客户购买订单数据上链防伪，同时将用户积累的消费额与区块链积分相挂钩，以业绩的形式返利客户，以达到激励消费，商家与客户共赢的商业模式。 1.使用C++语言以 Bitcoin 开源项目为基础，基于项目的具体业务，修改原有的发行机制，增设主节点等功能的二次开发工作； 2.使用 Shell 等脚本语言，开发区块链网络运维工具，快速修复公链主网中状态异常的客户节点； 3.使用 Nodejs 等语言，搭建矿池辅助项目公链的数据上链交易确认功能。

1. 项目从文件/服务器读取SQL数据，包括表结构和表数据，统一序列化到对象中，并进行对比； 2. 自动生成两个不同对象的差异，并使用多线程的技术提交差异到数据库中； 3. 支持Postgresql和Mysql数据库。

一个配置vim的脚本，以及部分vim的插件。运行程序会将一些vim的配置加载如你的vim中。 包括：美化状态栏，代码提示，代码补全，自动补全括号，跳出括号对，跳转函数声明，跳转函数定义等等。

离线数仓：在服贸会的官方网站上获取数据信息，存入第三方数据库中，从mysql库中获取信息，利用公司的城操调度，T+1的形式存入hive库中。由大数据工程师通过 hive 的分层建模，需要得到各省市区，境外的参展商，专业观众，新增企业数、疫情下的人流量、票务证件的使用情况、各地区的订单金额等有效信息，通过城操调度将数据结果存放在 MySql 中。然后将数据并进行分析以及调用数据进行数据BI报表展示。 实时数据：通过接口，接入入场人的信息，通过闸机获取公安的个人核算报告，然后通过FlinkSql进行计算。 接入大屏进行展示。 业务需求： 省市区：行业分析、组展机构、展品展馆 年 度：企业新增、用户分析、新增参展商 月 度：公司概况、主播分析、内容分析、地域分布处理日度、月度金额占比、订单增长率 周 度：直播数据，直播观看人数，直播间pv，uv统计，洽谈间人次，各网站浏览pv，uv 直播分析：论坛活动，会议直播 会展数据：当日进场人数，当日票务总计，当日制证总计，闸机人数统计，展馆人数统计 各pv，uv来源：官网，APP，小程序，H5 展台/

1. Qt应用软件开发，Qml和QWidget，熟悉VirtualKeyboard 2. C++程序开发 3. 嵌入式系统uboot、kernel、rootfs、Yocto及驱动 4. opencv简单的图像处理，图像识别

1. 在智能加速项目中，我担任项目经理/技术经理，负责协调开发、运维和商务团队，制定项目开发计划和推广计划，确保项目顺利进行。我积极参与需求分析和质量把关，为项目的盈利提供保障。 2. 项目组共有12名开发人员、30名运维服务人员和10名商务人员，共同协作完成项目。 3. 该项目基于 Apisix和 OpenResty 开发，使用C++、ES、MySQL、MQTT、Python、Lua、Java、Docker、K8S等技术。我们还使用 Terraform和 Ansible 管理了上千台全球服务器。服务器资源来自(Azure, AWS, GCP, Aliyun) 4. 项目的主要目标是为用户提供一套方便易用的管理平台，支持站点添加、加速节点管理和监控等功能。同时，我们开发了众多符合市场需求的 WAF 规则，以保护站点安全。 5、使用 Zabbix 等工具平台，很好的管理与对服务器资源，应用的接口报警。（APM） 6、借助监控宝全球监控服务，从而可以保证系统中的每个节点的有效性。 7、项目代码托管在 github 中，基于 github action 实现代码的自动测试，自动部

本项目是一个自助数据分析平台，用户可通过在前端配置自己需要的埋点字段，然后会下发一条埋点规则数据至消息队列，数据端通过采集规则数据与埋点数据进行匹配后，对数据进行落库，实现用户自定义分析的目的。 1、项目主要分为3大模块 （1）主要看板模块，包含每款游戏最重要的运营数据，如付费、日（周、月）活、用户留存、LTV、ROI、内置广告变现、玩法、用户画像等基础数据 （2）分析模块，此即为平台使用用户可自定义分析的模块，包含事件分析、留存分析、漏斗分析、间隔分析、分布分析、路径分析、属性分析等 （3）用户模块，如用户标签、用户分群、用户行为细查等 2、负责任务：我在其中的工作主要是数据端的工作，对前端的埋点规则进行解析后，合并正常的埋点数据写入至Clickhouse中，由于某些APP数据很大，某些APP数据量很小，因此就涉及到性能优化。涉及到的技术栈主要包括Flink、HDFS、Clickhouse、Kafka、MaxCompute、Java等 3、难点解决： （1）由于需要把Hbase当成Dim维表来使用，且开源的Flink-Connector-Hbase只提供了单条异步访问的使用方式，而H

- 主导构建离线数仓，汇集业务联机数据库和终端用户行为日志数据，实际数据过滤、治理、解析、集成、入库。 - 划分主题建设，为公司提供多种报表统计结果和业务系统技术支持。 - 提高数据处理性能，解决数据漂移延迟，实施数据脱敏和解析参数表的构建。 - 设计并维护多层次数仓结构，包括ODS、DIM、DWD、DWS和ADS层，优化数据仓库查询性能。 项目架构：Hadoop + Hdfs+Zookeeper + Mysql + Hive+clinkhouse+ElasticSearch +Azkaban+dataX+Spark+shull 项目流程： 数据采集： - 使用dataX从业务库同步全量和增量数据。 - 使用flume搭建数据传输网络。 数据分层设计： ODS层：存储未处理的源数据，保持一致性和追溯性。 DIM层：存储各种维度表，例如药品主数据、地区、生产单位、运力_站点等。 DWD层：清晰、规范化数据、采用维度建模理论。 DWS层：按主题轻度聚合数据，例如单位物资日聚合表，仓库自然月集合表，省市区储备表等。 ADS层：存放重要指标的结果数据，提供数据产品和服务。 报表开发：

该项目基于 App 和网站的启动访问(用户行为)日志，以及业务交互日志，围绕 Hadoop+Hive 搭建用户行 为数仓和业务数仓，使用 HSQL，SparkSQL 对数据进行清洗，分层解耦，建模，分析得到各项指标，提取有价值的 信息，协助完成客户报表系统，涉及的技术栈为Hdfs + Zookeeper +Flume + Kafka + Hive +Mysql + Datax+ Dolphinscheduler

ETL 后端开发通过各个数据系统获取数据将数据进行整合、处理、而后将数据分发给管理驾驶舱APP 端、PC 端通过APP、PC 端即可查询相关数据并使用。

1. 工具功能：windows平台与linux平台文件互传功能，提供账号密码及sshkey两种认证方式，同时支持多任务并行执行，支持传输进度查看 2. 个人负责所有功能开发

这个项目的产出是一个基于反应模板的相似度搜索产品。这个产品的主要功能是利用先进的算法来识别和搜索在化学反应中使用的各种模板。它可以快速比较不同化合物的结构，并找出它们与已知反应模板的相似之处。这使得化学家和研究人员能够更有效地预测和设计新的化学反应。 项目分工比例如下： 算法开发和数据处理（60%）：这部分工作是项目的核心，涉及开发和优化用于识别和比较化学模板的算法。团队将使用机器学习和人工智能技术来分析大量的化学数据，以提高搜索结果的准确性和相关性。 数据库管理和维护（40%）：为了保证搜索结果的准确性和及时性，需要一个包含大量化学反应模板数据的数据库。这部分工作包括搜集、分类和更新数据库中的信息，确保数据的质量和完整性。

主要针对ERC20,ERC721,ERC1155协议数据进行存储计算,最终能为客户实时展示和查询,某个币的卖家,买家,交易时间,数量等信息. 1.数据从kafka接入,经过flink任务后,写到clickhouse 2.clickhouse每天都会进行一次批量计算 3.同时使用flink进行实时计算,完成增量更新 4.由于中间发生过服务器升级情况,为了避免数据产生问题,所以增量数据和全量数据分开存储,每天把3天前的数据写入到全量表中,最近3天存在另一张表中,在对用户展示时,会把两张表关联起来查询

1.每天爬取全量推特帖子及用户相关信息数据,发送到kafka 2.实时监控重点用户及帖子的动态数据,发送到kafka 3.接收数据,保持最新用户及帖子状态数据,更新到es中,并生成指定维度的报表 4.基于现有的帖子数据,对内容进行自然语言处理,判断语气的正负面,并提取关键信息保存

1. 项目模块：系统管理（IP地址修改、域名修改、系统时间等），磁盘管理（磁盘挂载、磁盘卸载），故障排查（服务状态监控、网络接口状态监控、日志打包下载），资源管理（资源导出） 2. 负责项目整体架构搭建，相关功能开发

项目描述：广告投放（买量）的质量对于游戏的推广至关重要，而广告投放师需要实时感知广告投放效果、素材设 计师、素材优化师需要实时洞察素材质量、快速下架无效的广告策略，因此，需要将广告投放的实时数据展示给分 析人员，以供分析人员能洞察投放异常的现象

1.通过 ES5commit 架构,使用 vue 框架快速搭建底层应用； 2. 系统管理后台拥有可自定义灵活配置表单，可满足绝大部分场景的登记需求； 3. 支持用户微信登录，管理员可配置微信分享模板，动态生成网页二维码分享等；