云原生

基本的爬虫工作原理基本的http抓取工具，scrapyBloom Filter: Bloom Filters by Example如果需要大规模网页抓取，你需要学习分布式爬虫的概念。其实没那么玄乎，你只要学会怎样维护一个所有集群机器能够有效分享的分布式队列就好。最简单的实现是python-rq: https://github.com/nvie/rqrq和Scrapy的结合：darkrho/scrapy-redis · GitHub后续处理，网页析取(grangier/python-goose · GitHub)，存储(Mongodb)。

基于云开发，实现了发帖，调用第三方api进行安全审核，实现评论以及回复评论点赞，tap栏等论坛常见功能，在评论区实现了ai自动回复功能，实现了私信聊天功能并做了监控，实现了用户登录功能，用户关注功能，实现了管理员管理功能，禁言，解除禁言删除帖子之类的功能

在担任kucoin数字货币国际交易所的Java技术专家期间，我主要负责了交易所全站流量模型的设计与优化，这是一个关键的技术项目，旨在提升交易所的性能和用户体验。项目分为以下几个核心功能模块： 1. **流量模型构建**：负责建立和优化交易所的流量模型，确保在高并发交易场景下，系统能够稳定运行，同时提供实时的流量监控和分析。 2. **服务治理与稳定性保障**：设计并实施服务治理策略，包括服务发现、负载均衡、熔断与降级，以及流量控制，以保障服务的高可用性和稳定性。 3. **监控与告警体系**：构建全面的监控体系，包括日志监控、分布式链路追踪，以及基于Prometheus的监控告警系统，确保能够及时发现并解决潜在问题。 4. **性能优化**：针对核心交易链路进行性能优化，包括但不限于网关优化、消息中间件的选择与优化，以及数据库和缓存策略的调整。 在这项工作中，我使用了以下技术栈： - **云原生技术**：利用Kubernetes和Docker进行容器化部署，提高系统的弹性和可伸缩性。 - **微服务架构**：采用Spring Cloud Alibaba进行微服务架构设计

数字孪生，TS的低代码接口调用，人工智能UE调用，PYTHON人脸识别。 通过模型软件进行建模，然后同步到虚幻或MAR，然后采用API接口调用使用TS对象脚本语言进行交互展示。 另外就是，可以通过UE里面的相关蓝图以及插件，对接人工智能模型如CHATGPT以及语音NLP，然后对人物以及动作进行设计。 人脸识别功能是另外一个板块

项目介绍: 根据K8s构建的容器云平台，实现了多集群聚合管理，以及多租户资源的物理隔离以及控制面隔离。 工作内容: 1、使用K8s的client-go完成K8s资源的控制。 2、使用client-go Informer维护多K8S集群资源的更新。 3、维护独立的yaml应用配置文件。 4、使用namespace以及网络控制实现用户控制面和数据面隔离。 5、按需计费精确到秒，定时任务进行账单费用统计以及扣费。

开发系统信息展示和系统健康检查功能，PR4379，PR4657，PR4662。系统信息展示帮助用户了解当前系统信息如系统版本、启 动参数等；系统健康检查功能用于自动检测用户在使用KubeVela的过程中所遇到的障碍，帮助用户排查解决问题，降低用户与社区的沟通成本。

1，基本功能：接口服务基于GIN框架实现，并使用JWT进行身份认证，且内置Asynq实现任务异步; 2，后端发布支持：实现基于Chart包的组件安装、更新、回滚、滚动重启、卸载；且在组件部署时可填充组件HPA，Replicas副本数信息;并支持多个集群同时发布组件，且实现镜 像的拉取以及转仓； 3，前端发布支持：包括将前端资源更新上传到AWS的S3,阿里云的OSS，UCloud的US3以及Minio对象存储桶中。通过对比桶中Objects与本地待上传文件的MD5值,提升更新效率; 4, 中间件支持：支持获取多个Kafka集群中topic的分区，副本数以及configs,并支持json格式的topic解析和创建; 5，其他功能：接口支持部分AWS,腾讯云中资源的获取;(详情可咨询)

1，项目分为商机管理、招投标信息管理、商机支撑、运营管理、综合报表和系统管理等几大模块，为省级以及省内十几个地市级分公司对商机信息进行管理。一线客户经理可通过系统报备商机，并由管理人员完成审核，然后向业务支撑人员发起支撑需求；业务支撑人员接单、派单并执行，最终由客户经理完成闭环评价。除了针对商机信息的管理之外，系统还提供了各种维度的报表，可从地域的维度或者业务的维度清晰的看到汇总和明细情况。另外，基于本平台，还陆续开发了各类与商机相关的附加功能，为企业对于商机和ICT项目的管理提供了有效的手段。 2，本项目中，我负责需求分析、UI设计、系统设计、技术选型、50%左右前后端核心功能研发和部署实施工作，其余部分的代码开发和测试由其他人员完成。本项目中采用了前后端分离的架构，后端使用Java+SpringBoot，前端使用Vue+ElementUI框架，前后端使用BladeX作为开发脚手架进行。工作流引擎使用Flowable，数据库使用MySQL5.7，使用了Redis作为缓存中间件，MinIO作为对象存储中间件，Nginx作为负载均衡，所有的应用部署均基于Docker完成，也符合云原生的规

云原生技术研发服务平台作为统一一体化的研发服务平台，基于 Kubernetes 容器编排系统，集成 Gitlab、Harbor 等多个开源软件，采用微服务的理念和架构实现企业级的 DevOps 能力构建和流程打通，提供敏捷流程管理、开发流水线、测试管理、部署流水线、运营监控报表等功能帮助企业规范和串联管理软件研发过程，通过自动化的流程提高软件构建、测试、发布的频率和速度，支撑企业核心业务的快速变更，助力整体数字化转型。 我作为产品负责人，一方面牵头业务规划与架构，保障产品团队ROI；另一方面负责技术侧的架构设计、编码质量以及项目管理工作；同时负责产品的市场布道及客户对接。

【负责事项】 负责 TKE 产品上百个模块的运维容灾架构梳理、容灾能力建设、应急预案建设、故障大盘建设、演习能力建设（chaosblade）、演习拉通、问题跟踪闭环等。 【成绩】 最终达成目标：单 AZ 故障时 TKE 控制面核心功能自身 3min 内自愈； 2022年获腾讯云“混沌先锋奖”2 次。

关于抖音小程序开发的基本费用及开发流程的信息。 分为两个部分：开发成本和开发阶段。 在开发成本部分，列出了以下几项费用： 域名：价格在50-100元之间。 服务器：价格在300-1000元之间。 认证费用：目前抖音小程序没有认证费用。 定制开发：根据业务量和SaaS选择，可能需要几万到几十万的费用。 SaaS：根据业务量和定制开发选择，年费在1k-10k之间。 运维费用：开发费用的20%-30%。 在开发阶段部分，列出了以下步骤： 字节跳动小程序开发平台注册，目前仅对企业开放。 开发者工具下载。 沟通需求，包括建立需求池和需求清单列表等。 出效果图，包括需求脑图和效果图等。 开发测试，包括方案设计和测试报告等。 交付，包括源码和使用文档等。

工行宗教云平台是工行为宗教客户打造的SaaS云平台，客户可以在借助平台快速定制一套属于自己的功能，比如功德捐 赠，牌位购买，法会预约，自愿者管理，物资管理等。客户可以很方便地接入微信公众号，支付宝生活号，和工行E生活等平 台，工行宗教云平台上线两年已经上线超过1000家寺庙、教堂，并在2021年获取创新工行一等奖。

企业内部devops运维研发平台，提高研发效率，自动化运维流程包含功能： 1、k8s集群管理 2、集群备份 3、应用中心 4、日志中心 5、监控告警

智慧水务 抄表营收系统 设备资产管理 GIS管网 水质监控 计量监控 DMA分区计量 二供系统 物联网中台 数据中心 报装工程管理 运维巡检APP 客服系统 远程缴费小程序

平台一共分为8大功能，分别为： 1，用户管理 2，应用管理 3，公共服务 4，存储管理 5，镜像管理 6，日志管理 7，资源计量 8，容器管理 8大功能菜单属于一级菜单，其中都用子菜单 我负责整体架构设计，包括软件架构，系统架构，其中用到的技术有kubernetes,docker,java,kfk,elasticsearch,go,influxdb,shell,tomcat,ansible,redis,etcd等 该平台最低要求5台虚拟机部署，kubernetes采用2主3从方式部署，所用到的技术有nginx,keepalived,haproxy

1.演练计划管理：演练计划的创建，分页查询，修改以及删除，演练计划的执行 2.场景管理： （1）场景的导入导出 （2）场景的晋级，场景分为自定义场景和基础场景，从自定义场景可以提交申请晋级为基础场景，场景晋级有初审和复审两个审批环节，流程提交到管理员，可以同意或拒绝，复审通过后自定义场景晋级为基础场景，场景流程的设计以及晋级过程的开发。 3.文件管理，文件的上传和下载，图片的上传和下载 4.问题管理，演练计划过程中存在的问题的统计 5.环境管理，大数据zdh环境纳管，大数据分布式数据库管理，大数据分布式数据库查询 6.轮盘管理，查询轮盘管理，添加轮盘，根据权重抽取轮盘中的演练计划 7.与我相关，查询出我创建的演练计划，我收藏的演练计划，我申请晋级的演练计划 8.草稿箱，将演练计划存为草稿箱，分页查询草稿箱列表，删除草稿箱 演练计划的导入导出，演练计划的收藏，取消收藏

我负责从 0 设计开发了珑珠 1.0 系统，珑珠平台具有账户管理，记账， 转账支付等平台能力，龙湖生态内的各成员组织(住宅地产，商业地产，物业服务)、供 应商、客户可以在平台上进行，珑珠支付、福利发放、营销返佣、促销等场景化应用， 年交易规模约 60 亿元人民币。

垂直电商(家具家具类)，管理系统(三四个外包，政府小项目)，农业(大棚-温光水气肥监控等)，金融(保理应-收账款业务)

【架构设计和各模块功能】 addon-manager：publish 平台的 http 后台模块，使用 Gin 框架，定义了 创建发布单、创建变更审批单、拉取集群列表、拉取组件列表、发布、回滚、变更分发等核心流程的API； addon-frontend：前端控制台； task-manager：publish 平台的实际变更动作下发模块，使用 k8s operator 框架，watch 集群的 task-crd资源，并执行变更、发布前检查、后置检查、发布调度动作； task-crd：包含了一次发布动作中所需要的信息（分批灰度、调度策略、发布通道信息）； ops-center：publish 平台的资源注册模块，与组件管理中心底座kube-apiserver集成，提供相关 crd 自动管控能力，将所有集群相关的云上资源（cluster、nodepool、vpc、subnet、tps）全部 crd 化，由 ops-center 统一管理，并且实时 watch，调用 yunapi 完成资源生命周期管理； argo-cd：argo是开源的cd方案，以Application CRD的方式来抽象云原

深信服XDR是一种安全威胁检测和事件响应平台，通过原生的流量采集工具与端点采集工具将关键数据聚合在XDR平台，通过网端聚合分析引擎、上下文关联分析，实现攻击链深度溯源，结合MDR服务提供托管式安全检测与响应服务，释放人员精力。同时具备可扩展的接口开放性，协同SOAR等产品，化繁为简，带来深度检测、精准响应、持续生长的安全效果体验。