项目描述：将线上所有正式运行的airflow及server（ES,ClickHouse等）服务进行监控 项目职责：负责该项目中架构及前后端代码编写，前端采用table表格及部分功能性开关，通过shell脚本定时检测服务运行状态，发送给Django后端保存运行状态； airflow监控部分则是通过爬虫方法实时获取airflow运行状态，并爬取出失败的Dag及最后一次运行失败的task及时间，交由前端展示。 技术栈：airflow，Redis，Agent，HTML，Shell

业务背景：针对目前汽车品牌众多，对于消费者在各汽车品牌选择的指标进行大数据分析，它由全新一代大数据生态技术+AI技术驱动，让海量数据聚合，产生价值裂变，让车企、媒体、研究院等用户可以实时从多渠道、海量信息中清晰了解消费者心声 工作职责：面向全网进行汽车数据抓取，其中主要针对汽车之家、今日头条、*公众号、懂车帝等媒体进行数据抓取；通过调研网站结构及其反爬机制，对指定网站进行爬虫脚本开发，并针对反爬机制进行破解，如：js加密，signature参数加密，特定编码文件，IP访问限制等。针对不同情况使用不同破解方法。 遇到问题及解决方案： 汽车之家：针对该类网站，反爬机制主要有ip限制、请求头验证及字体编码，针对以上几种反爬机制，采取的解决方案为代理ip池，构建协议请求头池，根据该网站特定编码文件进行字体解码； 抖音：通过调研，在该类数据中反爬主要为请求协议中增加了加密验证参数，针对这一情况解决方案为通过fiddler抓包使用中间人攻击方式，获取接口中参数的生成方式，通过逆向编译app源文件进行加密方法提取，并通过python实现加密过程； 技术栈：selenium，scrapy，js，Linux, ES，mysql，redis

项目描述：该项目是基于行为的人工智能，将加密货币钱包地址和交易连接到现实世界的实体 项目职责：负责相关API功能开发，采集日志生成用户账单，ETL解析公链数据 针对不同链的特性，兼容现有功能,完成公链数据采集，适配现有数据库表格式完成各公链数据展示。 遇到问题及解决方案： API响应速度慢: 减少API中第三方数据调用，减少数据库连接次数，使用批量访问，对常用数据做缓存处理