▷ 项目背景： 由于业务增长，数据量增大，需要重构一个更强大的流式计算系统，实现高吞吐，低延迟，可扩展。 ▷ 项目过程： 首先需要自建Airflow，把零散的爬虫程序统一集中化管理，数据的发送采取pb格式，以提高传输效率，采用Flink实时计算框架，从Kafka接收爬虫数据，进行聚合计算，将结果入库，供给后端程序，在整条链路中担任主要负责人。 ▷ 项目结果： 一条承载力更大的高吞吐，低延迟的数据处理流。

▷ 项目背景： 由于公司需要将整理好的虚拟货币，财经新闻等数据通过接口的形式提供给个人或企业，需要开发一个后端项目，向用户提供业务数据。 ▷ 项目过程： 基于Go语言的Gin框架，把需要的业务数据低延迟，高可用的提供给用户。在项目内采用了缓存的方式，以实现接口的低延迟。整个项目涉及到的技术栈有Redis，MySQL，uptrace，gin，Docker，api key鉴权及限速。 ▷ 项目结果：一个稳定的Open Api产品。

▷ 项目背景： 由于公司需要对网络上的财经文章进行舆论分析，实时资讯报道，需要获取大量媒体文章，媒体信息，发布时间等数据，以供后端分析，所以需要爬虫去获取数据。 ▷ 项目过程： 利用Scrapy 框架或requests等方法爬取网页或app中的信息，进行数据过滤、加工、去重、清洗、入库，成为公司产品的后端数据支持。 ▷ 项目结果： 一个每日大约100万条数据入库的爬虫采集系统。