这是一个量化期货平台项目，我负责数据挖掘和数据分析相关的工作。 主要工作：爬取各大期货交易所期货相关数据和搜集相关的宏观经济数据，然后在公司的开发的量化期货平台上创建相关的表格以校验数据。 爬虫程序能够爬取数据入库，能增量入库，能够定时执行爬虫任务，还能在页面上查看爬虫的进度和数据校验状态。 项目业绩： 完成了相关数据的爬取入库，为公司量化期货平台提供了数据基础； 完成了对量化分析结果的图表呈现； 完成了数据库的优化，包括优化查询语句、优化索引和优化数据库配置；

内容包括App接口和管理后台的接口。 框架：FastApi ，能自动生成 Swagger 风格的接口文档。 数据库：Mysql ，使用 sqlalchemy+pymysql 连接和访问数据库，使用 alembic 可自动迁移数据库。 使用 Redis 存储登录的 token，token 是基于 JWT。 功能：登录注册，*登录，用户管理，上传文件等。 App接口：登录注册、*登录、用户信息管理等； 管理后台接口：登录、用户管理、文章管理等；

项目介绍： 搜集虚拟货币、NFT 、美股相关的行情数据和舆情信息，把社交情绪也作为量化金融维度进行量化交易。 ● 爬虫框架：scrapy ● 爬虫控制台：Crawlab ，可视化爬虫任务的调度，可查看日志和错误信息，可分布式部署。 ● 使用 Postgresql 作为数据库，封装了数据库的连接，查询，更新，插入等操作。 ● 每个爬虫下面可以包含 table_info 数据库结构信息，启动爬虫时，可动态创建数据库，体现了设计模式中的高内聚，业务代码都放在了每个爬虫任务下面了； ● 实现了重定向中间件、代理中间件、401中间件等； ● 数据库操作都放到了数据库管道中，通过自定义的 PostgresPipeline 管道进行统一处理； 项目业绩 ● 完成了爬虫的部署，并开启了定时任务； ● 完成了虚拟货币、NFT 、美股行情数据入库； ● 完成了根据资产关键词检索推特、Rediit、Medium、Youtube 等社交平台的文章和文章作者信息，并完成入库； ● 在公司数据展示平台上通过 sql 语句，创建了数据库的监控表格，可查看数据爬取的进度、数据校验情况和数据库占用情况； ● 在公司的数据展示平台上，通过编写 sql 语句，完成了把数据渲染成图表；