项目介绍:
搜集虚拟货币、NFT 、美股相关的行情数据和舆情信息,把社交情绪也作为量化金融维度进行量化交易。
● 爬虫框架:scrapy
● 爬虫控制台:Crawlab ,可视化爬虫任务的调度,可查看日志和错误信息,可分布式部署。
● 使用 Postgresql 作为数据库,封装了数据库的连接,查询,更新,插入等操作。
● 每个爬虫下面可以包含 table_info 数据库结构信息,启动爬虫时,可动态创建数据库,体现了设计模式中的高内聚,业务代码都放在了每个爬虫任务下面了;
● 实现了重定向中间件、代理中间件、401中间件等;
● 数据库操作都放到了数据库管道中,通过自定义的 PostgresPipeline 管道进行统一处理;
项目业绩
● 完成了爬虫的部署,并开启了定时任务;
● 完成了虚拟货币、NFT 、美股行情数据入库;
● 完成了根据资产关键词检索推特、Rediit、Medium、Youtube 等社交平台的文章和文章作者信息,并完成入库;
● 在公司数据展示平台上通过 sql 语句,创建了数据库的监控表格,可查看数据爬取的进度、数据校验情况和数据库占用情况;
● 在公司的