1.负责多个模块开发，包含了政策、新闻、论文、专利模块开发。2.数据获取，利用爬虫在互联网上获取相关政策、新闻、论文、专利，达到TB级别。3.数据存储，搭建Hadoop环境、es环境，用来存储平台数据，利用ETL工具进行数据的清洗、格式化统一等。4.根据项目需求，完成上述多个模块的定制接口呈现。5.数据库调优。
评论