项目经历（案例四） 项目时间：2015-12到2011-10 项目名称：通过异步爬虫爬取HGMD，构建mysql数据库 项目描述： 项目介绍 对高通量测序数据进行数据分析时，需要对snp数据进行相关性筛选，为此需要构建基于mysql的基因突变数据库，对HGMD网站相关基因突变信息进行爬取，爬取内容包括基因名，染色体坐标，突变信息，致病信息等。爬取结果存储于mysql。 我的职责 1，采用asyncio+aiohttp以达成高并发，异步请求。 2，通过timeout设置超时重发机制，因为HGMD为国外网站，防止因为网络卡顿导致页面抓取不到产生数据不全的现象。 3，通过继承aiohttp.ClientSession类来保存cookie对象，以应对基于cookie的反扒策略 4，使用xpath进行页面解析，解析出的数据通过PyMysql模块存储于mysql数据库中

项目经历（案例二） 项目时间：2017-01到2011-10 项目名称：分布式爬虫爬取北京市企业信用信息网 项目描述： 项目介绍 这个项目是通过scrapy-redis搭建分布式爬虫爬取企业信用信息网公布栏，爬取列表页每一项下的子页获取数据 我的职责 首先爬取首页后通过xpath匹配每个的信息块的span后构建请求，并通过scrapy.Request发送请求，用xpath匹配需要的信息。 同时循环创建下一页请求的form表单，通过scrapy.FormRequest发送POST请求。所有爬取的信息缓存到redis数据库中， 最后通过编写python脚本将redis数据库中数据读取出来加入mysql数据库。 其他爬取的网站：搜狐新闻、豆瓣、腾讯新闻网

项目经历（案例一） 项目时间：2017-01到2011-10 项目名称：引物自动化设计软件 项目描述： 项目介绍 这个软件开发原因是因为随着每日数据分析量的加大，组内人员较少，对引物设计这种工作变成了工作效率的阻碍，遂提出了设计软件以达到自动化设计的目的。而且引物设计主要费时在于多种验证操作，可以通过软件自动验证减少人力成本。 我的职责 1，软件基础功能设计，完成相关函数如自连互连验证，温度验证等功能 2，分析NCBI网页格式，设计API调用接口 3，编写测试脚本对软件进行测试