结构化和非结构化数据的爬取并分析。Python 爬虫技术的基本内容包括网页基础分析、requests 请求、XPath 和正则解析、Ajax 分析、Selenium 模拟浏览器爬取、Scrapy 等知识点，但技术不是一成不变的，随着近几年时代的发展，一些新兴爬虫技术如异步爬虫、JavaScript 逆向、AST 技术、安卓逆向、Hook、智能解析、WebAssembly、大规模分布式、Docker、Kubernetes 等技术不断涌现。

数据处理工作：模型数据输入为30首古筝名曲的midi音乐，选取了最主要用的音轨，然后将单音符的音调与和弦提取出来，转化为字符串，并返回用整数表示的每个音调的正常顺序。将字符串列表去重后，建立了Python字典，以此每段音乐都用字符串对应的数字表示；模型设计工作：从球形高斯分布中采样随机向量z，并通过一系列转置卷积操作，以向上采样并生成输出数据x=G(z)，该数据被输入向下采样卷积（其网络结构和生成器对称）的鉴别器网络D，以评估真实分布和生成的分布之间的发散程度，在GPU上训练实现了一个生成式的模型G，为每个音符高效的生成音频旋律。模型输入为一段时间的音符，目标输出为下一个时间步的音符；模型训练工作：模型一共训练了100轮，为了使得网络产生的音乐能达到“以假乱真”的效果，在模型结构不变的情况下，分别取lr、momentu和alpha不同的值对模型进行训练，当训练轮次增加到500，批量增加到20时模型达到收敛的效果。

接口开发工作：由于数据库中的数据格式对人的观感并不友好，需要有一个txt和excel文件互换的功能来实现内嵌的文件转换，另外，将excel上传到数据库时对数据有一个规范化检测（比如列名是否存在，个别必空字段、必填字段、字段长度限制，时间格式规范是否合法）并给出具体规范修改反馈，通过Tkinter实现了内库数据导入导出外接工具的开发；  语义推荐工作：低碳技术数据库建设需要相似技术推荐，复现了两种方法实现下游相似度计算任务。第一种方法是基于spacy和word2vec，先提取文档中的动词、名词和形容词，并将词语变形归一作为文档的文本信息，再借助glove向量提取文本向量特征，最后计算文本相似度。另一种方法先做了数据预处理，通过KeyBERT提取数据摘要，喂入Bert模型中的malteos/scincl预训练模型实现相似度计算。两种方法的输出效果超过关键词检索，得到业务认可。