开发环境：python、Oracle 、web链接、pandas、Numpy 开发工具： pycharm、github、Linux 项目目的： 该处理系统是针对各个药品经销商（子客户）通过FTP发送过来的销售数据进行标准化，按照规则转换成出口方（主客户）规定的数据格式与标准数据，以便主客户进行数据统计与清算账单，另也便于公司为其做相关的报表与分析图。 数据文件的分类与分发 : 子客户通过FTP上传至系统指定文件内，在系统进行分类并分发至各标有对应标记的文件夹中，进入待处理状态（F0文件）。 数据表头格式化 : 对待处理文件（表格形式的数据）的表头按主客户的标准进行格式化，生成表头标准化后的文件（F1文件）。 数据产品信息标准化 : 对F1文件表格数据里的产品信息进行标准化（标准化信息提前与客户拟定好），生成产品信息标准化后的文件（F2文件）。 数据客户信息匹配与外查 : 对F2文件表格数据里的客户信息与数据库里的标准数据进行匹配并更替，若匹配失败数据将自动进行外查（通过连接在企查查进行查询，并存储至数据库中）将得到的信息进行更替，生成客户信息标准化后文件（F3文件）。 特殊规则处理 : 对于个别子客户提出的一些特殊规则上对F3文件进行处理，若无特殊规则无需对F3文件进行处理，并统一生成F4文件。 整合生成数据：对F4进行整合，生成主客户所要求的数据文件 本人全程都参与了上述的开发，并负责该系统的测试与维护。

开发环境：python、pytorch、cuda、chatGLM、langchain、milvus向量数据库、知识图谱、conda、LoRA微调、数据爬虫、fastAPI、内网穿透 开发工具：liunx、windows系统、pycharm、github、docker 项目内容： 1、确定好项目框架LLM、langchain、milvus向量数据库开始环境搭建 2、使用conda对python环境进行管理、不同的AI应用可能用到不同的python版本 3、对电脑或者服务器的GPU、CPU的本版进行检查下载对应驱动、配置cuda、pytorch使得程序用使用GPU的算力正常运算 4、部署项目、对项目进行测试 5、编写爬虫程序用来生产训练模型的数据集 6、使用LoRA微调技术对模型进行微调测试，让机器人的对话与回答达到我们的预期效果 7、接入外部链接使用机器人的功能更加多样化（类如帮我们查询一下信息、天气、航班） 8、将训练好的AI功能，用FastAPI编程为接口与前端进行对接（这里可以是网页，可以是传入到文本转语音上） 9、使用为微软的python包实现文本转语音后，再利用另一个开源的AI应用训练真人音色对语音进行转换 10、对项目进行监控、多线程管理（这个是 放在后端任务上） 该项目是由本人从无到有，全程开发，再到上传至云端，再进行内网穿透实现外网的一个链接展示与测试，当然后续我还负责了 文字转语音 、语音模拟真人音色等AI应用

需要做一个爬取二手房的房源信息数据： 项目由本人独自完成，程序设计到一下功能： 1、爬取指定数据 2、自动存入数据库 3、时时监控整个爬虫程序 4、做反爬虫处理 5、对加密数据进行解密 6、对整个程序从性能上进行优化 技术:使用的是scrapy爬虫框架，对目标链接进行提取符合规则的链接，进行深度爬取，再对页面通过xpath和正则表达式进行解析提取数据，将数据放入itmes提交到管道，再用过管道进行数据的存储与持久化，最后在下载中间件的请求拦截器中设置请求头参数，在响应请求拦截器中加载动态网页信息（seleum）,在请求异常拦截器中，设置代理ip与异常日志监控