个人介绍
熟练掌握python爬虫,Scrapy框架,Flask框架,前端及数据库,开发文档撰写等,了解机器学习,熟悉transformer框架;
曾做过招聘数据爬取与数据挖掘,可视化分析;
微博数据爬取与分析;
如果我能帮上您的忙,请点击“立即预约”或“发布需求”!
工作经历
2020-11-01 -2021-04-05山东悦动字节教育科技有限公司前端工程师
山东悦动字节教育科技有限公司,成立于2020年,位于山东省济南市,是一家以从事教育为主的企业。我主要从事技术培训。
教育经历
2019-09-01 - 2023-06-30山东师范大学计算机科学与技术本科
技能
项目描述 该项目基于PySide2和PyQt5设计界面UI,搭配QT Designer进行界面设计。 基于TensorFlow中的Keras模型,进行垃圾分类模型的训练。 项目包含功能有:使用者注册登录功能、管理员训练模型、用户使用模型进行分类。 功能介绍 一、注册登录 1、注册登录使用SQLite数据库进行账号数据的存储,注册过程中选择使用者性质(管理员 or 用户)作为后续系统登录的区分。主要存储的数据有用户名、密码以及用户性质,其中用户名作为主键,唯一标识。 2、注册过程填写用户名、密码、确认密码、选择用户性质后点击注册按钮,若注册成功则注册按钮下方出现“注册成功”的提示字样。 二、登录功能 在登录界面输入用户名与密码,系统搜索数据库中账号信息,根据用户标识选择进入相应的使用系统界面(管理员系统 or 用户系统)。 三、管理员系统功能 1、管理员的功能主要有打开摄像头,添加训练集(背景图片和要训练的垃圾图片),关闭摄像头,进行模型训练,模型训练结果呈现。 2、摄像头的打开与关闭主要通过注册一个定时器来进行控制,采集图像的原则一般是每个垃圾采集不同角度的15~30张图片。 3、模型训练过程采用监督学习方式,即将采集到的训练集打上标签,在进行训练,得到的训练模型保存在tmp本地文件夹下,以当前训练时间命名。 4、训练模型时的每一轮结果在控制台打印,而在UI界面呈现最终的训练时间。 四、用户系统功能 1、文字搜索:用户使用输入框输入需要确认的垃圾分类情况,点击搜索按钮,结果显示区域将会呈现搜索结果,如无搜索结果,则提示使用图像识别垃圾分类。 2、图像搜索:首先打开摄像头,点击选择模型按钮,将训练好的模型上传,点击运行检测按钮,进行垃圾分类的图像识别。图像识别的结果在左侧检测结果区域呈现(包括检测结果和确认度)。 3、语音播报:在文字搜索呈现搜索结果时,具有语音播报,将搜索结果以声音的方式呈现出来。
一、项目介绍 1、爬取豆瓣读书榜单数据,数据包含:排名、图书名、图书链接、封面链接、作者/译者、出版社、出版时间、图书售价、评分、评价人数、简要介绍,这11个数据。 2、将爬取的数据保存到sqlite数据库中。 3、可视化爬取的数据。 二、项目实现 1、爬取实现:test01.py实现爬取数据并保存到sqlite数据库,通过beautifulsoup4实现解析网页,通过re正则表达式提取网页数据,编写sql语句创建sqlite数据库,并将数据保存到该数据库中。 2、运行test01.py生成book.db数据库以及豆瓣读书Top250.xls数据表。 3、templates文件夹下包含几个html文件,static文件夹中包含前面所述网页的样式及内容图片、图标。 4、app.py是网页页面服务的实现,book_worcloud.py实现词云的生成。 5、页面的实现应用了Flask框架、Echarts图表、wordcloud词云等。