个人介绍
我是程序员客栈的【陈舒婷】,一名【python工程师】; 我毕业于【肇庆学院】,担任过【广州欧博化妆品有限公司】的【python爬虫】,担任过【北京数聚智连科技股份有限公司】的【Python大数据师】; 负责过【web端和小程序爬虫】,【自动化测试】,【图像处理】; 如果我能帮上您的忙,请点击“立即预约”或“发布需求”!
工作经历
2022-07-31 -2023-08-24北京数聚智连科技股份有限公司数据分析师
使用Python、Numpy、Pandas和Matplotlib与seaborn包进行可视化分析,意在挖掘出母婴产品消费的具体目标群体与行为,为销售方做数据支撑,更好的针对客户群体进行优化推荐。 使用Crawlspider、Selenium、Xpath、Pyqt5、Javascript等框架在千年商家工作台实现自动化处理,如后台文件的上传下载,推广后台推广图片按类别定时上传与删除 使用Requests、BeautifulSoup、逆向爬虫思维,爬取千年工作台web端每个渠道中每个计划正在推广中商品数据,展示视觉,并做数据处理和可视化演示,旨在实时检测每档活动的商品流量投放和销售情况 使用Sklearn、Scipy、Scikit-Learn、TensorFlow 机器算法框架,预测广告点击转化率和用户购买行为,旨在预测销售情况、进行用户画像 工作总结:在项目分析过程中,我学会了有效地制定数据分析方案,并将其分解成可操作的任务。我学会了灵活运用各种数据分析工具,例如Python和SQL,在数据处理和建模过程中更加得心应手。我还学会了将复杂的数据结果转化为简洁明了的报告,以便决策者
2021-07-15 -2022-07-15广州欧博化妆品有限公司 Python爬虫
python 定时分布式爬取公司管理后台数据并储存在 mysql 中,旨在在外网的前提下也能做检测数据 python 多线程爬取淘宝、京东、阿里自家店铺的商品信息数据,包括名称、价格、描述、评分等,并保存 在 mongodb,旨在了解市场需求、产品趋势 python 数据挖掘与分析,将抓取到的大量商品数据需要进行进一步的分析和挖掘。利用 Pyhon 的数据分 析库和机器学习算法,可以对电商数据进行深入分析,从中挖掘出有价值的信息和规律 python 自动化办公,编写自动化批量处理销售数据并统计分析,定时发布业绩结果的脚本 使用 python Flask 编写一个最简单的后端接口,旨在在局域网内共享数据分析报告
教育经历
2017-09-01 - 2021-07-15肇庆学院应用统计学本科
喜欢编程,热爱编程
技能
项目一:爬取豆瓣电影数据 主要是爬取豆瓣电影的数据,包括电影名称、导演、演员、评分等信息。我使用了Python 的 requests 库和 BeautifulSoup 库来实现数据的获取和解析,并将数据保存到了本地的 Excel 文件中。通过这个项目,我学会了如何使用 Python 爬虫来获取数据,并对数据进行简单的处理和分析 项目二:爬取新浪新闻数据 主要是爬取新浪新闻的数据,包括新闻标题、发布时间、正文内容等信息。我使用了Python的Scrapy 框架米实现数据的获取利解析,并将数据保存到了MongoDB数据库中。通过这个项目,我学会了如何使用 Scrapy 框架来进行爬虫开发,并对数据进行存储和管理 项目三:爬取淘宝商品数据 主要是爬取淘宝商品的数据,包括商品名称、价格、销量等信息。我使用了 Python 的Selenium 库来模拟浏览器操作,并使用 XPath 来解析页面数据。通过这个项日,我学会了如何使用 Selenium 库来进行模拟操作,并对数据进行解析和处理
项目一:爬取中国五矿集团有限公司采购信息 --- 请求参数加密 实现步骤:发送public和logonAction.do请求 从后台获取公钥key和cookie, ,用公钥加密参数作为密文载荷,可以根据url进行全局搜索,进行断点调试,破解sign参数,通过webpack分析加密逻辑,通过这个项目,我学会了如何使用 Python+js联动爬取由weapack打包的sign签名加密案例网站 项目二:爬取采招网超标查询平台的招标信息 -----响应数据解密 实现步骤:发送GetSearchProHandler.ashx网络请求,利用抓包工具分析网页请求头或者请求参数并没有加密,反而回来的数据是加密后的,由于一般的响应数据加密是对称加密的,利用排除法,于是通过全局搜索decrypt关键字,在返回的js源文件中通过调试,发现了加密和加密的位置,通过本地CryptoJS.AES测试,发现正式标准的AES对称加密方法,可以使用 Python+js联动对请求后加密的响应数据进行解密