python爬虫
Vue
Unity3D
自然语言处理
爬虫
0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
数据分析师
上海全职 · 300/日 · 6525/月信用正常
工作时间: 工作日08:00-24:00、周末7:00-24:00工作地点:
远程
服务企业:
24家累计提交:
2工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
能够完成以下几项任务：
1.python语言的 Django后端+scrapy爬虫+Excel数据转化+pysql与dataframe数据分析+机器学习与自然语言处理+量化交易
2.C#语言的 unity游戏开发
3.Java语言的 数据开发+数据迁移(Flink+Spark+hive)
4.Vue语言的 前端开发
工作经历
2023-11-30 -2024-06-01杭州炎魂网络科技有限公司数据分析师
取数需求：完成80+临时需求，在superset上搭建20+个看板，最长sql达1500行。提供埋点咨询，帮助业务设计10+活动埋点 数据入仓：构建五大建表规范，将亿级数据从iceberg导入到starrocks，并进行数据校验和分区分桶调整 核心指标告警：编写flink的datastream和tableAPI将kafka数据实时聚合并导入starrocks，对dolphin告警组件进行二次开发以满足飞书运维平台接口格式，并结合pysql计算数据在飞书进行告警 数据质量监控：利用opensearch-py、hive-sql、spark-sql进行湖内数据条数对比，将数据写入追加表，接入飞书进行每日告警 历史数据迁移：编写hive-sql和spark-sql将iceberg的历史旧表亿级数据导入到新表
2023-10-01 -2023-11-30澎贝数科有限公司杭州分公司数据分析师
风控检测：利用SQL收集支付订单数据，构建订单id、设备id、用户id、支付时间、创建时间等基本特征，采用随机森林模型进行训练，基于阿里dataworks在钉钉进行定时告警，准确率达80% 转化漏斗：提出betting相关埋点、在dataworks上进行取数、在quickbi上进行报表制作
教育经历
2024-09-01 - 2026-06-01东华大学金融大数据挖掘与分析硕士
2020-09-01 - 2024-06-01浙江理工大学金融本科
资质认证
技能
作品
运用xpath,requests等对网站https://sc.chinaz.com/jianli/free.html进行简历模板的自动爬取 获取对应模板地址 获取对应模板名称并进行解码 获取对应模板下载地址 永久化存储内容
02021-01-01 22:58
使用selenium进行滑动验证码的拖动 从而达到无需人工自动登录的效果 以下是思路： 鼠标移动到正确的元素，显示没有出现缺口的图片并下载 点击元素显示出有缺口的图片并下载 对比两张图片找出缺口的移动像素 拖动元素
02021-01-01 22:55
