个人介绍
1、熟悉 hadoop 体系架构 如 HDFS MapReduce Yarn Hbase Flume Spark
2、掌握 python、Java、Scala 等编程语言
3、熟悉 Mysql、NoSql的 Hbase 数据仓库
4、熟悉使用 linux、ETL 技术
5、了解使用 Python的 scrapy 框架编写程序挖掘网络数据
6、了解并自学过 css html js 等一些 web 技术知识
7、掌握人工智能的机器学习和深度学习等知识
工作经历
2023-01-29 -2023-02-20东莞市兴塑料制品有限公司普通员工
主要负责公司的塑料压制产品、包装、发货等等一些工作 制作了公司的招聘传单等等工作
教育经历
2020-09-09 - 2024-06-07东莞理工学院城市学院计算机科学与技术本科
在校完成的项目: 1-爬取百度贴吧图片以及标题和作者;通过输入关键字来爬取自己所需的图片。 2-爬取虎牙网站的直播信息(主播名字、直播类型、直播人气等)并且将该信息保存到mysql数据库;使用slelnium的webdriver来访问网站及使用click()对网页翻页、爬取信
技能
通过python爬虫获取梨视频网页的视频 首先设置任意随机的请求头、通过request函数的get方法向网页发送请求、其次返回一个对象使用text进行获取网页全部内容、再通过etree.html()来对网页进行解析,最后xpath函数通过网页的视频的节点获取视频
通过python的request库来获取top250网页的电影信息 首先确定网页的网站、通过request请求向网页发送请求、可能会遇到网页的反爬虫,需要设置多个请求头 使用random函数来获取每次请求头不一样任意选取不同请求头、然后返回来一个对象,使用text来获取内容/etree.html来解析网页内容、最后xpath函数来获取数据