个人介绍
熟练掌握 python 基本爬虫知识;
⚫ 熟悉基本的机器学习算法;
⚫ 熟悉基本的数据挖掘流程、熟练掌握 SPSS Statistics、SPSS Modeler、Excel
等数据分析工具;
⚫ 熟悉 Hadoop 框架;
⚫ 熟悉 Linux 系统;
⚫ 具备良好的编码习惯、文档规范和开发规范,较好的质量意识;
⚫ 学习能力强,对技术有钻研精神,较强团队意识及工作协同能力;
⚫ 大一曾获 2022 年数维杯大学生数学建模竞赛三等奖;
工作经历
2023-09-20 -2024-02-01上海辂海供应链科技有限公司爬虫开发
在上海辂海供应链科技有限公司的实习期间,我主要负责初级爬虫开发,运用了Python的requests和bs4等模块,同时使用多线程技术,以及在Linux环境下运用curl命令等技术。我的主要任务之一是通过爬虫技术获取充电桩数据,确保及时准确地收集相关信息。此外,我还负责爬取汽车网站上的照片和相关数据,以满足公司对汽车信息的需求。在这个过程中,我不仅仔细研究了BeautifulSoup库用于HTML解析,还优化了爬虫算法,以确保高效且稳定地从各种网站中提取所需的数据。我的工作经验使我对爬虫开发和数据采集有了深入的了解,并培养了解决实际问题的能力。
教育经历
2021-09-01 - 四川农业大学信息与计算科学本科
数学建模中荣获三等奖,且必修课程成绩在年级前百分之三十。通过实习经历,我积累了实际项目经验,参与了小项目的开发。我的学术和实践经历使我对问题的解决有了深刻的理解,同时培养了团队协作和解决实际挑战的能力。期待能够在更多领域深化自己的技能,为未来的发展打下
技能
我具备熟练使用MapReduce的技能,能够在大规模数据处理中高效地实施分布式计算。在我的实践中,我成功应用MapReduce框架解决了数据处理和分析的挑战,有效提高了数据处理速度和性能。我深入理解MapReduce的原理和机制,能够设计和优化复杂的分布式算法,以满足不同场景下的需求。 在先前的项目中,我利用MapReduce成功处理了大量数据,实现了并行计算和分布式存储,提高了整体处理效率。我的经验涵盖了数据清洗、分析和结果汇总等多个方面,为团队提供了可靠的数据支持。 我的MapReduce技能不仅仅限于理论层面,还包括实际应用和问题排查。这些经验使我在大数据领域具备了强大的数据处理和分析能力,为团队的数据驱动决策提供了坚实的基础。
为前端写一个接口,输入查询内容自动获取网站数据、照片运用了Python的requests和bs4等模块,熟练使用pysql,在这个过程中,我不仅仔细研究了BeautifulSoup库用于HTML解析,还优化了爬虫算法,以确保高效且稳定地从各种网站中提取所需的数据。我的工作经验使我对爬虫开发和数据采集有了深入的了解,并培养了解决实际问题的能力。。