proginn1613538475
2天前在线
全职 · 300/日  ·  6525/月
工作时间: 工作日14:00-18:00、周末08:30-18:00工作地点: 远程
服务企业: 0家累计提交: 0工时
联系方式:
********
********
********
聊一聊

使用APP扫码聊一聊

个人介绍

我是刘刚。毕业于太原师范学院物联网工程专业。

曾工作于杭州端点科技有限公司,负责网络爬取数据,以及sql数据分析工作。

因此熟悉python爬虫、sql语句,java编程等等技术。

工作经历

  • 2023-07-01 -2024-11-20杭州端点科技爬虫工程师

    主要负责大数据仓库搭建中的数据采集模块。比如flmue、sqoop等采集工具去采集日志文件和mysql数据数据,以及使用python进行网络爬取相关数据。

教育经历

  • 2016-09-01 - 2020-07-01太原师范学院物联网本科

技能

0
1
2
3
4
5
0
1
2
3
4
5
作品
电商数据仓库

通过flume和sqoop数据采集工具,采集文件日志中的用户行为数据和数据库中的数据到hdfs 文件系统。然后到基于hdfs文件系统构 建外部分区表,建立总体的数据仓库框架。数据仓库 ods层直接保存原始数据,dwd层对数据进行一些预处理,dws层保存一些中间 层数据用于 app层数据调用。在数据仓库上完成相关指标统计,例如新增用户统计,用户流失统计,操作系统活跃性,商品指标信息 的相关指标。

0
2024-11-20 17:29
更新于: 2天前 浏览: 6