大数据开发工程师广州
全职 · 700/日 · 15225/月信用正常
工作时间: 工作日16:00-23:00、周末08:00-23:00工作地点:
远程
服务企业:
30家累计提交:
16工时
联系方式:
********
********
********
查看联系方式
聊一聊个人介绍
大数据开发、数据挖掘、文本处理、爬虫,熟练掌握Hadoop、Python,通过python实现QQ空间、豆瓣、***等众多网站的爬虫,做过多种文本挖掘分析。
通过Python实现图片搜索的。做过几个小型的网站开发。
熟练掌握hdfs、mapreduce、hive、impala、hbase等大数据的相关工具,数量掌握oracle和MySQL,使用redis等。
在大数据方面,搭建和部署大数据平台,从数据收集、数据转换、数据存储、数据分析等。处理游戏数据给审计使用。
项目经验
图片搜索:实现以图搜图的功能。
爬虫:爬取QQ空间、豆瓣、知乎等众多网站的信息。
自动回帖:Python实现在论坛自动回帖的功能
hadoop平台搭建:搭建公司的大数据平台以及维护和升级。
数据分析处理:通过hive和impala以及shell脚本,完成数据的收集、入库、转储等,供审计查看。
数据挖掘:参与微博的预测,预测一条微博在一周内的转发、评论、点赞次数。
另外:彩票网站的自动化购买,基于自己的算法实现一套每期号码杀号预测,精准率87%,有彩票兴趣的欢迎合作。
***ight-shifx工作经历
2014-06-10 -至今明朝互动大数据开发工程师
大数据开发、数据挖掘、文本处理、爬虫,熟练掌握Hadoop、Python,通过python实现QQ空间、豆瓣、***等众多网站的爬虫,做过多种文本挖掘分析。
教育经历
2010-09-01 - 2014-06-01福建工程学院计算机科学与技术本科
励志奖学金 一等奖学金
技能
0
1
2
3
4
5
0
1
2
3
4
5
用户评价
新手任务教练
顺利完成新手任务,接单功能开启,祝好运!