大数据挖掘工程师武汉
全职 · 300/日 · 6525/月信用正常
工作时间: 工作日20:00-24:00、周末08:30-18:30工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
查看联系方式
聊一聊工作经历
2020-12-25 -至今海兰信大数据挖掘工程师
主要从事机器学习、神经网络模型训练,并将模型嵌入至大数据模型,以及大数据相关开发工作
教育经历
2018-09-01 - 2020-07-01俄罗斯国立航天航空大学数据挖掘硕士
技能
深度学习
机器学习
自然语言处理
Apache
Spark
0
1
2
3
4
5
0
1
2
3
4
5
作品
1.数据提取 从hive中提取AIS船只一周轨迹数据 2.数据预处理 提取AIS数据中的经纬度数据,考虑到每个船只在一周内行驶范围不一样,调惨时针对每个船只的超参数差别较大,于是使用0-1归一化将经纬度都缩减至0到1的范围,既可解决超参数问题,也可以加速算法收敛。 3.轨迹点聚类 使用DBSCAN算法对轨迹点进行密度聚类,将指定半径内密度不达到要求的数据点标记为异常点。 4.正常簇筛选 可能会出现如下情况:船只可能大部分时间在正常轨迹上,只有一天时间在异常轨迹,但异常轨迹的轨迹点密度较大,如绕圈行为,此时异常轨迹密度达到了正常轨迹,会将此类判断为正常轨迹。对于此类情况,计算聚类后每个正常簇的持续天数,将持续天数小于整体轨迹持续天数三分之一的标记为异常轨迹。 5.异常轨迹筛选 由于DBSCAN算法标记为异常点的数据不是一个簇,可能为分布在不同地方的异常点,这些异常点可能为正常轨迹的末端,即被误判为异常点,对于这类情况,对这些异常点再进行一次DBSCAN聚类,并计算每个簇的持续时长,将持续时长满足条件的异常点标记为正常点
0
2023-03-29 11:58