0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
大数据开发
南京全职 · 700/日 · 15225/月信用正常
工作时间: 工作日20:00-23:00、周末09:00-21:00工作地点:
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
你好，我是一位经验丰富的大数据开发人员，精通利用先进技术从庞大数据集中获取可操作的洞见。在这个领域已有8年的工作经验，我专注于设计、实施和优化跨多个行业的大规模数据管道和分析解决方案。
我的专业知识涵盖了整个数据生命周期，从数据摄取和存储到处理和可视化，利用了Hadoop、Spark、Kafka和HBase等技术。我擅长将业务需求转化为可扩展的解决方案，推动实实在在的价值，与利益相关者密切合作，确保对齐并超越预期。
除了技术能力，我致力于紧跟行业趋势，积极参与论坛、参加会议，并为开源项目做出贡献。我热衷于解决复杂问题，并提供能够产生影响的创新解决方案。
工作经历
2018-05-01 -2022-07-01pp money大数据开发
主要从事金融贷款相关 用户的借款, 还款, 逾期, 欺诈等相关的数据开发和分析,以及相关的数仓搭建 ,同事负责一些业务系统开发, 报表系统开发等
2016-10-01 -2018-04-13weshare大数据开发
主要从事金融贷款相关 用户的借款, 还款, 逾期, 欺诈等相关的数据开发和分析,以及相关的数仓搭建
教育经历
2012-09-01 - 2016-06-08重庆大学计算机科学与技术本科
资质认证
技能
作品
一个分布式易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 DolphinScheduler 的主要特性如下： 易于部署，提供四种部署方式，包括Standalone、Cluster、Docker和Kubernetes 易于使用，可以通过四种方式创建和管理工作流，包括Web UI、Python SDK、Yaml文件和Open API 高可靠高可用，多主多从的去中心化架构，原生支持横向扩展 高性能，性能比其他编排平台快N倍，每天可支持千万级任务 Cloud Native，DolphinScheduler支持编排多云/数据中心工作流，支持自定义任务类型 对工作流和工作流实例（包括任务）进行版本控制 工作流和任务的多种状态控制，支持随时暂停/停止/恢复它们 多租户支持 其他如回填支持（Web UI 原生），包括项目、资源和数据源的权限控制 我主要参与部分插件开发和bug修改
02024-04-09 16:42
功能模块： 标签创建与管理：提供创建、编辑和删除标签的功能，包括标签的名称、描述和关联属性。 画像的创建与管理：提供创建、编辑和删除画像的功能，包括画像的名称、描述和逻辑等。 用户圈选：用户可以在系统中圈选特定人群，基于其属性或关联标签进行定位。 数据统计与分析：提供对圈选结果的数据统计。 我主要负责整体设计和技术栈的选型 标签创建与管理：采用数据库（如Mysql）存储标签信息，并使用后端服务处理标签的增删改查操作。 标签搜索与筛选：利用全文搜索引擎（如Starrocks）实现快速的标签搜索功能，并结合前端界面实现用户友好的筛选体验。 用户圈选：通过前端界面交互和后端逻辑实现用户圈选功能，包括选择标签、定义圈选条件等。 数据统计：标签数据的清洗开发。 最终成果：成功实现了一个标签平台，用户可以、管理和搜索标签，进行人群圈选，并对圈选结果进行数据统计和分析，为用户提供了有效的人群定位和分析工具。
02024-04-09 15:36
