系统架构
0
1
2
3
4
5
1月前来过
大数据架构师
佛山全职 · 2000/日 · 43500/月信用正常
工作时间: 工作日9:00-21:00、周末8:00-21:00工作地点:
远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
1.10年以上企业大数据平台架构,AI平台开发及数据分析工作经验, 熟悉CDH, HDFS, Hive, Impala, Kudu, Kafka, Spark, Redis, SQL Server, Oracle, GP, Power BI, Tableau, FineBI, Echarts, SSIS, Kettle, DataX, Doris,Starrocks,Airflow, VSTO, VBA, JS, VUE, ElementUI, HTML, Python, Scala ....
2.对ETL数据建模, 数据治理,大数据服务平台开发,AI平台,AI大模型应用,开源大模型,向量数据库,企业数字化转型有丰富的实践经验, 熟悉大数据分析架构及相应的框架, 能熟练进行开发并优化
3.熟悉6sigma 数据统计分析及可靠性数据分析理论, 可为企业完成大数据仓库的搭建及数据分析服务, 有制造供应链及质量业务实践工作背景，熟悉电商/销售/财务/质量/制造等数据分析业务。熟悉erp,mes,plm,dms,wms,sfa,srm,crm,scrm等业务系统
4.有全栈开发能力, 优秀的自我学习能力, 独立开发多个数据产品，数据平台, AI产品, 数据分析工具等，个人业余项目SmartChart低代码开发平台开源创建与维护,目前Gitee标星达3K+
6.做为认证讲师, 开发课程: 高效数据分析,Scala 程序设计, Python 程序设计, 企业大数据湖
7.有自研全场景应用数据中台产品，采用领先的现代技术栈，在多个大型企业落地应用，长期稳定运行
2.对ETL数据建模, 数据治理,大数据服务平台开发,AI平台,AI大模型应用,开源大模型,向量数据库,企业数字化转型有丰富的实践经验, 熟悉大数据分析架构及相应的框架, 能熟练进行开发并优化
3.熟悉6sigma 数据统计分析及可靠性数据分析理论, 可为企业完成大数据仓库的搭建及数据分析服务, 有制造供应链及质量业务实践工作背景，熟悉电商/销售/财务/质量/制造等数据分析业务。熟悉erp,mes,plm,dms,wms,sfa,srm,crm,scrm等业务系统
4.有全栈开发能力, 优秀的自我学习能力, 独立开发多个数据产品，数据平台, AI产品, 数据分析工具等，个人业余项目SmartChart低代码开发平台开源创建与维护,目前Gitee标星达3K+
6.做为认证讲师, 开发课程: 高效数据分析,Scala 程序设计, Python 程序设计, 企业大数据湖
7.有自研全场景应用数据中台产品，采用领先的现代技术栈，在多个大型企业落地应用，长期稳定运行
工作经历
2022-04-01 -2023-12-01碧桂园数字化专家
数据平台及AI平台负责人 一.数据平台项目 1. 完成碧桂园物业数据平台建设0-1 2. 完成零洞公司数据平台建设0-1 3. 指导团队针对物业企微会话及运营分析项目的数据开发,可视化开发及数据治理 4. 支持车场, 人脸, 手机摇一摇等iot数据, 公安数据等，公司数字化运营, 园区SAAS数据服务需求等 5.完成智慧园区数据平台架构设计及开发 二.AI项目 1. 完成打标平台开发, 赋能ASR/NLP打标 2. 完成语音采集平台开发, 赋能ASR/TTS 3. 完成ASR流式服务开发/部署方案设计及验证 4.引入chatgpt应用[AI助手，数据平台应用实现自动SQL生成(目前准确度达90%)] 5.大模型框架重构, 架构设计及开发(实现论文生成导出, 知识库, 聊天管理等) 6.自研向量数据库，解决行业内低成本应用。
2017-04-01 -2022-04-01欧普照明大数据架构师
主要业绩: - 从0完成大数据平台及数据团队的搭建与大数据分析解决方案, 大数据建模架构，数据治理的落地 - 完成工厂信息化管理, 从进料到出货, 及外协供应商管理系统的开发 - 行业首创利用光色电数据分析设计混bin方案解决led色差问题 - 完成电商大数据, 智慧财务, 质量大数据, 采购大数据, 研发大数据,制造工厂供应链等领域首次落地, 使用Kettle/Hive/Impala/Python进行ETL及数据建模开发, 使用PowerBI/Tableau/ Echart进行可视化分析. 引导业务, 实现数据驱动决策，打造智慧财务体系，并与业务沟通对现有数据体系进行完善与体验增强，完成智慧预警，智慧分析，智慧合账等; 上线电商双十一数据作战指挥室, 并完成电商产品, 品类, 计划, 渠道, 物流, 网销 6大运营分析主题。 - 设计规划并完成开发大数据调度平台,大数据可视化管理与智慧报表开发平台, 大数据元数据, 数据血缘, 数据资产管理平台, 大数据服务平台(Portal) - 配合集团数字化转型战略，设计全新技术架构，云架构设计，国产BI评估与引入，流批一体化设计，支持数据运营
教育经历
2001-09-01 - 2005-09-01湖南大学软件工程本科
专业前三名，高级程序员水平证书，开创二手网
技能
作品
2019年随着大数据业务量的增加, 预见我们的Airflow调度管理已无法满足 : a. 每个业务处理流程代码都需要使用独立的Python脚本, 这对于不会Python的开发人员非常难以使用, 部署维护都是采用修改脚本, 管理也是问题 b. 开发人员大部分job是在kettle上完成, 这样在调度系统中只能看到一个job, 无法做到精细化管理, 对于job内部的处理过程无法触及, 一旦任务失败, 整个job需重新运行, 随着任务数量的增加, 数据延迟和异常频繁 c. 多开发人员需求, 开发权限这些问题越来越凸现起来 d. 业务需求多变, 比如DAG之间需要有依赖等等, 需要高可扩展性 Airflow已是Apache顶级项目, 考虑到前后兼容性, 我们需要基于Airflow进行二次开发一个适合公司业务的任务管理系统
02024-06-09 20:29
数据可视化,大屏,移动报表,数据中台,WEB应用的微代码开发平台 简单, 敏捷, 高效, 通用化, 高度可定制化, 让你的项目瞬间档次提升 完全真正打通前后端, 支持图形数据联动,筛选,钻取, 支持几乎常见的所有数据库 积木式拖拽开发模式, 开箱即用, 安装简单, 依赖少, 适应各种平台 支持中国式报表类EXCEL开发, 支持3D场景大屏 内存加速技术, 让你的数据快人一步, 大幅减少数据库压力 真所见即所得的拖拽开发模式, 且无需在画布上设计 支持数据填报设计,数据下载,前端埋点,问卷开发 数据集即服务, 采用低代码快速实现数据服务API开发 支持仪表盘备份恢复快照等, 满足企业级的版本控制开发上线流程要求 支持用户/组功能权限控制,支持行级别/字段级别数据权限控制 支持Django插件方式应用,可无限扩展,打造你专属的个性化应用 支持在Jupyter notebook中的数据开发方式应用 支持集成chatGPT, 文心一言, 迅飞星火等大模型AI生成
02024-06-09 20:24
碧桂园服务2022年上线企业*项目，预计每年产生超十亿数量级的企微会话、关联认证、用户行为等数据，需求搭建碧桂园服务数据中台进行大数据量的存储和计算，以及可视化平台进行报表、看板、大屏的开发展示, 通过搭建专业的大数据平台，灵活高效开发客户认证关联报表、客户运营数据看板、舆情监控看板等数据可视化需求，以达到业务可视可控，降本提效的目的. 另外基于管家与客户的企微会话数据，结合NLP算法，进行工单自动生成、用户情感分析、用户打标、风险预警等应用.
02024-06-09 20:12
