个人介绍
我是程序员客栈的郭小菁,我毕业于北京语言大学,一直在从事java和大数据开发的工作!
担任过上海欣兆阳信息科技有限公司高级大数据开发。
参与过公司客户营销中台和智能广告中台项目的开发。
熟悉的技术栈有:java、scala、spark、flink、kafka、hadoop、hive、hbase、clickhouse、elasticsearch、redis、mongdb、docker、k8s、jenkins、maven、git等
工作经历
2021-07-01 -2023-01-13上海欣兆阳科技有限公司高级大数据开发
负责大数据平台架构设计与搭建 负责数仓建模设计与开发 负责采集平台架构与实现 负责数据清洗平台架构与实现 负责数据可视化平台架构与实现
教育经历
2019-03-01 - 2021-07-01北京语言大学计算机科学与技术本科
技能
项目描述: 随着裁判文书的不断公开,裁判尺度不统一,同案不同判问题日益显著,同时涉诉当事人为保证自身利益,借助较自己更为有利的裁判文书要求法官作为裁判参考进行判决,司法裁判公信力受到一定冲击,全国法院积极推动信息技术与执法办案深度融合,构建一套能够快速、精准查找类案并自动生成报告的类案报告系统十分必要,该系统包括类案检索、检索结果、类案报告、个人中心、系统管理等多个业务功能模块,构建一套能够快速、精准查找类案并自动生成报告的类案大数据检索平台系统,为业务法官扩宽裁判思路、提升裁判能力、增加裁判信心,助力于法律适用统一、裁判尺度统一,实现司法公正。 技术架构:Kafka+Hadoop+SparkSql+SparkGraphX+Hive+HBASE+Mysql+Azakaban+Solr 项目职责: 1、负责裁判文书文本转换裁判文书模型设计开发实施工作 2、负责全量裁判文书模型转换类案模型设计开发实施工作 3、负责增量裁判文书模型转换类案模型设计开发实施工作 4、负责类案报告功能设计开发工作 5、负责类案检索系统索引库初始化设计开发实施工作 6、负责类案检索系统hbase数据库初始化设计开发实施工作 7、负责类案检索系统数仓初始化设计开发实施工作
项目描述: Convertlab Ad Hub是一个数据驱动的广告智能运营平台。以全局视角赋能公域营销,呈现及优化您最关注的广告业务指标。为品牌主量身定做的公域运营平台,从KPI追踪到代理商管理,从全渠道数据接入到重定向与RTA引擎,全面提升运营的效果与效率。为运营人员打造人群的终极闭环:聚合一、二、三方人群数据,实现从沉淀、增值、投放、效果追踪的闭环,人群资产与价值可视化。为创意团队提供有洞察的内容管理中心,为宝贵的创意重新赋予生命力。为决策者定制全域打通的营销洞察,从简单的数据分析结果呈现到智能模型预测,为营销链路设计与优化提供决策依据。领先的合作伙伴生态体系与数百家行业头部客户服务经验,没有人比我们更了解如何将数据资产价值最大化! AD Hub包含洞察(全域通、任务中心、洞察中心、分析中心)、推广(媒体广告、项目管理)、资产(人群管理、媒体线索、素材中心、落地页管理)、监测(广告监测、网页监测、小程序监测)、工具等多个业务功能模块,为客户提供一站式数据采集,数据ETL、数据标签、用户画像、精准投放、数据报表、账号管理等功能。让客户全方位深度了解用户,洞悉他们的消费趋向,进而明确自己的商业目标,帮组企业做出更准确的商业决策。 技术架构:akka+kafka+canal+spark+hdfs+hive+impala+flink+clickhouse+redis+jenkins+kubernetes+gitlab 项目职责: 1、负责实时数据采集平台、离线数据采集平台架构设计开发 2、负责数据实时ETL平台、数据离线分析平台搭建开发 3、负责实时数仓设计搭建 4、负责数据治理平台设计开发,用户标签、用户画像模块设计开发 5、负责数据可视化平台,各指标分析、数据看板模块开发 6、负责产品poc相关工作开发
项目描述: 越来越多的企业在开展营销工作中面临着以下问题。活动上线准备工作繁琐,有效时间内可运营活动有限;难以精准筛选培养优质用户,会员粉丝数量增长缓慢;跨部门协作支持劳神费力,想要提升产出效率但有心无力;缺少大规模沟通策略执行辅助,业绩无法见到显著增长等。若此时能借助强大的自动化营销工具,您的营销活动更具创意性,营销团队的工作更加便捷,部门间的协作也会变得更紧密无间,当然您的业务表现也会大幅增长!DM Hub就是这么一款业务增长之路上必不可少的好搭档! DM Hub包含用户管理、群组管理、会员管理、*营销、素材管理、企微、短信营销、微页面设计、表单设计、营销活动管理、用户旅程设计器、数据看板、监测分析、数据权限、开放平台等模块。强大的产品覆盖版图背后,是最初对产品底层架构的缜密设计,应对复杂多变的市场环境,更可通过开放平台快速响应,实现产品能力拓展。 DM Hub具有超强的性能,每秒千万级实时数据处理能力,面对海量数据任务轻松驾驭,让大规模触达不再限速,实时捕获用户行为,创建高时效性的营销触达,让您牢牢把握每一个商机。 技术架构: grails+akka+kafka+spark+flink+hadoop+hive+hbase+impala+kudu+redis+mongodb+mysql+elasticsearch+beats+kibana+jenkins+kubernetes+docker+gitlab 项目职责: 1、负责实时数据采集和批量数据采集平台架构设计开发 2、负责数据治理平台开发,智能标签、用户画像数据仓库设计开发 3、负责数据可视化平台开发,各种指标分析、数据看板模块开发 4、负责数据实时ETL平台、数据离线分析平台设计开发 5、参与自动流项目的开发 6、负责微页面链接转短链功能设计开发