0
1
2
3
4
5
0
1
2
3
4
5
1月前来过
大数据架构师
北京全职 · 1200/日 · 26100/月信用正常
工作时间: 周末09:00-22:00工作地点:
北京远程
服务企业:
0家累计提交:
0工时
联系方式:
********
********
********
****************
查看联系方式
个人介绍
5年大数据架构师，17年开发经验
17年开发、架构经验，涉及企业服务、CDN、教育、大数据、互联网金融、广告行业。
擅长解决实际中的问题，规划大数据架构，服务端架构。
从0开始搭建大数据集群；创新性地解决公司长期存在的效率问题；
跨团队的方案沟通，项目协调；
擅长java，scala，python等语言；
熟练使用大数据一揽子工具（spark，hadoop，flink，kafka，flume……）；
工作经历
2021-06-20 -至今中译语通大数据架构师
中译语通科技股份有限公司（中文简称“中译语通”，英文全称Global Tone Communication Technology Co. Ltd.，英文简称GTCOM）是一家大数据和人工智能高科技公司。在机器翻译、跨语言大数据、产业链科技、科研数据分析、数字城市和工业互联网等领域拥有自主研发的先进系统平台，能够为全球企业级用户提供全方位的大数据与人工智能场景化应用解决方案
2020-07-22 -2021-01-24微方程大数据架构师
公司主营在线广告业务，居于广告主和广告平台之间，公司开发DSP，SSP平台分别对接广告主和广告平台，接入了腾讯、百度、头条等大的广告平台，日请求量数百亿。
2020-01-01 -2020-07-01欧科集团风控业务leader
欧科集团成立于2013年， 主要从事区块链技术的研发与商用，是全球化的大型区块链技术与服务提供商。 是区块链产业集团OK集团旗下品牌；总部设在中国北京，在美国、欧洲、韩国、日本等 10 余个国家和地区设有分公司或办公室。 其推出了业内区块链大数据平台OKCoin
2017-11-01 -2019-12-31凡普金科大数据架构师
凡普金科作为金融科技集团，专注于大数据处理和金融科技研发，为普通人提供更高效的智能金融服务解决方案，用科技缩短人和金融服务的距离，促进金融服务平等化，努力践行普惠金融。凡普金科以“让金融有温度”为愿景，秉持“数据驱动业务、技术改变金融”的理念，持续致力于实现“让每个人都享有简单、公平的互联网金融服务”的使命，为有理财社交、投资等需求的普通人提供互联网金融信息服务。凡普金科拥有爱钱进、钱站、会牛、两个狒狒等品牌
2005-03-01 -2017-10-25学堂在线等架构师
多个公司合并展示。 2005.3-2009.12 华晨阳 主要客户为运营商（电信联通移动铁通），开发运营商网络元件监控服务。 2010.12-2013.6 赛维安迅 互联网视频CDN提供商，为当时较大的视频CDN，为土豆、爱奇艺、搜狐视频、腾讯视频等提供VSDN服务。 2013.6-2014.10 搜狐畅游 游戏公司，开发端游、页游、手游，游戏平台，手游联运平台 2014.10-2017.10 学堂在线 在线教育公司，主要面向大学、军队提供MOOC（慕课）服务。
教育经历
2001-09-01 - 2005-06-01北京化工大学电子信息科学与技术本科
教育经历怎么用文字说明？教育经历怎么用文字说明？教育经历怎么用文字说明？教育经历怎么用文字说明？
资质认证
技能
作品
项目描述: 数据中心整体从北京某机房，迁移到河北电信某机房。 由本人主导，工作涉及 1. 项目架构重新设计，包含数据接入（重新架构设计）、数据治理（重新架构设计）、数据服务（新 添加子系统）、算法服务（新添加子系统） 2. 数据迁移 1000亿数据 3. 服务器规格重新设计 项目职责: 负责中译语通大数据中心整体迁移过程。包含， 1. 迁移后服务器规格制定（计算、存储、算法等类型服务器） 2. 迁移过程梳理，迁移方案制定 项目业绩: 从200+台服务器，减少到140台服务器，减少服务器数量，节省成本。 迁移过程也是数据中心整体升级过程，可管理能力提升。附带效率提升、减少数据冗余，简化整体架 构。解耦各功能模块，梳理各模块功能
02023-04-17 11:54
项目描述: 数据平台同时存在Hive, SparkThriftServer, Impala等几种数据查询服务. 并且没有权限验证 功能. 开发本项目是为了解决 1. 统一入口+权限认证 2. SQL记录和分析 3. 队列自动选择 2018/09-2019/12 2019/04-2019/05代理实现了hive的thrift server, 客户端使用datagrip(使用hive jdbc)或者hive jdbc、python hive clien t等可以方便连接到查询代理, 执行sql语句. 代理首先认证用户(使用公司统一认证中心), 在用户提交SQL时, 分析SQL使用到的表、视图, 然后查询 用户是否拥有读权限. 没有权限的用户请求会被拒绝执行.权限检查通过的SQL会交由后端的hive, sts或 者impala执行. 后端hive, sts或impala都是多实例部署, 一开始采用随机选择后端服务策略, 计划实现根据SQL来选择 不同后端的策略(快慢、优先级等) 用户执行的SQL都会保存下来, 进行批量分析, 找到其中的问题, 对用户提出优化建议.还可以辅助找到对 常用的表, 进行优化, 加快执行速度. 使用技术 scala thrift mysql nginx 项目职责: 架构、开发、辅助分析 项目业绩: 每天执行数万条SQL, 辅助找到使用量占80%的表, 提供优化策略
02023-04-17 11:58
项目描述: 最大的作用是加快了指标的上线速度, 避免SQL到其他语言的转换. 系统功能可以认为是实时用户标签系统。 模型分析师(MA)和数据分析师(DA)开发的用户指标（用户标签）计算逻辑使用sql来表示。这些指标被 风控模型用来给借款人实时打分。通过打分来决定借款人的额度，利率，风险等。 项目上线之前, MA、DA的SQL指标, 需要经历 SQL-＞wiki文字-＞开发-＞数据核对-＞上线 的过程, 一般需要几个星期. 项目上线之后, SQL可以直接上线, 只需10分钟左右. 使用技术 spark, scala, redis, hbase, mysql, flume, hive 项目职责: 架构、开发、部署、维护 项目业绩: 每天计算指标数量大概9000万次 SQL上线速度由数周缩减到10分钟 加快了模型上线速度，有效降低借贷风险。
02023-04-17 12:00
