个人介绍
工作经历
2019-06-01 -至今Oriente数据开发工程师
负责实时数据流处理,python实现ETL,celery分布式任务,存储到mysql、mongodb、es等多种存储系统,实时计算风险,计算信用积分
2017-04-01 -2019-06-01岂安科技高级后端工程师
负责互联网安全产品的开发。处理实时大数据流的筛选、计算、存储、分发等。期间独立开发部分项目,包括高并发黑名单服务、通用网关、后端框架工具等
2015-09-01 -2017-04-01上海车煌资产管理后台开发工程师
带领团队开发电商网站、ERP系统、数据仓库等。后端django,前端html、css、jq,数据库mysql,缓存memcache
教育经历
2012-09-01 - 2016-07-01上海理工大学电气工程本科
国家以及上海市计算机等级考试2级c语言 CET-6 奖学金至少6次
技能
票务系统,包含完整机票运价体系、ota以及航司动态运价爬取,ota以及航司下单出票自动化,各指标数据统计、报表。已具备toB出票能力 项目主要由python实现,缓存基于redis,存储mysql,任务调度rabbitmq,日志系统基于ELK,数据统计metrics grafana
项目为终端信息获取、计算、分析平台,通过js、sdk部署到业务代码中,以埋点形式将设备信息上传到服务端,进行一系列计算、分析风险、存储、展示等。 分为私有化和通用化的产品。 1、私有化产品主要为浦发银行以及小型信贷公司提供设备层面的风险分析,达到业务反欺诈的目的。技术架构为:js、android、ios -> ngx-lua -> rabbitmq -> python(计算模块,docker集群)-> mysql、redis -> flask(api、报表等) ? 2、通用化产品包含了用户行为部分,技术架构为:js、android、ios上送 -> nginx落日志 -> python(load ngx 日志,格式化存储到dask,过程类似logstash)-> python计算节点(子节点分别读本机dask数据进行相关设备信息更新、记录统计数据等, 主节点汇总、持久化)-> api