个人介绍
我是唐炳,2012 年毕业于重庆科技学院、2016 年毕业于重庆大学。十分荣幸有机会向您展示我的简历。
工作后先后从事 oracle 数据库、华为 mppdb 分布式数据库开发、hadoop 开发、云平台搭建及数据开发,先后在保险公司、银行、交通领域等项目上完成相关项目主导及开发。
1、熟悉postgresql、gp、华为 mppdb、hdfs、 hive、spark、hbase、shell 编程、阿里云大数据治理平台开发等。
2、oracle数据库管理、AWR 性能报告分析、数据库优化、PL/SQL 编程、开窗函数、shell 编程、华为 mppdb 分布式数据库开发
3、熟悉hadoop,datax,kafka等大数据相关技术
4、了解并使用过帆软相关报表工具
5、另外对机器学习有着较浓的兴趣,学习掌握了:线性回归、逻辑回归、聚类算法、决策树算法、神经网络基本原理和在数据分析和数据挖掘方面的案例demo
6、对企业数据治理有比较丰富的经验和方法论:数据治理管理、元数据管理、主数据管理、数
据安全、数据隐私等有着实际应用经验
7、对工作积极、肯吃苦、团队协作好、带领团队完成企业云平台中台搭建及业务开发
工作经历
2021-08-30 -至今中软国际高级工程师
项目1: 重庆公交数据中台:利用华为云 mrs服务搭建的数据中台,etl 全流程技术实现、模型设计:从卸数到推数及数据通过 sqoop 入 hive 平台,hive数仓中的数据分层设计、数据分析、最后把报表应用层数据推送至 mysql 供前端展现。 近期项目:根据公交车辆历史客流、 gps 进出站等业务数据、实现车辆智能排班,我主要负责基础数据采集、云内分层设计、数据加工整合,数据指标算法实现、负责客流 od 和 gps 进出站主题模型设计、建立智能排班应用专题集市。结果数据推送至 mysql 供应用系统使用 项目2: 重庆开投集团指挥中心数据中台:项目运用阿里云产品,搭建全流程 etl 加工及对外服务,主要负责产品流程技术拉通及外部数据上云方案选型、云内模型设计、从数据采集(实时+离线)、 清洗、加工。流数据写入 datahub 供实时计算平台 StreamCompute 实时计算、离线数据接入 dataworks 利用 maxcomputer 分布式计算入各层、通过 api 对外提供服务。 数据上云后为客户提供数据治理流程和方法: 1:制定明确的数据治理目标和战略,明确数据治理
2018-12-01 -2021-08-30文思海辉高级工程师
公司主要做金融项目:银行、证券供应商,提供数据治理解决方案 项目1:east监管报送 负责技术实现;前期测试环境搭建、oracle 数据库客户端 linux 部署、 tomcat 环境部署,sqlldr 相关包部署及命令测试。中期负责数据加工及逻辑的实现、数据分析、数据治理、后期数据封装到存储过程。最后编写shell 脚本处理所有存储的跑批。带领团队顺利的完成了 29 张报表的开发及报送 项目环境:Linux+shell+Tomcat+oracle 项目职责: 1. 负责项目整体进度把控 2. 个人承担整个项目的全部流程打通与核心指标编码实现 项目2:工商银行研发中心(上海)把 oracle 普通大数据量表改造为分区 表、并数据迁移 负责方案设计、评估、开发 方案设计: 1:通过创建和原表结构一致的分区表,把普通表数据迁移到分区表、2: 通过在线重定义实现、3:采用数据泵迁移数据到分区表 评估:方案 1:速度稍慢但迁移稳定、 可以开并行提升效率、方案 2:需要 满足一些必要条件才能在线重定义 (如必须有主键等)、且不好控制失败回退操作、适用于单个表在线操作、 不适用批量操作,方
教育经历
2013-06-01 - 2016-06-01重庆大学计算机科学与技术本科
2009-09-01 - 2012-06-01重庆科技学院自动化专科
技能
1:实现神经网络主要逻辑:参数矩阵构建,前向传播、反向传播、计算梯度、参数更新 2:使用python语言、numpy库、matplotlib.pyplot等库实现神经网络基本功能复现,并用mnist数据集测试验证逻辑,字体识别准确率达85%以上 3:解决难点反向传播更新参数
1:项目分为训练模块、参数更新、预测模块。自己敲代码实现线性回归中的主要算法,实现了从数据预处理、数据训练、参数更新、数据预测。 2:解决了预测准确率不高问题,发现测试集数据归一化需要和训练集保持一致,否则会导致测试集预测准确率不高