个人介绍
工作经历
2021-03-01 -2023-08-10北京五八信息技术有限公司高级后端工程师
1.负责58办公选址网站。 2.负责58知楼项目数据生产。 3.负责真房实拍、真房体系等功能
教育经历
2009-09-09 - 2014-06-04教育经历 青岛科技大学计算机科学与技术本科
技能
58知楼是58安居客旗下的商业不动产咨询与产业促进服务平台,包含产业数据、楼宇数据、企业及交易大数据。 责任描述:参与改进数据仓库的数据分层设计。负责数据采集及加工。 1. 数据查询优化:针对海量数据更新查询慢的问题,进行分库分表优化。 分库:针对请求量太多造成连接数不够的问题,进行分库操作。根据业务领域进行分库的垂直拆分,拆分成产业数 据库、楼宇数据库、企业数据库等,每个库中存储其相关业务的表。 分表:针对于数据量比较大的表查询缓慢问题,进行分表。如企业表有两亿条记录,首先进行垂直分表,其次根据 城市ID作为分表字段进行水平分表,每个表中记录数不超过500万。 使用Sharding-JDBC工具进行分库分表操作。 通过canal监听binlog将表数据同步至es中,满足多样查询。 分库分表后数据查询平均耗时由600ms减少到30ms。 2. 问题数据修复: 基于mysql gis功能,构建全国城市区域电子栅栏数据,对地址和经纬度不一致的数据进行修复。 3. 数据生产优化: 借助大数据平台,同步MySQL数据至hive,通过spark脚本、sparkSql进行指标计算,提高数据生产效率。
主要功能包含房源信息维护和审核、经纪人管理、线索获取及分配、带看服务、成交订单及分佣 采用PHP+Java的技术组合。对于前端灵活多变的需求,使用PHP开发。 后端采用springcloud微服务框架开发,使用k8s+docker将微服务部署在不同的节点上,使服务有更好的性能和稳定性。 通过微服务对底层数据操作统一收口。通过Redis setnx实现分布式锁,避免并发冲突。 引入canal监听MySQL binlog同步至kafka消息队列,更新检索和缓存。