个人介绍
2. 熟悉Map/Reduce原理
3. 熟悉spark性能优化以及Spark开发
4. 熟悉oracle数据库的基本操作以及hive的操作
5. 熟悉大数据分析框架Spark,机器学习框架 MLlab、scikit-learn、tensorflow等
6. 熟悉逻辑回归、贝叶斯、决策树、卷积神经网络、循环神经网络等人工智能算法。
7. 熟悉docker的基本操作,镜像的创建、启动、维护以及基本原理
8. 了解大数据流处理框架Flink、Kafka、Redis的开发跟设计
9. 熟悉联邦学习的原理、设计跟开发
10. AI中台、数据中台的设计跟开发
工作经历
2023-04-01 -至今智慧眼科技股份有限公司算法研究员
1、主要从事算法的研究 2、联邦学习平台的设计跟开发 3、AI中台、数据中台的设计跟开发
2020-08-01 -2023-03-01南京亚信科技有限公司算法工程师
1、主要从事数仓中的数据分析以及数据挖掘 2、数仓中中间层、应用层的设计跟开发 3、负责部门内部数据挖掘需求分析、模型设计跟算法的实现 4、Spark离线数据分析、Flink实时数据的分析
2017-07-01 -2020-08-01湖南华诺科技有限公司大数据开发工程师
1、主要从事Spark数据分析以及算法开发工作。 2、项目需求分析,数据处理功能模块分析以及编程实现等。 3、参与算法的建模,数据的预处理。 4、算法的实现以及优化
教育经历
2014-09-01 - 2017-06-01湘潭大学电子科学与技术硕士
担任学院的党支部书记。并发表过二篇SCI论文
2010-09-01 - 2014-06-01湖南科技学院电子信息工程本科
在校期间获得过最佳毕业生,并多次获得奖学金
技能
本申请公开了一种基于结构化数据的自动机器学习方法及系统,该方法包括步骤:获取结构化数据集,并对结构化数据标注目标变量;将结构化数据集进行类型识别,以获取目标任务类型和目标特征类型;根据目标特征类型构建对应的特征工程,以获取目标特征组合;根据目标任务类型构建基模型,并选择与之对应的模型融合策略;将目标特征组合和目标变量输入基模型进行训练,以获取目标基模型;根据模型融合策略对目标基模型进行融合以获取融合模型,并将目标基模型和融合模型进行自动化部署;本方法极大地减少了手动选择模型的工作量,并提高了模型在各种任务上的通用性及灵活性,并且能够一次性处理多种任务,从而节省了大量的时间和精力,提高了效率。
本申请公开了任务处理方法、装置、系统及介质,应用于任务处理技术领域,包括:生成公私钥对,并将公钥发送给参与模型训练任务的各个参与方设备;获取各个参与方设备分别上传的加密数据;加密数据为参与方设备利用公钥对本地参数进行加密得到的数据,并且,本地参数为参与方设备的本地模型的模型参数,或者利用本地训练数据对本地模型进行训练得到的模型梯度;各个参与方设备的本地模型相同;对各个参与方设备的所述加密数据进行聚合,得到聚合结果;利用私钥对所述聚合结果进行解密,并将解密结果发送给各个所述参与方设备,以便各个参与方设备基于所述解密结果更新本地模型。能够降低模型训练任务的计算和通信成本,并且提升了数据的安全性。
一种基于纵向逻辑回归的联邦学 习模型获取方法及系统,本方法通过协作方根据paillier算法生成私钥和公钥,并分别向第一参与方与第二参与方发送公钥;第一参与方和第二参与方分别根据公钥和RSA算法对样本数据进行加密对齐,以获取各个参与方的共有用户群体,从而获得各个参与方用于模型获取的样本数据,让模型在获取过程中,各个参与方传输的数据都是加密数据,并且在用协作方对模型参数解密后,再对解密后的模型参数注入的噪声,这样能够更好地保证了各个参与方的数据隐私安全,从而提高了模型在获取过程中的安全性,同时降低各个参与方在加解密过程中的计算步骤以及传输的通信开销,从而有效地提升了模型的获取效率。收起 摘要附图 S1 协作方通过paillier算法生成私钥跟公钥,协作方分别向第 一参与方和第二参与方发送公钥 S2 第一参与方和第二参与方分别根据公钥和RSA算法进行样本数据加密对齐,以获取第一参与方跟第二参与方的共有 用户数据 S3 第一参与方和第二参与方根据共有用户数据分别获取第一 样本数据和第二样本数据 S4 第一参与方和第二参与方根据第一样本数据跟第二样本数