工作经历
2020-08-01 -2021-08-01百度算法
实体消歧工作,[padding][padding][padding][padding][padding][padding][padding][padding]
教育经历
2019-09-01 - 2022-01-01北航软件工程硕士
2015-09-01 - 2019-07-01山东大学软件工程本科
技能
基于LLM的摘要总结服务,为客户端定制化推送XX内容。 模型侧工作: 1. 数据集构建,continue pretrain dataset sft dataset rlhf dataset 2. 模型选择,使用few-prompt few-Cot对比了Llama-13B、ChatGLM2-6B,baichuan-13B等模型。 3.模型优化:10Bcontinue pretrain 多阶段sft RLHF 4.模型部署:量化 算法服务端: 1. python侧定时任务推送XX内容
DF的一个多模态文本分类比赛https://www.datafountain.cn/competitions/423/teams?view=all 最终成绩 Top0.5% A榜34/2049,B榜10/2049 比赛过程: 1.EDA分析训练数据 -> 数据重采样 -> 微调bert,添加FGM扰动,多任务学习->半监督学习,数据扩增->指标优化->分析bad case,对训练数据进行数据清洗,特征选择->利用stacking和voting进行模型融合,提分4个百分点。