Project : 基于BERT的搜索Recall和Rank的系统搭建

项目描述：基于BERT、Sentence Bert、FFM技术，搭建和改进基于文本的召回系统和排序系统链路，优化搜索体验

项目内容：

1）相似度排序系统搭建：从0-1搭建搜索基于BERT的相似度排序系统，解决ES无法解决的语义匹配问题。完成数据采集、处理，模型训练、评估，稳定部署整条链路。结合业务背景，以及数据和算法模型的深刻理解，不断迭代相似度模型，采用清洗样本、嵌入主题字段、样本采样等技术处理训练数据并迭代模型，适配业务场景，将最初相似度分组点击率指标的4%提高到12%。

2）向量召回模型系统改进：改进基于Sentence Bert的向量召回系统，解决召回语义匹配问题。采用简单样本和难例样本共同训练的方式，同时保证了模型文本匹配能力和用户偏好捕获能力，设置pair wise损失训练模型，实现向量召回分组点击率相比ES召回组+0.7%点击率。

3）线上效果：结合向量召回、相似度匹配、模型融合，实现Recall MRR@10指标绝对值+32.4%，Click Rate指标绝对值+3.9%，同比+42%，用户人均停留时长同比+31%的提升，并保证线上部署时良好的用户体验。