1. 项目概述 当前自然语言处理领域的预训练技术较为成熟，当在真实的业务场景下面临的问题却较为碎片化，需要算法开发人员进行专门化的定制优化，本项目的目的在于构建一套可以自适应多领域的预训练平台，这样像金融、医疗等领域的开发人员就能便捷的使用到预训练的前沿技术红利。 目前已经开源的领域预训练模型有： （1）通用领域的轻量化模型：https://huggingface.co/DMetaSoul/sbert-chinese-general-v2 （2）对话领域模型：https://huggingface.co/DMetaSoul/sbert-chinese-dtm-domain-v1 （3）金融领域模型：https://huggingface.co/DMetaSoul/sbert-chinese-qmc-finance-v1 2. 整体架构 预训练语言模型通过在大规模文本上进行预训练，可以作为下游自然语言处理任务的模型参数或者模型输入以提高模型的整体性能。不过开源的通用预训练模型在特定领域/任务上可能效果不佳，这可能有多方面因素导致，比如通用和特定领域语料分布差异大、领域存在专有词汇、特定领域/任务存在低资源问题等。 业界已经验证了在特定领域/任务上继续无监督预训练，对最终特定任务效果提升是有帮助的。为此我们也按照这个思路迭代，希望可以在业界常见领域/任务上预训练出相应的大模型，让大模型可以更好在垂类问题上落地。 自然语言处理（NLP）预训练模型在多领域的适配平台，主要包括以下几个部分： （1）多领域经典监督文本分类数据集作为benchmark （2）多领域语料数据的收集和整理（含新闻、金融、医疗等） （3）基于领域语料进行切词器（tokenizer）的训练 （4）基于领域语料进行领域预训练模型（pre-training）的训练 （5）对领域适配的预训练模型进行自动化评估 3. 核心贡献 收集开源语料数据，利用先进的 NLP 训练技术和预训练模型在特定领域数据上进行迁移学习，最终产出通用、对话、金融、新闻等专用领域模型 10+，并且模型已经开源到 huggingface 社区。 4. 难点和挑战 领域模型的训练主要挑战有以下几点： - 领域数据缺少，针对这个问题，我们进行了广泛的调研从网络上收集了大量的专用领域数据，规模达到 TB 级别 - 预训练模型大，对计算资源要求高，借助强大的分布式机器学习训练平台以及对模型算法的切分优化等技术，使得大模型可以被快速的训练

1. 项目概述 深度学习已经逐步从大模型演化为超大模型，数据源也从单模态向多模态发展，虽然前沿的学术进展较为成熟，各个模态数据之间打通也变得较为便利，本软件旨在解决跨模态数据之间的匹配问题，包括文本到图像以及图像到文本，用户可以直接在本软件平台上尝试多模态搜索的强大能力，也可以基于本平台二次定制化开发，更加贴合实际应用的业务场景。 项目已经开源，地址：https://github.com/meta-soul/MetaSpore/tree/main/demo/multimodal 2. 整体架构 本项目重点解决多模态数据之间的匹配问题，如以文搜文、以文搜图、以图搜图、以图搜文等通用应用场景。用户可以根据自己需求结合到实际业务场景中，比如智能客服场景下，需要根据历史问答库来为用户提问匹配最优答案，这就可以使用本软件的以文搜文功能，还比如前端UI设计师需要从素材库里找到想要的图片素材，这就可以使用本软件的以文搜图功能。 一、以文搜文 支持用户输入文本，多模态匹配平台会根据用户输入的文本跟百科库中进行语义匹配计算，然后返回用户关心的百科内容。 二、以文搜图 支持用户输入文本，多模态匹配平台会从图片库中进行语义匹配计算，然后返回用户想要查找的图片。 三、以图搜图 支持用户输入图片，多模态匹配平台会从图片库中进行语义匹配计算，然后返回跟用户输入近似的图片。比如输入猫，返回的图片也是猫相关的。 四、以图搜文 支持用户输入图片，多模态匹配平台会根据预先内置的 1000 多个文本标签，来计算用户图片跟文本标签的相似性，然后返回文本标签给用户。 3. 核心贡献 完成以文搜文、以文搜图、以图搜图以及以图搜文等四个多模态搜索模块，每个模块都使用了先进的NLP和CV预训练大模型，并且针对特定应用场景给出了 demo 验证样例，是一套从模型到前端搜索交互的完成系统。 4. 难点挑战 同模态和跨模态数据理解存在着极大的挑战，比如文字描述“狗”和真实图片中的“狗”在计算机理解看来天差地别，我在项目中使用了大规模预训练模型，能够透过数据模态形式来理解背后的语义，进而使得文本和图片之间相互搜索成为可能。

1. 项目概述 电商出海是近年来新的商机赛道，而推荐系统在电商系统中起到极为重要的作用，可以帮助商家售卖更多商品、创造更多收益，同时可以为消费者带来更好的使用体验、方便快速的找到自己心仪的商品。因此伴随着电商独立站系统的成熟，其中的推荐系统成为不可获取的一部分，本项目旨在为电商独立站系统提供一套可拔插的推荐系统插件，实现相关商品推荐、猜你喜欢推荐等功能。 目前推荐项目已经上线国外独立站 app 市场，具体参见地址：https://apps.shopify.com/dmetasoul-recommendation 在推荐系统方面的一些技术储备： - https://mp.weixin.qq.com/s/vy6aCSGrVNepD9uQZOy9Lg - https://github.com/meta-soul/MetaSpore/tree/main/demo/movielens 2. 技术架构 整个电商推荐系统可以拆分为如下结构： - 商品的理解，基于先进的人工智能技术（AI），如自然语言处理、计算机视觉等，对商品的描述文本和图片进行特征抽取、标签预测等，充分对商品进行结构化信息提取 - 用户的理解，基于用户在电商平台上的浏览、点击、交易等行为日志数据，生成用户画像更好的表示和理解用户的偏好 - 商品召回，结合商品和用户的理解，通过多种召回方式来从海量商品库中快速提取出相关商品 - 商品排序，结合用户近期行为和商品特性，进行二次排序，最终按照得分来排序商品列表 - 推荐结果展示，通过响应式的前端界面来展示瀑布流样式的推荐结果 3. 贡献和效果 项目中整个系统的设计以及实现都由本人完成，目前项目已经上线 shopify app 市场，百万商家都可以免费试用，为店铺提供了相关商品推荐和猜你喜欢推荐功能，后续我会不断对推荐系统进行升级，为客户提供更多功能。 4. 难点和挑战 推荐系统搭建会面临一些挑战，下面将具体介绍下有哪些挑战以及是如何应对解决的： - 推荐系统冷启动问题，当电商系统一开始构建时，由于没有用户行为数据并且商品数据没有很好的结构化，因此如何准确的为用户进行推荐就较为困难，这里我才用了先进的AI技术来对商品的文本和图片进行理解，进而基于内容理解完成商品推荐，很好的解决了商品推荐的冷启动问题