自然语言处理

项目简介：基于NLP和机器学习技术的客户支持系统优化 背景： 在现代企业中，建立高效的客户支持系统对于维护客户满意度和提升市场竞争力至关重要。然而，随着客户数量的增长和问题的复杂性，传统的客户支持方式已经无法满足企业的需求。因此，我们开展了这个项目，旨在利用自然语言处理（NLP）和机器学习技术，构建一个更高效、更智能的客户支持系统。 目标： 我们的目标是通过NLP和机器学习技术对客户提出的问题进行自动分类和聚类，从而实现更高效的客户支持系统。具体目标包括： 问题自动分类：自动将客户提出的问题归类到不同的类别中，以便更好地组织和处理。 问题相似性分析：分析客户提出的问题之间的相似性，从而能够更快地找到解决方案。 即时响应：建立一个实时响应系统，能够在客户提出问题后立即给予反馈和解决方案。 客户反馈：收集客户的反馈数据，用于不断优化系统性能和改进服务质量。 技术细节： 文本预处理：对客户提出的问题进行文本预处理，包括分词、去除停用词、词干化等，以准备进行特征工程和模型训练。 特征工程：提取客户问题的特征，如词袋模型、TF-IDF向量等，以便输入到机器学习模型中进行分类和聚类。 聚类和分

1.项目是为了准确检测出游戏内聊天时，辱骂、敏感等的发言，(敏感词屏蔽，辱骂等分情况禁言) 2.我负责数据标注、模型训练 3.由于对时间响应要求很高，使用了简化的BERT+BLSTM+Attention

项目简介：基于 Langchain RAG 框架的自定义知识库对话系统 1. 功能模块及用户功能： 对话接口： 用户可以通过文本输入与系统进行自然语言对话。 系统能够理解用户的查询并返回相关信息。 知识库检索： 系统能够从事先构建好的知识库中检索相关内容，以支持对话中的信息提供。 用户反馈： 用户可以通过点击按钮提供对话结果的反馈，包括正确性、流畅性等方面的评价。 2. 我的任务、技术栈与成果： 任务： 搭建自定义知识库对话系统，提供高效、准确的信息查询服务。 技术栈： 使用 Langchain 提供的 RAG 框架作为对话系统的核心。 选择 Qwen-14B-Chat 作为基座模型，具有强大的对话生成能力和对话理解能力。 使用 Streamlit 框架重新设计前端界面，提供用户友好的交互体验。 成果： 成功搭建了一个自定义知识库对话系统，能够通过与用户交互，提供准确、丰富的信息支持。 引入了用户反馈功能，能够持续收集用户的评价数据，用于优化系统性能和调整知识库内容。 3. 难点与解决方案： 难点： 如何有效地组织和索引知识库中的内容，以便快速、准确地进行检索。 解决方案： 使用

AI数字人项目旨在通过人工智能技术，构建出高度逼真、具有交互能力的虚拟人物形象。这些数字人不仅具备生动的外观和动作，还能通过自然语言处理、语音合成、面部表情识别等技术，与用户进行实时互动和交流。该项目结合了计算机视觉、深度学习、自然语言处理等多个领域的先进技术，致力于为用户提供一种全新的、沉浸式的交互体验。 模块组成： 人物形象模块：负责创建数字人的外观和形象，包括面部特征、发型、服装等。通过多边形建模、细节雕刻等技术，使数字人具有逼真的外观和细腻的表情。 语音生成模块：基于文本生成对应的人物语音，使数字人能够说话和表达。该模块利用语音合成技术，将文本转化为自然流畅的语音输出。 动画生成模块：根据数字人的动作和表情需求，生成与之相匹配的动画效果。通过运动捕捉、骨骼绑定等技术，实现数字人的自然动作和表情变化。 音视频合成显示模块：将语音和动画合成视频，并通过显示设备呈现给用户。该模块负责处理音视频信号的同步和渲染，确保用户能够获得高质量的视听体验。 交互模块：通过语音语义识别、自然语言处理等智能技术，识别用户的意图和问题，并驱动数字人进行相应的语音和动作回应。该模块还支持多模

技术支持:springboot、redis、mybatis-plus、milvus、react，socket 项目描述:GeniusAI 是基于 OpenAI 、文心一言、星火等大模型的集成平台，已迭代至 v4.0.0 版本。平 台包含 C 端(面向用户)和 B 端(业务管理后台)两个部分，C 端平台集成了聊天、应用广场、Midjourney 绘画、知识库(RAG)、GPTS、Chat 生成式思维导图等多个模块。具备完善的会员、商品、分销、广告和支 付功能。支持企业级对接和私有化知识库配置。微信对话开放平台，5分钟搭建自己的小程序客服。网址:https://chat.apeto.cn 业绩指标: 1. 注册用户超过 8000+ 私有化部署超过 300+ 2. 1.4 版本 GitHub 开源 主要职责: 1. 产品设计与架构:负责项目从零到一，包括产品定位、布局交互、架构设计和技术选型。 2. AI 集成与优化:调研 AI 领域最佳实践，并集成应用到项目中。 3. 运营与推广:负责项目的运营策略。

基于大语言模型ChatGLM创建的检索增强项目，可完成输入pdf文档后一站式直接创建可用于直接检索增强的问答小助手。内置技术模块有：word discovery, bm25, word embedding retrieval, inverted index, HyDE等

数据的预处理及医疗实体抽取模型的构建 负责三元组信息抽取模型的构建 负责知识图谱数据的存储、可视化以及文档的撰写

内容： 1.算法实现：多种nlp下游任务的算法实现，包括数据处理，模型训练，模型调节等 2.算法服务：AI推理功能可以通过服务的形式集成到产品或者平台中 3.算法部署：支持多种部署方式，本地部署，集群部署，容器化部署 4.平台、产品定制化开发：围绕人工智能技术将AI集成到产品或者平台中，结合应用场景、定制化需求，开发完成的，可应用的产品和平台 5.运维迭代，知识培训：负责产品至少6个月的运维和迭代工作 服务优势： 1.有着丰富的研发经验，更有来自bat的技术大牛，从架构到实施环环把关； 2.从业经历遍布各个领域，包括智能营销，智能运维，智能政务等多个场景尤其擅长电商和工业领域； 3.团队有着丰富的产品和平台开发经验，B端产品，C端产品，技术平台，低代码平台等都有着深厚的积累； 4.前沿技术敏感，时下最热的大模型，AIGC都在服务内容里，支持客户各个层面的需求。

项目背景与目标 AliceMind-PALM模型不支持图片生成任务。需要参考现有图片生成模型如DALLE，为PALM补充下游图片生成的代码； 调研并实现图片生成代码的训练和推理； 待解决的问题 缺少算力提供 独立完成调研与代码调试 主要工作 调研大量文字到图片模型，最终找到VQGAN+CLIP 完成代码的调试，将PALM生成的文字接入到搭建好的模型 commit代码到主仓库，2k Star

Modelscope-Agent是一个可定制的、可扩展的Agent代码框架。单Agent具有角色扮演、LLM调用、工具使用、规划、记忆等能力。 主要具有以下特点： 简单的Agent实现流程：仅需指定角色描述、LLM名称、工具名列表，即可实现一个Agent应用，框架内部自动实现工具使用、规划、记忆等工作流的编排。 丰富的模型和工具：框架内置丰富的LLM接口，例如Dashscope和Modelscope模型接口，OpenAI模型接口等。内置丰富的工具，例如代码运行、天气查询、文生图、网页解析等，方便定制专属Agent。 统一的接口和高扩展性：框架具有清晰的工具、LLM注册机制，方便用户扩展能力更加丰富的Agent应用。 低耦合性：开发者可以方便的直接使用内置的工具、LLM、记忆等组件，而不需要绑定更上层的Agent。

Kaggle 竞赛：TalkingData AdTacking Fraud Detection Challenge 216/4967(top 5%) 中国最大的大数据服务平台 TalkingData 要求对广告点击数据中的欺诈数据进行识别 特征设计（统计特征、时间序列特征）、特征筛选（Stepwise selection）、模型建造（lightGBM、 FFM）模型融合（Ensemble Learning），最终获得铜牌 Kaggle 竞赛：Toxic Comment Classification Challenge 267/4551(top 6%) Jigsaw 和谷歌旗下的算法团队出题要求选手识别文本数据中的恶毒评论并进行分类 特征设计（统计特征、TF-IDF）、模型建造（Logistic Regression、LSTM）、模型融合（Ensemble Learning），最终获得铜牌

1.数据导入、处理构建知识图谱模块 2.问题分词处理分类模块 3.问题匹配、知识图谱交互模块。 4.前端显示处理：问题输入、回答模块

一个简单的闲聊机器人，基于transformer堆叠而成的模型，tokenizer取自hugging face网站的DIalogGPT的tokenizer（因为自己弄实在太麻烦），语料用的是小黄鸡的语料。

该项目实现了智能客服回复的功能，无需人工客服回复； 我在项目中负责模型的搭建与训练 最后实现了该功能，未来可向生成式答复的方向改进

作为创业公司CTO, 在基于openAI技术的基础上，从头搭建了一个自然语言理解平台。 该系统能够克服现有大语言模型的幻觉的重大缺陷，也能够克服现有deep learning难以修正错误的重大缺陷。 该系统已投入使用。

项目背景 面对当前市场上对智能对话系统日益高涨的需求，我们的团队启动并成功完成了开发一个跨平台接入系统的项目。该项目旨在构建一个兼容市场主流大语言模型（如Gemini、OpenAI GPT-4、Mixtral、Moonshot、LLaMA等）的统一平台，让用户无论通过微信公众号、小程序还是其他社交媒体平台，都能享受到流畅且一致的智能对话体验。通过该平台，用户能轻松获取由各款大语言模型提供的多元化、个性化智能对话服务。 项目细节 1. **多模型兼容性**：团队设计并实现了模型抽象层，该层具备出色的兼容性，能够无缝接入Gemini、OpenAI GPT-4、Mixtral、Moonshot、LLaMA等各类主流大语言模型。它负责处理不同模型的API调用、响应格式的标准化转换，向上层应用提供统一、简洁的接口，确保开发人员无需关注底层模型差异。 2. **微信公众号与小程序接入**：利用Wechaty框架，团队实现了与微信公众号和小程序的深度整合。我们定制开发了适配层以应对微信平台特有的交互规范和接口要求，确保系统与微信生态完美融合。 3. **跨平台用户体验优化**：为保证用户在

1. 使用大模型结合prompt进行信息抽取 2. 使用fastapi听过http请求 3. 对请求进行预处理和对模型的返回结果进行后处理并返回

爬取各招聘网数据， 进行了视图处理让用户可以更直观进行比较选择更具性价比，我主要进行爬取数据进行整理。

项目简介：基于微调语义理解模型的客户与客服关键事件抽取系统 背景： 在现代企业中，客户服务是维护客户关系和提升客户满意度的重要环节。为了更好地理解客户与客服之间的对话，并从中提取关键事件和信息，我们开展了这个项目。通过微调语义理解模型，我们旨在构建一个能够自动抽取客户与客服对话中的关键事件的系统，从而帮助企业更好地理解客户需求、改进服务质量。 目标： 我们的目标是建立一个自动化的客户与客服关键事件抽取系统，能够准确地识别对话中的重要事件和信息。通过这个系统，企业可以更好地了解客户的需求和问题，并及时采取措施加以解决，提升客户满意度和忠诚度。 技术细节： 模型微调：我们通过使用私有的客户与客服对话数据，对预训练的语义理解模型（如BERT、Roberta等）进行微调。这样可以使模型更好地适应特定领域的语境和词汇，提高对话理解的准确性。 关键事件抽取：我们设计了一套算法和模型，用于从微调后的语义理解模型的输出中抽取关键事件。这些事件可以包括客户提出的问题、客服的回答、客户的反馈等。 系统集成：我们将关键事件抽取系统集成到客户服务平台中，使其能够实时处理客户与客服之间的对话。这样客服人员可

提出一种基于标题正文相似度和作者隐含情感的虚假新闻检测方法： 1.新视角——新闻作者潜在的主观情感来检测虚假新闻 2.新注意力机制——充分挖掘标题和正文之间的相似性