自然语言处理

项目描述：采用机器+人工的识别方法挖掘海量网络舆情中特定关注领域负面舆情，实现舆情自动化工单智能去重、分级、分类，解决了舆情爆发时海量舆情工单应急处置问题和舆情实时监控、实时告警问题。 职责/关键技术：负责项目管控和智能算法研发，包括产品设计、智能算法研发、实时、技术文档、项目验收。智能识别算法识别准确率达到92%，减少85%无效人工。熟悉舆情监控市场产品技术，熟悉舆情业务。 成效：实现总部和三十余家二级单位舆情实时监控，已运行3年，每天下派百余条有效工单

作为创业公司CTO, 在基于openAI技术的基础上，从头搭建了一个自然语言理解平台。 该系统能够克服现有大语言模型的幻觉的重大缺陷，也能够克服现有deep learning难以修正错误的重大缺陷。 该系统已投入使用。

对比了注意力模型，Transformer模型，SeqtoSeq，Glove, BLue,LSTM 等算法在语义识别中的不同； 使用GLOVE矢量库对Transformer模型进行了改进，取得了较好的效果。

爬取各招聘网数据， 进行了视图处理让用户可以更直观进行比较选择更具性价比，我主要进行爬取数据进行整理。

1. 使用大模型结合prompt进行信息抽取 2. 使用fastapi听过http请求 3. 对请求进行预处理和对模型的返回结果进行后处理并返回

1.项目是为了准确检测出游戏内聊天时，辱骂、敏感等的发言，(敏感词屏蔽，辱骂等分情况禁言) 2.我负责数据标注、模型训练 3.由于对时间响应要求很高，使用了简化的BERT+BLSTM+Attention

项目背景与目标 AliceMind-PALM模型不支持图片生成任务。需要参考现有图片生成模型如DALLE，为PALM补充下游图片生成的代码； 调研并实现图片生成代码的训练和推理； 待解决的问题 缺少算力提供 独立完成调研与代码调试 主要工作 调研大量文字到图片模型，最终找到VQGAN+CLIP 完成代码的调试，将PALM生成的文字接入到搭建好的模型 commit代码到主仓库，2k Star

内容： 1.算法实现：多种nlp下游任务的算法实现，包括数据处理，模型训练，模型调节等 2.算法服务：AI推理功能可以通过服务的形式集成到产品或者平台中 3.算法部署：支持多种部署方式，本地部署，集群部署，容器化部署 4.平台、产品定制化开发：围绕人工智能技术将AI集成到产品或者平台中，结合应用场景、定制化需求，开发完成的，可应用的产品和平台 5.运维迭代，知识培训：负责产品至少6个月的运维和迭代工作 服务优势： 1.有着丰富的研发经验，更有来自bat的技术大牛，从架构到实施环环把关； 2.从业经历遍布各个领域，包括智能营销，智能运维，智能政务等多个场景尤其擅长电商和工业领域； 3.团队有着丰富的产品和平台开发经验，B端产品，C端产品，技术平台，低代码平台等都有着深厚的积累； 4.前沿技术敏感，时下最热的大模型，AIGC都在服务内容里，支持客户各个层面的需求。

1.数据导入、处理构建知识图谱模块 2.问题分词处理分类模块 3.问题匹配、知识图谱交互模块。 4.前端显示处理：问题输入、回答模块

Modelscope-Agent是一个可定制的、可扩展的Agent代码框架。单Agent具有角色扮演、LLM调用、工具使用、规划、记忆等能力。 主要具有以下特点： 简单的Agent实现流程：仅需指定角色描述、LLM名称、工具名列表，即可实现一个Agent应用，框架内部自动实现工具使用、规划、记忆等工作流的编排。 丰富的模型和工具：框架内置丰富的LLM接口，例如Dashscope和Modelscope模型接口，OpenAI模型接口等。内置丰富的工具，例如代码运行、天气查询、文生图、网页解析等，方便定制专属Agent。 统一的接口和高扩展性：框架具有清晰的工具、LLM注册机制，方便用户扩展能力更加丰富的Agent应用。 低耦合性：开发者可以方便的直接使用内置的工具、LLM、记忆等组件，而不需要绑定更上层的Agent。

基于大语言模型ChatGLM创建的检索增强项目，可完成输入pdf文档后一站式直接创建可用于直接检索增强的问答小助手。内置技术模块有：word discovery, bm25, word embedding retrieval, inverted index, HyDE等

研发过舆情系统、智能客服系统、智能制单、文本处理、语义分析、大模型、llm，熟悉自然语言处理常见算法，比如lstm、bert、cnn、rnn、transformer，熟悉chatgpt、chatglm、baichuan、yi-34b等大预言模型

项目背景 面对当前市场上对智能对话系统日益高涨的需求，我们的团队启动并成功完成了开发一个跨平台接入系统的项目。该项目旨在构建一个兼容市场主流大语言模型（如Gemini、OpenAI GPT-4、Mixtral、Moonshot、LLaMA等）的统一平台，让用户无论通过微信公众号、小程序还是其他社交媒体平台，都能享受到流畅且一致的智能对话体验。通过该平台，用户能轻松获取由各款大语言模型提供的多元化、个性化智能对话服务。 项目细节 1. **多模型兼容性**：团队设计并实现了模型抽象层，该层具备出色的兼容性，能够无缝接入Gemini、OpenAI GPT-4、Mixtral、Moonshot、LLaMA等各类主流大语言模型。它负责处理不同模型的API调用、响应格式的标准化转换，向上层应用提供统一、简洁的接口，确保开发人员无需关注底层模型差异。 2. **微信公众号与小程序接入**：利用Wechaty框架，团队实现了与微信公众号和小程序的深度整合。我们定制开发了适配层以应对微信平台特有的交互规范和接口要求，确保系统与微信生态完美融合。 3. **跨平台用户体验优化**：为保证用户在

项目介绍： 该系统是集成了语音识别，大语言模型的智能面试系统，根据候选人的语音录入转成文字，再把文字输入给大模型进行分析评分。 项目组成： 1、前后端分离框架，后端使用django，前端使用vue框架和element-ui组件布局； 2、项目包含发起面试，报告管理，试卷管理，科目管理，题库管理等模块组成； 3、业务需求收集整理，页面设计，前后端代码编写都是独立一个人完成的； 技术难点： 1、语音识别使用了科大讯飞的语音识别接口，大语音模型分别调用了文心一言，清华GLM，科大星火认证接口进行对候选人的回答进行评分和分析； 2、在试卷管理模块中，需要从不同的题库中选择不同的题目组成试卷，当勾选不同科目下的题目时，需要保存勾选的值，最后完成选择后把问题列表组成试卷，当更新的时候，需要回显不同科目下的问题列表勾选框；

模块：特征工程库，高速数据访问，特征筛选，用户画像，生命周期算法，目标识别(根据不同任务类型，产品类型，客户类型，从而推荐产品)，流程评价

项目简介：基于NLP和机器学习技术的客户支持系统优化 背景： 在现代企业中，建立高效的客户支持系统对于维护客户满意度和提升市场竞争力至关重要。然而，随着客户数量的增长和问题的复杂性，传统的客户支持方式已经无法满足企业的需求。因此，我们开展了这个项目，旨在利用自然语言处理（NLP）和机器学习技术，构建一个更高效、更智能的客户支持系统。 目标： 我们的目标是通过NLP和机器学习技术对客户提出的问题进行自动分类和聚类，从而实现更高效的客户支持系统。具体目标包括： 问题自动分类：自动将客户提出的问题归类到不同的类别中，以便更好地组织和处理。 问题相似性分析：分析客户提出的问题之间的相似性，从而能够更快地找到解决方案。 即时响应：建立一个实时响应系统，能够在客户提出问题后立即给予反馈和解决方案。 客户反馈：收集客户的反馈数据，用于不断优化系统性能和改进服务质量。 技术细节： 文本预处理：对客户提出的问题进行文本预处理，包括分词、去除停用词、词干化等，以准备进行特征工程和模型训练。 特征工程：提取客户问题的特征，如词袋模型、TF-IDF向量等，以便输入到机器学习模型中进行分类和聚类。 聚类和分

该项目实现了智能客服回复的功能，无需人工客服回复； 我在项目中负责模型的搭建与训练 最后实现了该功能，未来可向生成式答复的方向改进

提出一种基于标题正文相似度和作者隐含情感的虚假新闻检测方法： 1.新视角——新闻作者潜在的主观情感来检测虚假新闻 2.新注意力机制——充分挖掘标题和正文之间的相似性

Kaggle 竞赛：TalkingData AdTacking Fraud Detection Challenge 216/4967(top 5%) 中国最大的大数据服务平台 TalkingData 要求对广告点击数据中的欺诈数据进行识别 特征设计（统计特征、时间序列特征）、特征筛选（Stepwise selection）、模型建造（lightGBM、 FFM）模型融合（Ensemble Learning），最终获得铜牌 Kaggle 竞赛：Toxic Comment Classification Challenge 267/4551(top 6%) Jigsaw 和谷歌旗下的算法团队出题要求选手识别文本数据中的恶毒评论并进行分类 特征设计（统计特征、TF-IDF）、模型建造（Logistic Regression、LSTM）、模型融合（Ensemble Learning），最终获得铜牌

技术支持:springboot、redis、mybatis-plus、milvus、react，socket 项目描述:GeniusAI 是基于 OpenAI 、文心一言、星火等大模型的集成平台，已迭代至 v4.0.0 版本。平 台包含 C 端(面向用户)和 B 端(业务管理后台)两个部分，C 端平台集成了聊天、应用广场、Midjourney 绘画、知识库(RAG)、GPTS、Chat 生成式思维导图等多个模块。具备完善的会员、商品、分销、广告和支 付功能。支持企业级对接和私有化知识库配置。微信对话开放平台，5分钟搭建自己的小程序客服。网址:https://chat.apeto.cn 业绩指标: 1. 注册用户超过 8000+ 私有化部署超过 300+ 2. 1.4 版本 GitHub 开源 主要职责: 1. 产品设计与架构:负责项目从零到一，包括产品定位、布局交互、架构设计和技术选型。 2. AI 集成与优化:调研 AI 领域最佳实践，并集成应用到项目中。 3. 运营与推广:负责项目的运营策略。