自然语言处理

项目简介: 项目的目标是根据用户的输入query，结合大模型配置信息中的多个表的schema信息，返回对应的标准化的SQL语句。 项目分工: 本人利用相关的文章和部分大模型实现了该功能，主要包括底座大模型的选型，大模型的微调，结合对应任务下的先进技术，进行了prompt engineering。并对几种不同的prompt engineering进行了横向的对比实验。利用工业界的电商数据进行建模，针对简单的SQL查询功能能基本覆盖，对于级联查询问题，特别是对于5%这类数据，可能会出现模型幻觉，需要进一步SFT。 项目心得: 对于复杂的大模型生成问题，将其进行合理的子任务拆解，prompt engineering微调的效果提升会比较好。 解决问题: 基本实现了自然语言到SQL转换的功能，支持大模型自动学习表和schema和SQL生成。 欢迎合作: 作者2017年毕业，主要从事对话系统，语义理解和推荐，大模型应用等方向的研发工作。曾在小爱同学细分赛道上业务做到业界No.1。对话系统领域研发经验6年，推荐领域研发经验3年，团队管理经验3年。 2022年起，调研并落地了大模型在文本生成的技术方案

项目简介: 对上期Text2SQL任务进行优化，达到业界顶尖水平。 项目分工: 本人在目前业界效果Text2SQL模型的基础上进行优化，主要针对LLM输出结构的对齐，SFT优化的效率问题，大模型幻觉的问题进行了相关的优化，达到了远超目前State of The Art的效果。 项目心得: 对于复杂的大模型生成问题，将其进行合理的子任务拆解，prompt engineering微调的效果提升会比较好。 解决问题: 基本实现了自然语言到SQL转换的功能，支持大模型自动学习表和schema和SQL生成。 欢迎合作: 作者2017年毕业，主要从事对话系统，语义理解和推荐，大模型应用等方向的研发工作。曾在小爱同学细分赛道上业务做到业界No.1。对话系统领域研发经验6年，推荐领域研发经验3年，团队管理经验3年。 2022年起，调研并落地了大模型在文本生成的技术方案，落地的场景主要包括: 人设问答，本地知识库问答和搜索式问答，NL2SQL。在大模型的应用和优化方向，如PEFT, SFT，Prompt Engineering，推理加速等，都有着相关的实践经验。 熟悉聊天机器人、对话系统等项目，熟悉

完成了包含六个页面的智能助手管理后台系统，全面集成用户交互数据管理，每条用户提问、回复及推荐内容均精准记录并支持后台直观查询，提升体验追溯与数据管理效率。前端优化数据处理逻辑，减少DOM操作，利用setTimeout优化延时效果，确保页面流畅。系统核心由四大管理页面构成，灵活管理预设问题与回答，集成高效数据库操作，实现便捷信息管理。技术栈融合Python Flask、Bootstrap与jQuery，打造高效、易用且响应式的后台管理体验。 集成了recorder.mp3.min.js库，这一轻量级且高效的JavaScript插件，极大地简化了音频录制流程。用户仅需简单按住录音按钮，即可无缝启动高质量的音频录制，支持长达一分钟的连续录音，满足日常对话记录需求。录音完成后，即时获取到MP3格式的录音文件，为后续的自然语言处理、语音识别或存储分享等操作奠定了坚实基础。 对智能助手进行了全面的性能优化与响应速度升级。深度优化了用户问题缓存机制，引入Redis数据库实现每小时自动缓存用户提问与回复，凭借Redis的高速存取能力，显著提升了系统响应速度。同时，通过优化语义相似度匹配模型，实现了相似

此模块的功能是连接国内AI星火接口，实现回复b站弹幕的功能。如果再使用上游戏建模，和游戏引擎配上角色即可实现可视化的时时聊天数字人。 使用的技术是python，前期可使用我的账号和密钥测试，后期账号和密钥请去官网申请，网址在压缩包里。

项目简介: 项目的目标是根据用户的输入query，结合大模型配置信息中的多个表的schema信息，返回对应的标准化的SQL语句。 如假设有以下几张表和对应的列: Table advisor, columns = [*,s_ID,i_ID] Table classroom, columns = [*,building,room_number,capacity] Table course, columns = [*,course_id,title,dept_name,credits] Table department, columns = [*,dept_name,building,budget] Table instructor, columns = [*,ID,name,dept_name,salary] Table prereq, columns = [*,course_id,prereq_id] Table section, columns

全栈开发，独立完成 该项目使用自研的医疗知识图谱问答算法以及自构建的医疗知识图谱作为数据源 算法主要包含知识图谱嵌入模块、自然语言语义分析模块、答案匹配模块 后端使用python与nginx实现 前端使用vue搭建，并实现窗口自适应功能 为用户提供简单的医疗知识问答功能

运用和gpt一样的逻辑设计的，模块化的小功能会多一点，能AI绘图以及声音处理等小组件 能做简单的视频处理,包括但不限于处理帧数以及画面清晰 也可以训练AI模型，可以随意切换语言大模型，内置gpt4o以及3.5以上语言模型，用户可以根据自己的需求进行购买 当然运用他的组件模型也可以在pdf上面可以帮助用户做一些需求

根植于大语言模型技术，在一个产品中无缝集成了任务型、问答型和闲聊型对话的能力，且一个对话中可在三类对话类型之间无缝切换 对话创建者仅需： (1) 以简单的3~5条文本示例为基础构建出面向任务的xmind对话树 (2) 将问答知识组织到层级标题化的word文档中 (3) 通过(约束)提示词定义闲聊的角色 即可完成一个“全能”的对话模型定义，这都归功于充分利用了大语言模型的语言能力和常识能力 一个非技术的业务人员就能完成70%-80%对话定义工作，即可让对话树运行起来，剩下20%-30%(不是必需的)脚本相关高级功能可由技术人员来完成 （详细信息，参见附件的PPT文件）

医疗综合信息分析平台 项目背景: 以用户的病例信息作为输入，抽取疾病信息，所属领域类别信息，病状的描述信息，处方信息以及对应的禁忌事项信息等。将该信息抽取完成后存储至数据库。最后由专业人员对相关信息进行质检，完成医疗信息的知识落库。 项目分工: 本人主要负责对病例信息的领域分类，疾病名称识别，病状信息描述，处方信息抽取和禁忌事项的抽取业务。即通过大模型对病例信息的数据实现多个维度的信息抽取工作。 项目成果: 完成外科和耳鼻喉科领域下，数百种疾病信息的知识抽取，准确率达到90%以上。 欢迎合作: 作者在对话领域有多年的研究经验，LLM应用落地上有丰富的实战经验，在这块有大量的交付案例，欢迎有相关业务需求的公司进行合作。

采用Roberta对本地IMDB数据库进行情感二分类。这段代码定义并训练一个基于RoBERTa的文本分类模型，使用IMDB电影评论数据集进行训练和验证。首先通过IMDBDataset类加载并预处理数据，然后利用DataLoader创建数据加载器。在训练过程中，模型使用AdamW优化器，评估指标包括损失、准确率和召回率。每个训练周期结束后，保存模型权重，并在验证集上评估模型性能。代码还包含进度条显示和种子设置，以确保结果的可重复性。

项目简介: 项目主要是基于ChatGLM2等大模型实现了影视角色的人设问答，这里的人设选型为一人之下中的角色-武当王也。在和系统进行对话交互时，系统会以王也的人设风格对用户输入的信息进行回复。 项目分工: 本人在项目中负责对话整体业务的设计和算法部分业务的实现。主要包括大模型的选型，大模型微调，PEFT, SFT, 模型推理加速和服务部署等。通过对比GPT, 百川，千问，ChatGLM, 书生，Lamma等大模型的效果。针对人设角色的形象设定，做对应Prompt Engineering优化等。 解决问题: 完成了项目整体的开发与部署，对话系统整体上支持了人设大模型生成式对话的业务场景。

文字识别是一种将图像中的文本内容转换为可编辑和搜索的数字文本的技术。它广泛应用于各种场景，包括文档数字化、自动化数据输入、信息检索等。OCR的应用场景 文档数字化： 将纸质文档扫描成图片，并通过OCR转换为可编辑、可搜索的数字格式，如PDF或Word文档。 自动数据录入： 在银行、保险、医疗等行业，OCR用于自动识别单据、发票、账单等内容，提高数据录入效率。 车牌识别： 在交通监控系统中，OCR技术用于自动识别车牌号码。 手写体识别： OCR不仅用于打印文本的识别，也可以扩展到手写体的识别，尽管手写体识别相对复杂。 图像中的文字提取： OCR还可以应用于从图像或照片中提取文本，常见于广告、宣传单、商品标签等场景。 OCR技术的演进 传统OCR：早期的OCR技术主要基于模板匹配和规则的方法，效果较为单一，识别准确度受限。 机器学习OCR：随着机器学习的进展，OCR开始采用训练模型来识别字符，通过大规模数据的训练，提高了对不同字体、语言和格式的适应能力。 深度学习OCR：近年来，深度学习（特别是卷积神经网络CNN和循环神经网络RNN）的发展，使得OCR技术大幅提升，尤其在手写

某企业AI智能客服项目旨在利用人工智能技术，为企业打造一个高效、智能的客户服务系统。该项目通过模拟人类客服的对话方式，与用户进行实时交流，解答用户的问题、提供帮助和建议，从而提升企业服务效率、降低运营成本，并增强用户的满意度和忠诚度。 一、模块组成 智能问答模块：基于自然语言处理、深度学习等技术，对用户的问题进行识别、分析和回答。该模块能够准确理解用户意图，提供精准的答案和解决方案。 用户交互模块：负责与用户进行实时对话，包括语音、文本等多种形式的交互。该模块通过语音识别、语音合成等技术，实现与用户的语音交互；同时，也支持文本输入和输出，方便用户进行文字交流。 知识库管理模块：存储和管理企业的各类知识、常见问题及解决方案。该模块支持知识的动态更新和维护，确保智能客服系统能够随时提供最新、最准确的信息。 数据分析模块：对用户行为、问题类型、服务效果等数据进行收集和分析，为企业提供有价值的业务洞察和改进建议。 二、使用到的技术 自然语言处理技术：用于将用户的语言转化为机器可理解的形式，从而能够准确理解用户的需求和问题。通过分词、词性标注、句法分析等处理，提取出用户问题中的关键

机器人基于人工智能技术,面向企业场景的 AI 服务,可应用于智能客服、服务咨询、业务办理等场景,还可以帮助企业实现智能营销和智能企业内部服务。 主要负责知识库管理，将知识类型进行分析，支持文本问答，文件统一管理

作品地址：http://www.latexai.com/ 分为渲染、识别、生成模块，均由本人完成 渲染模块功能为，帮助大家写latex表达式，并渲染出来，可导出png\svg\word格式的公式表示。 同时支持有限的AI公式识别转换为latex表达式，可选输出可视化的模型内部的attention部分

本项目旨在开发一款创新型陪护机器人，利用基于讯飞星火3.0 的AIGC（Artificial Intelligence Generated Content）指令生成式技术、实时语音流处理技术和iCaRL分类技术，使机器人不仅具备自然而流畅的对话能力，而且能够理解指令并生成智能回应，为用户提供高度个性化的护理和支持。 本项目基于讯飞星火3.0的AIGC模型。 基于该模型，能够在语义理解、文本分类、命名实体识别、情感分析和问答系统等多个自然语言处理任务上表现出色。具备高准确性，能够准确理解输入文本，并生成相应的语义表示和回答。 项目分为语音识别模块，AIGC指令生成模块，动作执行模块，物体识别模块等。

1.类似于chatgpt，文心一言等大语言模型的功能，训练一个属于自己的模型，支持垂直领域的算法定制，比如：智能AI对话聊天、内容创作、健康与生活咨询、教育辅导、职场助理、编程支持、语言翻译、休闲娱乐等。 2.支持算法的部署，可以本地部署、服务器上部署、同时也可以支持手机离线部署，即使没有网络的情况下也可以实现大语言的能力。 3.支持算法的定制，根据客户具体需求来定制设计算法。

项目模块: 主要是针对Text2SQL三期的任务进行了相关的优化。 项目分工: 完成LLM Text2SQL任务的全链路优化。主要包括: 知识扩充优化，COT链路优化，Table Prompt Ensemble, RAG数据增强，渐进式学习优化等。 成果: 对比开源State of theArt的方案，提升超过10个百分点，对比上期V1.0的优化成果，提升5.6% 欢迎合作: 作者在对话领域有多年的研究经验，LLM应用落地上有丰富的实战经验，欢迎有相关业务需求的公司进行合作。价格优惠，质量有保障。

项目分大模型、后端、前端三部分 大模型经数据训练得到领域大模型 后端使用django框架调用大语言模型接口 前端采用vue框架

项目模块: 主要是针对text2SQL任务的全链路优化，增加了SQL数据可视化的推理过程，实现整体的数据可视化Agent. 项目分工: 负责对业务整体的建模，包括SQL生成任务的优化，图表关系的业务建模，和API参数的智能生成。 主要包括: SQL生成任务的拆解优化，针对图表分类和参数抽取的业务建模，COT优化，图表和API参数关系抽取，以及参数的对齐优化功能等等。 成果: 跑通了从文本到数据可视化的全流程，支持了5种复杂的数据可视化业务需求，达到业务交付标准。 欢迎合作: 作者在对话领域有多年的研究经验，LLM应用落地上有丰富的实战经验，在这块有大量的交付案例，欢迎有相关业务需求的公司进行合作。