项目概述：参与开发信人AI客服项目，一个集成了AI大模型和知识库的智能对话系统，旨在通过先进的技术提升AI员工的对话效果和客户互动效率。 技术演进：项目经历了从AIAGENT和RPA技术结合的初步方案，到利用rerank技术和FAQ集成的进阶版本，实现了更精准的意图识别和客户服务。工作内容：1. 数据库开发：利用Milvus和Pinecone进行向量数据库的开发，优化大规模向量检索性能。 - 使用PostgreSQL和MongoDB进行关系型和文档型数据库的开发，确保数据的高效存储和查询。 2. 对话系统框架搭建：采用LangChain和Flask框架，构建了对话系统的整体架构，支持灵活的插件式服务和API集成。 3. Embedding模型选型与应用：负责Embedding模型的选型，为RAG系统中的文档检索和重排提供高效的文本向量化表示。 4. LLM集合应用开发：结合百川、ChatGPT、ChatGLM等多种大型语言模型（LLM），开发了集合应用，增强了对话系统的理解和生成能力。 5. 自动化测试与质量保证：使用Python编写自动化测试脚本，确保代码质量和系统稳定性。 6. 文档处理与算法开发：开发了PDF读取和文档分块算法，提高了非结构化数据的处理效率。7. 日志监控与系统维护：利用LangSmith进行日志监控，及时发现并解决系统运行中的问题。 8. 应用部署与容器化：采用FastAPI、LangServer以及Docker技术进行应用的部署和容器化，简化了环境配置和持续集成流程。9. 行业知识分享与科普：定期进行AI行业现状的科普，分享最新的技术进展和市场趋势，提升团队的知识水平和行业敏感度。 RAG技术相关经验：在信人AI客服项目中，深入应用了Retrieval-Augmented Generation（RAG）技术，通过构建和优化资源池、实现文档检索与重排算法，显著提升了对话系统的准确性和效率。参与设计并实现了RAG系统中的关键组件，包括资源池管理、文档检索、文档重排等，特别是在`combined_rag_chain.py`中实现了创新的文档处理链。 利用`MongoDBRetriever`高效地从MongoDB中检索文档，并在`id_rating_parser.py`中解析和处理评分数据，为RAG系统提供了准确的输入。 通过VSCode进行代码调试，并使用LangServe Playground和LangSmith进行功能测试和日志监控，确保了系统的稳定性和可靠性。在生产和测试环境中部署应用，使用Portainer和ngrok进行远程访问和管理，优化了部署流程和维护效率