项⽬描述:Prompt标注平台是⼀个专为⽣成和管理GPT等⼤规模语⾔模型所需数据⽽设计的系统。该平台集成了⾃定义标注属性功能,允许⽤⼾根据特定需求定义数据标注规则,并在这些规则下⾼效地标注和质检数据。此外,平台⽀持单条数据模式的灵活操作,以及成员管理功能,确保数据标注过程的安全性和⾼效性。⼯作内容:接⼊ChatGpt接⼝,公司内部⼈员可以直接在平台上向Gpt发起请求,并与原有的对话供应商回答进⾏⽐较,并将对话数据存储到数据库中以供后续标注使⽤,⽬前以达到1000万+的数据量。设计并实现数据权限⽅案,实现不同外部供应商对标注数据的隔离。设计并实现了⼀套灵活的标注属性配置系统,允许管理员根据项⽬需求动态添加、修改、删除标注字段,满⾜不同场景下的数据标注需求。基于OceanBase设计并优化了表结构,采⽤列分区技术有效提升了千万级数据的增删改查的性能。利⽤分布式锁技术实现了多⽤⼾抢占式分配数据的功能,避免了数据冲突和重复标注的问题。集成HyperLogLog算法,实现了对平台⽤⼾访问量的精确统计,有效降低了内存消耗和计算复杂度。声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!

下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论