wizard-rwkv-world-7B-ctx32k

我要开发同款
匿名用户2024年07月31日
23阅读
所属分类aiPytorch
开源地址https://modelscope.cn/models/AI-ModelScope/wizard-rwkv-world-7B-ctx32k
授权协议apache-2.0

作品详情

This model is finetuned based on RWKV4 world 7B english model, using wizard datset to fit in 32k ctx.

should do some complex instruction and can feed in 32k token, but as we know wizard dataset only have max 4K length per sample ,

i'll do more test on long prompt and generation

use https://github.com/josStorer/RWKV-Runner to run this model.

QQ截图20230729111155.png

image.png

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论