ChatRWKV类似于ChatGPT，但由RWKV（100%RNN）语言模型提供支持，并且是开源的。希望做“大规模语言模型的StableDiffusion”。
目前RWKV有大量模型，对应各种场景、各种语言：Raven模型：适合直接聊天，适合+i指令。有很多种语言的版本，看清楚用哪个。适合聊天、完成任务、写代码。可以作为任务去写文稿、大纲、故事、诗歌等等，但文笔不如testNovel系列模型。Novel-ChnEng模型：中英文小说模型，可以用+gen生成世界设定（如果会写prompt，可以控制下文剧情和人物），可以写科幻奇幻。不适合聊天，不适合+i指令。Novel-Chn模型：纯中文网文模型，只能用+gen续写网文（不能生成世界设定等等），但是写网文写得更好（也更小白文，适合写男频女频）。不适合聊天，不适合+i指令。Novel-ChnEng-ChnPro模型：将ChnEng-ChnPro在高质量作品微调（名著，科幻，奇幻，古典，翻译，等等）。HuggingFaceGradioDemo(14Bctx8192)：https://huggingface.co/spaces/BlinkDL/ChatRWKV-gradioRaven (7B在Alpaca等上微调)Demo：https://huggingface.co/spaces/BlinkDL/Raven-RWKV-7BRWKVpippackage：https://pypi.org/project/rwkv/ 更新ChatRWKVv2和piprwkv包（0.7.3）：使用v2/convert_model.py将模型转换为策略，以加快加载速度并节省CPU内存。###NoteRWKV_CUDA_ONwillbuildaCUDAkernel("pipinstallninja"first).###HowtobuildinLinux:settheseandrunv2/chat.pyexportPATH=/usr/local/cuda/bin:$PATHexportLD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH###Howtobuildinwin:InstallVS2022buildtools(https://aka.ms/vs/17/release/vs_BuildTools.exeselectDesktopC++).ReinstallCUDA11.7(installVC++extensions).Runv2/chat.pyin"x64nativetoolscommandprompt".下载RWKV-4权重： https://huggingface.co/BlinkDL（使用RWKV-4模型。勿使用RWKV-4a和RWKV-4b模型。）RWKVDiscord https://discord.gg/bDSBUMeFpcTwitter: https://twitter.com/BlinkDL_AIRWKVLM: https://github.com/BlinkDL/RWKV-LM (解释、微调、训练等)RWKVin150lines (模型、推理、文本生成): https://github.com/BlinkDL/ChatRWKV/blob/main/RWKV_in_150_lines.pyChatRWKVv2：具有"stream"和"split"策略，以及INT8。3GVRAM足以运行RWKV14B https://github.com/BlinkDL/ChatRWKV/tree/main/v2os.environ["RWKV_JIT_ON"]='1'os.environ["RWKV_CUDA_ON"]='0'#if'1'thenuseCUDAkernelforseqmode(muchfaster)fromrwkv.modelimportRWKV#pipinstallrwkvmodel=RWKV(model='/fsx/BlinkDL/HF-MODEL/rwkv-4-pile-1b5/RWKV-4-Pile-1B5-20220903-8040',strategy='cudafp16')out,state=model.forward([187,510,1563,310,247],None)#use20B_tokenizer.jsonprint(out.detach().cpu().numpy())#getlogitsout,state=model.forward([187,510],None)out,state=model.forward([1563],state)#RNNhasstate(usedeepcopyifyouwanttocloneit)out,state=model.forward([310,247],state)print(out.detach().cpu().numpy())#sameresultasabovehttps://huggingface.co/BlinkDL/rwkv-4-raven/blob/main/RWKV-4-Raven-14B-v7-Eng-20230404-ctx4096.pth：
评论