这是一个基于qwen2-7b-instruct微调的专门用于galgame剧本翻译的模型，比以往的14b模型的准确度和流畅性都更好。除了得益于qwen2本身能力的提升外，这次微调在数据预处理方面也做了一些工作，具体内容包括：
使用了gte-qwen2-1.5b文本嵌入模型对所有训练语料进行了清洗，移除了译文与原文差异过大的行。
保持了训练数据的高度统一，移除了训练数据中译者的“私货”。
移除了训练数据中所有的“标注”等从原文中无法推导出来的额外内容。
所有语料均使用了deepseek-2-chat模型进行了标注，生成了专用的词汇表
支持上下文传入：最多传入50行翻译历史来增强翻译连贯性。
使用方法：
（1）安装Ollama
（2）将所有文件克隆到同一个目录中，使用控制台移动到该目录。
（3）输入以下命令
ollama create vn -f modelfile
（4）在该目录下创建一个文件夹，命名随意
（5）输入以下命令
python translate.py -d {刚刚创建的文件夹名}
翻译速度与显卡相关，3070laptop可以做到约100k token/h
翻译文件格式
直接将待翻译的文本逐行放入txt文件即可，每行不要超过128字。
支持断点续翻，直接再次执行脚本就可以接着上次翻译进度进行翻译
字典的使用方法
本翻译脚本支持字典，字典格式如下：
{"日语名称1":"中文名称1",
"日语名称2":"中文名称2"}
可以按照此格式创建字典，此处假设字典的名称为glossary.json,然后在翻译时输入以下指令：
python translate.py -d {待翻译的目录} -g glossary.json
评论