该模型源自https://huggingface.co/ziqingyang/chinese-llama-2-13b-16k
为了方便用 llama.cpp 测试，已经转化为 ggml 的fp16 格式
https://github.com/ggerganov/llama.cpp
使用方法
可以用 llama.cpp 的量化工具再次量化微其他格式，比如 Q80 或 Q40 的 gguf 格式。 量化的命令为：
./quantize ch-alpaca2-13b-fp16.gguf ch-alpaca2-13b-q4_0.gguf Q4_0
./quantize ch-alpaca2-13b-fp16.gguf ch-alpaca2-13b-q8_0.gguf Q8_0
模型可以在 llama.cpp 种直接调用，具体使用方法：
./main -m ch-alpaca2-13b-q4_0.gguf -t 6 -n 256 -p '写一篇关于努力工作的文章'
输出结果为：
Log start
main: build = 1181 (d59bd97)
main: seed = 1693957593
llama_model_loader: loaded meta data with 19 key-value pairs and 363 tensors from ../chinese-alpaca-2-13b-16k/ch-alpaca2-13b-q4_0.gguf (version GGUF V2 (latest))
...
system_info: n_threads = 6 / 10 | AVX = 0 | AVX2 = 0 | AVX512 = 0 | AVX512_VBMI = 0 | AVX512_VNNI = 0 | FMA = 0 | NEON = 1 | ARM_FMA = 1 | F16C = 0 | FP16_VA = 1 | WASM_SIMD = 0 | BLAS = 1 | SSE3 = 0 | SSSE3 = 0 | VSX = 0 |
sampling: repeat_last_n = 64, repeat_penalty = 1.100000, presence_penalty = 0.000000, frequency_penalty = 0.000000, top_k = 40, tfs_z = 1.000000, top_p = 0.950000, typical_p = 1.000000, temp = 0.800000, mirostat = 0, mirostat_lr = 0.100000, mirostat_ent = 5.000000
generate: n_ctx = 512, n_batch = 512, n_predict = -1, n_keep = 0
写一 篇 400 字关于努力工作的文章，题目为《如何努力工作》
第一节：认识到自己的目标 了解自己的职业追求和长期规划对于一个人来说是非常重要的。只有对自己的目标有清晰的认识，才能够更有效地开展工作。首先，要清楚自己想要达到什么样的职位，获得什么样的薪水以及期望的工作环境等信息。这些都可以通过与家人、朋友或导师进行深入交流来获得。
第二节：制定计划和目标 一旦明确了职业追求的目标后，下一步要做的是制定具体的计划并确定可行的指标。将工作分解为小块子，逐个完成每一部分任务可以帮助你取得进展感，从而激励自己更加努力地工作。此外，设定一些短期和长期目标也是必要的，以确保你的努力方向正确 [end of text]
llama_print_timings: load time = 690.28 ms
llama_print_timings: sample time = 176.43 ms / 155 runs ( 1.14 ms per token, 878.54 tokens per second)
llama_print_timings: prompt eval time = 224.18 ms / 16 tokens ( 14.01 ms per token, 71.37 tokens per second)
llama_print_timings: eval time = 7671.73 ms / 154 runs ( 49.82 ms per token, 20.07 tokens per second)
llama_print_timings: total time = 8113.90 ms
ggml_metal_free: deallocating
Log end
Clone with HTTP
git clone https://www.modelscope.cn/djbean/ch-alpaca2-13b-f16-gguf.git
评论