TinyLlama-1.1B-Chat-v1.0-autoround-4bit

我要开发同款
匿名用户2024年07月31日
16阅读
开发技术llama、pytorch
所属分类ai
开源地址https://modelscope.cn/models/LLM-Research/TinyLlama-1.1B-Chat-v1.0-autoround-4bit

作品详情

This model has been quantized using GPTQModel.

  • Bits: 4
  • Group Size: 128
  • Desc Act: true
  • Static Groups: false
  • Sym: true
  • LM Head: false
  • Damp Percent: 0.01
  • True Sequential: true
  • Model Name or Path:
  • Model File Base Name: model
  • Quant Method: auto_round
  • Checkpoint Format: gptq
  • Metadata
  • Quantizer: gptqmodel:0.9.8-dev0
  • Enable Full Range: false
  • Batch Size: 1
  • AMP: true
  • LR Scheduler: null
  • Enable Quanted Input: true
  • Enable Minmax Tuning: true
  • Learning Rate (LR): null
  • Minmax LR: null
  • Low GPU Memory Usage: true
  • Iterations (Iters): 200
  • Sequence Length (Seqlen): 2048
  • Number of Samples (Nsamples): 512
  • Sampler: rand
  • Seed: 42
  • Number of Blocks (Nblocks): 1
  • Gradient Accumulate Steps: 1
  • Not Use Best MSE: false
  • Dynamic Max Gap: -1
  • Data Type: int
  • Scale Data Type (Scale Dtype): fp16
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论