Qwen2.5-7B-Instruct-AWQ Qwen
- 类型
- model
- 任务
- text-generation
- 框架
- transformers
- 下载量
- 4,683,685
- 点赞
- 49
- 访问
- public
- 文件
- 0
标签
- 文本生成
- 大语言模型
- 量化
- 本地部署
- 推理部署
- transformers
- 多语言
摘要
这是Qwen2.5-7B-Instruct指令微调模型的AWQ 4位量化版本，在保持性能的同时显著降低显存占用，便于本地部署与推理。模型强化了代码、数学、指令遵循和长文本能力，支持128K上下文与29种以上语言。适用于对话助手、结构化输出生成及需在消费级硬件上运行的中文/多语言文本生成场景。
README
--- base_model: Qwen/Qwen2.5-7B-Instruct language: - en library_name: transformers license: apache-2.0 license_link: https://huggingface.co/Qwen/Qwen2.5-7B-Instruct-AWQ/blob/main/LICENSE pipeline_tag: text-generation tags: - chat --- # Qwen2.5-7B-Instruct-AWQ ## 简介 Qwen2.5 是 Qwen 大语言模型的最新系列。对于 Qwen…