Mixtral-8x7B-Instruct-v0.1 mistralai

类型
model
框架
vllm
下载量
630,932
点赞
4,720
访问
public
文件
0

标签

  • 文本生成
  • 大语言模型
  • 混合专家
  • 指令微调
  • 对话数据
  • 推理部署
  • vLLM
  • transformers

摘要

Mixtral-8x7B-Instruct-v0.1 是 Mistral AI 基于稀疏混合专家（Sparse Mixture of Experts）架构的指令微调大语言模型，在多数基准测试中表现优于 Llama 2 70B。该模型面向对话与指令遵循场景，支持多语言（英、法、意、德、西），并兼容 vLLM 与 transformers 推理，支持半精度、量化及 Flash Attention 2 等优化。适用于聊天助手、问答、文本生成等任务，需要按 [INST] 指令模板严格格式化输入。

README

--- library_name: vllm language: - fr - it - de - es - en license: apache-2.0 base_model: mistralai/Mixtral-8x7B-v0.1 inference: false widget: - messages: - role: user content: What is your favorite condiment? extra_gated_description: >- If you want to learn more about how we process your personal …

查看完整页面 · 查看原文