模型/框架支持介绍#
当前,MindIE SD支持vLLM Omni框架、Cache DiT框架和魔乐社区等。理论上,MindIE SD支持任何多模态模型的推理加速,此处仅列出了我们支持的典型模型的特性叠加情况。
模型支持情况#
模型 |
vLLM Omni |
Cache DiT + diffusers |
魔乐社区 |
|---|---|---|---|
Stable Diffusion 1.5 |
✖️ |
✖️ |
✅️ |
Stable Diffusion 2.1 |
✖️ |
✖️ |
✅️ |
Stable Diffusion XL |
✖️ |
✖️ |
✅️ |
Stable Diffusion XL_inpainting |
✖️ |
✖️ |
✅️ |
Stable Diffusion XL_lighting |
✖️ |
✖️ |
✅️ |
Stable Diffusion XL_controlnet |
✖️ |
✖️ |
✅️ |
Stable Diffusion XL_prompt_weight |
✖️ |
✖️ |
✅️ |
Stable Diffusion 3 |
✖️ |
✖️ |
✅️ |
Stable Video Diffusion |
✖️ |
✖️ |
✅️ |
Stable Audio Open v1.0 |
✖️ |
✖️ |
✅️ |
OpenSora v1.2 |
✖️ |
✖️ |
✅️ |
OpenSoraPlan v1.2 |
✖️ |
✖️ |
✅️ |
OpenSoraPlan v1.3 |
✖️ |
✖️ |
✅️ |
CogView3-Plus-3B |
✖️ |
✖️ |
✅️ |
CogVideoX-2B |
✖️ |
✖️ |
✅️ |
CogVideoX-5B |
✖️ |
✖️ |
✅️ |
HunyuanDit |
✖️ |
✖️ |
✅️ |
HunyuanVideo |
✖️ |
✖️ |
✅️ |
HunyuanVideo-1.5 |
✖️ |
✖️ |
✅️ |
Hunyuan3D-2.1 |
✖️ |
✖️ |
✅️ |
Wan2.1 |
✖️ |
✖️ |
✅️ |
Wan2.2 |
✖️ |
✖️ |
✅️ |
FLUX.1-dev |
✅️ |
✅️ |
✅️ |
FLUX.2-dev |
✖️ |
✅️ |
✅️ |
Qwen-Image |
✅️ |
✖️ |
✅️ |
Qwen-Image-Edit |
✅️ |
✖️ |
✅️ |
Qwen-Image-Edit-2509 |
✅️ |
✖️ |
✅️ |
Z-Image |
✖️ |
✖️ |
✅️ |
Z-Image-Turbo |
✅️ |
✖️ |
✅️ |
vLLM Omni 特性&模型性能#
模型 |
硬件 |
Cache |
并行 |
稀疏FA |
量化 |
融合算子 |
|---|---|---|---|---|---|---|
FLUX.1-dev |
Atlas 800I A2服务器 |
✅️ |
✅️ |
✖️ |
✅️ |
✅️ |
Qwen-Image |
Atlas 800I A2服务器 |
✅️ |
✅️ |
✖️ |
✖️ |
✅️ |
Qwen-Image-Edit |
Atlas 800I A2服务器 |
✅️ |
✅️ |
✖️ |
✖️ |
✅️ |
Qwen-Image-Edit-2509 |
Atlas 800I A2服务器 |
✅️ |
✅️ |
✖️ |
✖️ |
✅️ |
Z-Image-Turbo |
Atlas 800I A2服务器 |
✅️ |
✖️ |
✖️ |
✖️ |
✅️ |
说明: Atlas 800I A2服务器默认使用的版本算力313T,内存64 GB。
Cache DiT + diffusers 特性&模型性能#
模型 |
硬件 |
Cache |
并行 |
稀疏FA |
量化 |
融合算子 |
|---|---|---|---|---|---|---|
FLUX.1-dev |
Atlas 800I A2服务器 |
✅️ |
✅️ |
✖️ |
✅️ |
✅️ |
FLUX.2-dev |
Atlas 800I A2服务器 |
✖️ |
✅️ |
✖️ |
✖️ |
✅️ |
魔乐社区的特性叠加&模型性能#
模型 |
硬件 |
Cache |
并行 |
稀疏FA |
量化 |
融合算子 |
说明 |
|---|---|---|---|---|---|---|---|
|
✅️ |
✅️ |
✖️ |
✖️ |
✅️ |
无 |
|
|
✅️ |
✅️ |
✖️ |
✖️ |
✅️ |
无 |
|
|
✅️ |
✅️ |
✖️ |
✖️ |
✅️ |
无 |
|
|
✅️ |
✖️ |
✖️ |
✖️ |
✅️ |
功能打通 |
|
|
✅️ |
✖️ |
✖️ |
✖️ |
✅️ |
功能打通 |
|
|
✅️ |
✖️ |
✖️ |
✖️ |
✅️ |
功能打通 |
|
|
✅️ |
✖️ |
✖️ |
✖️ |
✅️ |
功能打通 |
|
|
✅️ |
✅️ |
✖️ |
✖️ |
✅️ |
无 |
|
Atlas 800I A2 服务器 |
✅️ |
✅️ |
✖️ |
✖️ |
✅️ |
无 |
|
|
✅️ |
✖️ |
✖️ |
✖️ |
✅️ |
无 |
|
|
✅️ |
✅️ |
✖️ |
✖️ |
✅️ |
无 |
|
|
✅️ |
✅️ |
✖️ |
✖️ |
✅️ |
无 |
|
Atlas 800I A2 服务器 |
✅️ |
✅️ |
✖️ |
✖️ |
✅️ |
无 |
|
|
✅️ |
✅️ |
✖️ |
✖️ |
✅️ |
无 |
|
|
✅️ |
✅️ |
✖️ |
✖️ |
✅️ |
无 |
|
|
✅️ |
✅️ |
✖️ |
✖️ |
✅️ |
无 |
|
|
✅️ |
✅️ |
✖️ |
✅️ |
✅️ |
无 |
|
|
✅️ |
✅️ |
✖️ |
✅️ |
✅️ |
无 |
|
|
✅️ |
✖️ |
✖️ |
✖️ |
✅️ |
无 |
|
|
✅️ |
✅️ |
✖️ |
✅️ |
✅️ |
无 |
|
|
✅️ |
✅️ |
✅️ |
✅️ |
✅️ |
无 |
|
|
✅️ |
✅️ |
✖️ |
✅️ |
✅️ |
无 |
|
|
✅️ |
✅️ |
✅️ |
✅️ |
✅️ |
无 |
|
|
✅️ |
✅️ |
✅️ |
✅️ |
✅️ |
无 |
|
|
✅️ |
✅️ |
✖️ |
✅️ |
✅️ |
无 |
|
|
✅️ |
✅️ |
✖️ |
✅️ |
✅️ |
无 |
|
|
✅️ |
✅️ |
✖️ |
✅️ |
✅️ |
无 |
|
|
✖️ |
✖️ |
✖️ |
✖️ |
✖️ |
无 |
|
|
✖️ |
✖️ |
✖️ |
✖️ |
✅️ |
无 |
[!NOTE]说明
Atlas 300I DUO 推理卡默认使用算力280T,内存48 GB。
Atlas 800I A2 服务器默认使用算力313T,内存64 GB。
Atlas 800I A3 超节点服务器默认使用算力560T,内存64 GB。