昇腾 AI 模型性能建模与仿真工具
持续支持 DeepSeek、Kimi、Qwen、GLM、MiniMax 等国内主流大模型，点击系列名称展开查看新增支持记录。
DeepSeek 系列
🔹 [2026.06.04] msModeling 新增 DeepSeek-V4 模型支持
🔹 [2026.04.20] msModeling 新增 DeepSeek V3.2 模型支持
🔹 [2025.09.06] msModeling 新增 DeepSeek V3 模型支持
Kimi 系列
🔹 [2026.06.11] msModeling 新增 Kimi-K2.6 模型支持
🔹 [2026.05.27] msModeling 新增 Kimi-K2.5 模型支持
🔹 [2025.09.06] msModeling 新增 Kimi-K2 模型支持
Qwen 系列
🔹 [2026.07.14] msModeling 新增 Qwen3.6 图片输入支持
🔹 [2026.07.14] msModeling 新增 Qwen3.6 Dense / MoE 文本输入支持
🔹 [2026.04.20] msModeling 新增 Qwen3.5 图片输入支持
🔹 [2026.03.31] msModeling 新增 Qwen3.5 Dense / MoE 文本输入支持
🔹 [2025.12.25] msModeling 新增 Qwen3 MoE 模型支持
🔹 [2025.09.18] msModeling 新增 Qwen3-Next 模型支持
🔹 [2025.08.18] msModeling 新增 Qwen3 Dense 模型支持
GLM 系列
🔹 [2026.07.07] msModeling 新增 GLM5.2 模型支持
🔹 [2026.06.04] msModeling 新增 GLM5.1 模型支持
🔹 [2026.04.30] msModeling 新增 GLM5 模型支持
🔹 [2026.03.31] msModeling 新增 GLM-4 MoE 模型支持
MiniMax 系列
🔹 [2026.07.31] msModeling 新增 MiniMax M3 模型支持🔹 [2026.06.25] msModeling 新增 **MiniMax M2.7** 模型支持
🔹 [2026.05.29] msModeling 新增 **MiniMax M2.5** 模型支持
点击模块名称展开查看已支持特性。
模型推理性能仿真
🔹 多硬件仿真（Atlas 800 A2/A3、Atlas 350 等昇腾设备），支持自定义设备画像
🔹 LLM Prefill / Decode 分阶段仿真
🔹 Prefix Cache 仿真
🔹 MTP 投机解码仿真
🔹 编译与图优化、多流通算掩盖
🔹 量化仿真（W8A8 / W4A8 / FP8 / MXFP4 等）
🔹 并行与 MoE 扩展（TP / DP / EP，及 Embedding TP、Vision TP 等细粒度并行）
🔹 性能模型切换（Roofline / Profiling）
🔹 Chrome Trace / Debug
🔹 视频生成 DiT 仿真（Ulysses、CFG、DiT Cache）
服务化性能仿真
🔹 LLM / VLM 约束下吞吐优化（TTFT / TPOT / 服务成本）
🔹 PD 模式（混部 / 分离 / 配比）
🔹 并行策略搜索（TP / EP / MOE-DP）
🔹 MTP 配置搜索
🔹 Chunked Prefill 仿真
🔹 Prefix Cache 仿真
🔹 变长负载仿真
🔹 多流通算掩盖
🔹 跨硬件对比
Web UI
🔹 LLM / VL 前向仿真与视频生成仿真
🔹 吞吐寻优实验（PD 混部 / 分离 / 配比）
🔹 命令预览与任务缓存
🔹 结果展示与导出（曲线、表格、显存/算子明细、Excel）
服务化实测寻优
🔹 服务框架实测寻优（PSO + Early Rejection）
🔹 多引擎支持（vLLM、MindIE）与评测策略
🔹 自定义寻优配置与断点续跑
MindStudio Modeling（msModeling）是专为昇腾 AI 处理器打造的神经网络推理性能仿真与分析框架，提供单模型性能仿真、服务级吞吐优化、服务化参数自动寻优与可视化分析能力，帮助开发者在无物理硬件或部署前期预测模型性能、识别瓶颈并优化配置。
msModeling 提供模型推理性能仿真、服务化性能仿真和服务化实测寻优等功能模块，覆盖相应性能仿真与寻优场景。模型与特性覆盖范围请参见《模型支持与特性支持矩阵》。
| 功能名称 | 功能描述 |
|---|---|
| 模型推理性能仿真 | 模型仿真模块，拦截 PyTorch 计算图，在指定设备画像上模拟推理过程，输出算子级性能分解、内存占用、算子 shape 及 Chrome Trace。 |
| 服务化性能仿真 | 吞吐优化仿真模块，在 SLO 约束下自动搜索最优并行策略与 batch 配置，支持 PD 混部、PD 分离、PD 配比三种模式。 |
| 服务化实测寻优 | 服务化实测寻优，基于 PSO 粒子寻优算法在 vLLM、MindIE 等真实服务框架上自动搜索满足时延约束的最优部署参数。msmodeling / OptiX 应安装在 uv 虚拟环境中，vLLM、MindIE 和测评工具默认使用系统部署环境。 |
以模型推理性能仿真与服务化性能仿真为例，快速跑通核心流程，请参见《msModeling快速入门》；也可通过《Web UI 使用指南》进行可视化交互配置与结果查看。
介绍工具的环境依赖与安装方法，请参见《msModeling 安装指南》。
各工具的详细使用说明请参阅其源码仓库中的 README 文件，也可通过上方功能介绍表格中的链接直接跳转。
通过典型问题场景帮助用户理解并掌握工具使用，请参见《模型推理性能仿真》与《服务化性能仿真》中的示例。
常见问题及解决方案，请提交 Issues 或参见各模块使用指南。
为提升文档查阅效率，我们提供多种高效检索方式：
🔹 AI 问答（DeepWiki）：自然语言问答，快速把握项目架构与模块关系。
🔹 AI 问答（ZRead）：中文问答体验更优，精准定位功能用法与细节。
🔹 精确搜索（ReadTheDocs）：关键词全文检索，直达接口、参数与报错等信息。
欢迎参与项目贡献！详细的贡献流程、代码规范、Commit 规范、测试要求等，请参见《msModeling 贡献指南》。如有疑问，请提交 Issues。
仓库提供基于 Python 3.11 的 VS Code Dev Container。启动方式、自动初始化内容和统一构建/UT 入口见 Dev Container 指南。
本仓支持由 AI 辅助完成 Issue 草拟与评审、Issue 到 PR/CI 的端到端交付、PR 多角色与行内检视，以及 openLiBing CI 故障闭环。AI 的统一入口是 AGENTS.md，工作流说明与业务示例见 AI Native 开发指南。
- GitCode 远端操作统一使用
gitcodeCLI； - 默认逐阶段确认，也可对限定范围显式授权自动推进；
- 关键决策和验证证据记录在 Issue/PR 评论中；
- 人工可随时暂停、修改计划、接管或恢复；
- AI 不自动审批、合并、强推或绕过门禁。
示例：实现 Issue 123，先给出需求分析和方案，每个关键阶段让我确认，并在 Issue/PR 留下审计记录。
🔹 《版本说明》
🔹 《许可证声明》
🔹 《安全声明》
🔹 免责声明：本工具仿真与优化结果仅供性能评估参考，最终性能表现请以真实环境实测为准
欢迎大家为社区做贡献。如果有任何疑问或建议，请提交 Issues，我们会尽快回复。感谢您的支持。
SIG 例会：MindStudio Modeling Weekly Meeting 每周三 10:00-12:00（UTC+8）举行，会议纪要与议题请参见 sig-msit-modeling，也可使用 时区转换 查看本地时间。
| 即时互动（微信群） | 官方资讯（公众号） | 深度支持（助手/论坛） |
|---|---|---|
 扫码加入技术交流群 |
 扫码关注官方公众号 |
扫码入群并关注公众号，直达 MindStudio 用户与开发者最快捷的交流平台： 快速提问： 与社区小伙伴即时探讨技术问题 掌握动态： 第一时间获取版本发布与功能更新通知 经验共享： 与广大开发者交流最佳实践与实战心得 更多支持渠道：👉 昇腾助手：  👉 昇腾论坛： |
本工具由以下公司/部门联合贡献，以下排名不分先后：
🔹 华为
昇腾计算产品部
湛卢、AI Workload
2012 网络技术实验室、2012 马尔科夫实验室
小巧灵突击队、OTT 系统部
🔹 蚂蚁集团
🔹 电信研究院
感谢来自社区的每一个 PR，欢迎贡献！