AMD395实测Qwen3.8-Flash-Next，Decode稳定24TPS，端侧AGI时代也要来了
模型性能实测
近期，Qwen 发布了 Qwen3.8-Flash-Next，并开放了模型权重。这个版本采用新的 MoE 架构，在保持较大模型容量的同时，通过较低的单 Token 激活参数量降低推理计算开销。
官方数据显示，该模型主模型参数量为 125B，每个 Token 实际激活约 6B 参数，同时还包含额外的 51B N-gram Embedding 参数。
现在，Qwen3.8-Flash-Nex 已经上架 Herdsman牧马人本地推理引擎模型中心，可以直接下载并启动，不需要用户自己处理模型文件、推理参数以及本地服务配置。
Qwen3.8-Flash-Next 是什么？
Qwen3.8-Flash-Next 是 Qwen 团队推出的新一代基础模型，采用 MoE（Mixture of Experts，混合专家） 架构，并在注意力机制、残差结构、Embedding 和训练优化等方面进行了重新设计。
它比较值得关注的一点，是模型规模很大，但单 Token 的实际激活参数并没有那么高。
Qwen3.8-Flash-Next官方详细数据
| 主模型参数量 | 125B |
|---|---|
| 每 Token 激活参数 | 约6B |
| N-gram Embedding | 51B |
| 原生上下文 | 262K |
| 架构 | MoE |
这种设计的核心思路，可以简单理解成：
模型拥有较大的整体容量，但每次处理一个 Token 时，并不需要把全部参数都参与计算。
因此，它比较适合需要复杂推理、代码处理、长文本处理以及 Agent 工作流的场景。
从官方公布的测试来看，Qwen3.8-Flash-Next 在代码、办公以及部分通用任务上都有较强表现，尤其适合用于开发辅助、文档处理、信息整理以及较复杂的多步骤任务。
Herdsman 上架Qwen3.8-Flash-Next模型
这次 Herdsman 模型中心上架的，并不是完整原始权重，而是 Q4_K_M-M64量化版本。
对于本地部署来说，选择该量化版本主要就是为了在尽量保留模型能力的同时，降低模型占用，让它能够在消费级硬件上运行。
在Herdsma部署Qwen3.8-Flash-Next模型，不需要自己找模型、下载多个分片、配置启动参数等，再去研究本地推理框架。
只需进入 Herdsman模型中心 → 找到 Qwen3.8-Flash-Next，一键进行下载即可。
模型下载完成后，可以直接在 Herdsman 中完成启动和对话。
也就是说，从模型下载到真正开始使用，中间不需要再单独配置一套本地 WebUI。
不只是聊天，还可以直接接入 Agent
对于很多本地模型用户来说，模型在本地成功运行只是第一步，更多用户希望把本地模型接入 Coding Agent 或其他 Agent 工具，实现利用最大化。
在Herdsman，只需一键配置，便可以将该模型用于其他支持本地模型/API 接入的Agent工具，例如：WorkBuddy、Claude Code、Codex 等 Agent 工具。
这样一来，本地模型的使用方式就不再局限于：
打开模型 → 输入问题 → 得到回答
而是可以进一步变成：
Herdsman 运行本地模型 → Agent 调用模型 → 完成代码、文件、任务等实际工作
对于希望把大模型真正放进本地工作流的人来说，这种使用方式会更方便。
AMD395实测模型本地运行性能
Qwen3.8-Flash-Next 的 125B 参数规模决定了，它并不是一个传统意义上的“小模型”，所以对本地配置要求相对较高。
在我们的实际测试环境中，使用：
AMD Ryzen AI Max+ 395 64GB 内存+64GB 显存的配置能稳定decode在24token/s.
运行 Qwen3.8-Flash-Next 时，搭配 AI SSD 是当前最优解。
实测数据
写在最后
Qwen3.8-Flash-Next 本身是一款参数规模很大的新模型，而 GGUF 量化版本则进一步降低了本地运行门槛。
现在，它已经进入 Herdsman 模型中心。
你可以直接在Herdsman牧马人本地推理引擎完成：模型下载 → 本地启动 → Herdsman 对话 → Agent 接入
对于需要本地部署大模型、代码开发以及 Agent 工作流的人来说，Qwen3.8-Flash-Next 也多了一种比较直接的使用方式。
Herdsman牧马人本地推理引擎快速下载地址：