速度、平衡、质量三种模式任你选,auto模式自动匹配最优本地模型

文生图、图生图、精确图片编辑,创意玩法随心所欲

支持文档上传,自定义风格一键翻译

上百种模型任君挑选,满足各种AI应用需求

专为高性能 AI 推理设计的下一代引擎
牧马人引擎将大模型部署在你本地硬件上,无论是长文文档总结,还是不停歇的代码生成,所有推理成本都等于你的电费。
深度适配 Windows 系统,搭配推荐硬件可实现显存分配优化,即使在多任务并行环境下也能确保执行稳定。
优化推理路径并重构模型参数权重,小白也能轻松上手控制自己的“大模型”;面向极客群体,牧马人引擎还开放大模型 API,简单易用,自由度由你掌控。
在牧马人引擎的世界里,你的数据就是你的资产。无需联网、本地运行,从根源杜绝敏感信息泄露至云端的风险。
内置几十余种覆盖多模态、大语言等最新大模型,支持 OpenClaw 系列,只需一键即可完成从下载到部署全流程,小白也能一键启用。
结合本地数据(文档、习惯、日程等),FlowyAIPC 搭配牧马人 AI 推理引擎,可实现数据自我迭代,越用越懂你。
| 模型 | FA | 版本 | 512 tok | 1k tok | 2k tok | 4k tok | 8k tok | 16k tok | 32k tok | 256k tok |
|---|---|---|---|---|---|---|---|---|---|---|
| Qwen3.5-35B-Q4_K_M | FA=1 | 初始版本 | 808.7 | 956.5 | 898.6 | 776.3 | 615.7 | 433.2 | 266.1 | 266.1 |
| FA=1 | 牧马人 | 1111 | 1183 | 1224.6 | 1195 | 1127.6 | 1106.6 | 825.3 | 825.3 | |
| FA=1 | 性能对比 | 1.37x | 1.24x | 1.36x | 1.54x | 1.83x | 2.55x | 3.10x | 3.10x |
| 模型 | FA | 版本 | 512 ctx | 1k ctx | 2k ctx | 4k ctx | 8k ctx | 16k ctx | 32k ctx | 256k ctx |
|---|---|---|---|---|---|---|---|---|---|---|
| Qwen3.5-35B-Q4_K_M | FA=1 | 初始版本 | 31.1 | 30.4 | 30.2 | 28.6 | 26.8 | 24 | 20.2 | 20.2 |
| FA=1 | 牧马人 | 38.93 | 38.33 | 36.89 | 36.44 | 35.47 | 32.04 | 35.5 | 37 | |
| FA=1 | 性能对比 | 1.25x | 1.26x | 1.22x | 1.27x | 1.33x | 1.33x | 1.76x | 1.83x |
3.10x
响应速度最大提升
32k tokens 上下文
1.83x
对话生成速度最大提升
256k tokens 上下文
2.01x
平均响应速度提升
全上下文范围
1.41x
平均对话生成速度提升
全上下文范围
避免窗口溢出 | 省 Token | 精准降本
使用轻量级 L0/L1 上下文进行规划,仅在执行时通过 URI 获取 L2 详情,大幅降低 Token 成本并消除截断风险。
一句概括,快速判断
核心信息,规划决策
完整细节,按需加载
你的聊天记录、文档、照片上传到云端总觉得不踏实?牧马人本地引擎让数据留在本地,真正做到“我的数据我做主”。
所有数据存储在本地设备,不上传到云端,完全掌控数据所有权。
数据传输采用银行级加密标准,确保信息安全不被窃取。
不收集用户行为数据,不进行任何形式的用户分析和追踪。
不受网络波动、适配 Windows 系统、降低成本