Today for AI
返回热点榜
tools热度 0.0°

AI 聚合热点事件 · 2026/10/15

Apple MLX 支持 Mac Studio 集群本地运行近万亿参数模型

4 篇收录报道0 家独立信源交叉印证持续跟踪至 2026/10/16 21:43:48
全景综述与最新动态

Apple 发布最新版 MLX 框架，通过引入 Thunderbolt 5 RDMA 技术实现多台 Mac Studio 的分布式推理，首次让本地私有环境运行参数量接近一万亿的前沿大模型成为现实。这一突破标志着高端消费级硬件在超大模型部署能力上的重大跨越。

该方案利用 Apple Silicon M5 Ultra 芯片的统一内存架构优势，结合最新开源的 Meta Muse Spark Open（816B 总参数）模型进行验证。实测数据显示，四机集群下的生成速度超过 36 tokens/s，首字延迟较上一代设备降低至 4.6 倍以内。多源信息交叉确认，MLX 的新特性不仅解决了多节点间的高速互联问题，还显著优化了超大模型的加载效率。

此举大幅降低了顶级大模型的部署门槛，使开发者无需依赖昂贵的云端算力即可在桌面端高效运行具备百万上下文和多模态能力的复杂智能体任务。这不仅重塑了本地 AI 开发的生态格局，也为隐私敏感型的企业级应用提供了极具竞争力的替代方案。

最新动向/Meta 同步开源了专为编码和智能体优化的 Muse Spark Open 模型，其 816B 总参数与 100 万 token 上下文能力正依托新版 MLX 框架在双台或四台 M5 Ultra Mac Studio 上实现高效本地运行，权重已在 Hugging Face 开放下载。

报道时间线

共 4 篇 · 最新优先
  2. Hacker News AIT2·92 分

    Meta 开源 Muse Spark Open：816B MoE 模型支持百万上下文，首次实现双 M5 Ultra Mac Studio 本地运行

    原标题：Muse Spark Open

    • Muse Spark Open 拥有 816B 总参数但仅激活 42B，兼顾了模型容量与推理效率。
    • 支持 100 万 token 超长上下文，专门针对复杂软件工程和多步智能体任务优化。
    • 首次实现该类规模模型在双 Apple M5 Ultra Mac Studio 上的本地运行，依托最新 MLX 框架。
  3. Hacker News AIT2·88 分

    Meta 开源 Muse Spark Open：816B MoE 多模态模型，支持双 Mac Studio 本地运行

    原标题：Muse Spark Open, the Most Capable US Open‑Weight Model to Date

    • Muse Spark Open 拥有 816B 总参数与 42B 激活参数，支持 1M token 超长上下文及原生多模态能力。
    • 模型针对编码、智能体工作流及长程复杂推理任务进行了深度优化。
    • 首次实现在两台 Apple M5 Ultra Mac Studio 上通过 MLX 框架进行本地推理，降低了顶级大模型的部署门槛。
  4. Apple Machine Learning ResearchT1·78 分

    Apple 发布 MLX 新版：支持 Mac Studio 集群 RDMA 分布式推理，本地运行近万亿参数模型

    原标题：Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio

    • MLX 新增对 RDMA over Thunderbolt 5 的支持，实现多 Mac Studio 节点间的高速互联与分布式推理。
    • 验证了在本地集群运行近万亿参数模型（Muse Spark Open）的可行性，四机集群推理速度达 36+ tokens/s。
    • 利用 Apple Silicon 的统一内存架构优势，显著优化了超大模型的加载与首字生成延迟。