Apple发布MLX新版支持Mac Studio分布式推理
热点事件持续更新
Apple发布MLX新版支持Mac Studio分布式推理
1 篇报道1 个报道来源20 小时前更新
先了解这件事
AI 综述
2026年10月15日,Apple Machine Learning Research 发布 MLX 新版本,展示在 Mac Studio 上本地及跨机运行前沿大模型的方法。据其介绍,macOS 26.2 引入了基于 Thunderbolt 5 的低延迟 RDMA 驱动,MLX(v0.30.1 及以后)在该驱动之上提供新的通信集合 jaccl,用于不同并行方案;单台 Mac Studio 最高支持 512GB 统一内存,并可通过 RDMA over Thunderbolt 驱动扩展至多台 Mac。在四台 M5 Ultra Mac Studio 组成的集群上,816B 参数的 MoE 模型 Muse Spark Open 以 NVFP4 精度达到超过 36 tokens/s 的解码速度,M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍。其测试设置中,两台 Mac Studio 通过两根 Thunderbolt 线缆连接以将链路带宽翻倍。以上均为 Apple 单方面发布的信息。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 08:00
Apple 用 MLX 与 RDMA 在 Mac Studio 上实现本地与分布式大模型推理报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- Apple Machine Learning Research精选Apple 用 MLX 与 RDMA 在 Mac Studio 上实现本地与分布式大模型推理
Apple 发布 MLX 新版本,展示在 Mac Studio 上本地及跨机运行前沿大模型的方法。在四台 M5 Ultra Mac Studio 组成的集群上,816B 参数的 MoE 模型 Muse Spark Open 以 NVFP4 精度达到超过 36 tokens/s 的解码速度,M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。