Today for AI
返回热点榜
tools热度 0.0°

AI 聚合热点事件 · 2026/10/20

Google 开源 TorchTPU 实现 PyTorch 原生 TPU 推理

6 篇收录报道0 家独立信源交叉印证持续跟踪至 2026/10/21 07:14:01
全景综述与最新动态

Google 正式开源 TorchTPU，为 PyTorch 框架提供原生的 Tensor Processing Units (TPU) 后端支持。这一突破性进展允许开发者直接在 TPU 上运行标准 PyTorch 代码，彻底摆脱了对 JAX 或复杂 torch_xla 适配层的依赖，显著降低了使用 Google 云端 AI 基础设施的技术门槛。

多方信源交叉验证显示，该集成已深度融入主流 AI 生态。Hugging Face 宣布其 Transformers 和 Diffusers 库全面支持通过 'tpu' 设备直接调用模型；vLLM 则推出 vllm-torchtpu 后端，实现了“零代码修改”迁移，复用现有模型定义并保留 OpenAI 兼容 API 接口。技术层面，TorchTPU 内置自定义 ATen 内核、XLA 编译缓存及针对注意力机制的 Pallas 优化，支持 Llama、Qwen 等主流大模型的分布式训练与高效推理。

此举被视为挑战 Nvidia GPU 在 AI 开发领域默认垄断地位的关键一步。通过与 Amazon 的 TorchNeuron 形成合力，Google 旨在构建更开放的硬件生态，使 TPU 成为与 GPU 同等易用的开发目标。尽管大规模迁移仍需克服生态惯性，但原生支持的普及将加速非 Nvidia 硬件在企业级 AI 部署中的渗透率。

最新动向/谷歌正式开源原生 PyTorch 框架 TorchTPU，允许开发者无需重写代码即可将应用迁移至 TPU。此举联合 Meta、Hugging Face 等生态伙伴，旨在打破英伟达在 AI 硬件与软件栈上的垄断地位。

逐小时热度走势

168 个完整观测小时
当前
0.0
峰值
21.121:00
近 24h 变化
–

曲线只比较全程持续完整观测的同一批信源；缺口小时数据已插值平滑，保持趋势连续。

报道时间线

共 6 篇 · 最新优先
  1. IT之家 · IT业界T2·85 分

    谷歌开源 TorchTPU 挑战英伟达生态垄断

    原标题：谷歌开源 TorchTPU，挑战英伟达 AI 生态主导地位

    • TorchTPU 实现 PyTorch 应用在谷歌 TPU 上的原生运行，支持零代码修改迁移。
    • 谷歌联合 Meta、Hugging Face、vLLM 等关键生态方确保兼容性与功能对齐。
    • 配合亚马逊 TorchNeuron 的发布，云厂商正合力削弱英伟达对 PyTorch 生态的控制力。
  2. Rohan Paul (@rohanpaul_ai)T2·78 分

    Google 开源 TorchTPU 原生支持 PyTorch 脱离 Nvidia GPU

    原标题：Google and Amazon now both offer native PyTorch backends that let code leave Nvidia GPUs.

    • TorchTPU 取代 PyTorch/XLA，实现 TPU 上的原生 PyTorch 操作执行与逐步调试。
    • 开发阶段逐行调试，生产阶段自动切换至 torch.compile 以获取高性能。
    • 在训练 Qwen 3 8B 模型时，TorchTPU 能够利用高达 52% 的 TPU 峰值算力。
  5. vLLM 官方博客T1·78 分

    vLLM 推出 TorchTPU 后端 支持 Google TPU 原生推理

    原标题：Introducing vLLM TorchTPU

    • 实现“零代码修改”迁移：复用 vLLM 现有模型定义即可在 TPU 上服务大多数模型。
    • 保持体验一致性：沿用相同的 CLI、调度器及 OpenAI 兼容 API 接口。
    • 性能优化内置：集成针对注意力机制、MoE 及量化矩阵乘法的 Pallas 内核以提升推理速度。
  6. Hugging Face BlogT1·78 分

    Hugging Face 集成 TorchTPU 原生支持 PyTorch 运行 TPU

    原标题：Hugging Face ❤️ TorchTPU: TPUs, Natively

    • PyTorch 用户现可通过 TorchTPU 后端直接在 TPU 上运行代码，无需迁移至 JAX 或使用复杂的 torch_xla 适配层。
    • Hugging Face 核心库（Transformers, Diffusers, Kernels）已全面支持原生 TPU 推理与训练。
    • 该集成简化了云端 AI 基础设施的选择，使 TPU 成为与 GPU 同等易用的开发目标设备。