Latent SpaceT1·开源与评测
58 分
llama.cpp 与底层张量库 ggml 同步发布 1.0 版本,标志着项目进入稳定阶段,llama.cpp 同时移除了 35 个已废弃的公开接口。SGLang 也在峰会上宣布 1.0 版本,本地推理与高性能服务框架的工程成熟度进一步提升。
无依赖的纯 C/C++ 机器学习张量库,llama.cpp 的底层计算引擎,支持多架构与低比特量化
llama.cpp 与底层张量库 ggml 同步发布 1.0 版本,标志着项目进入稳定阶段,llama.cpp 同时移除了 35 个已废弃的公开接口。SGLang 也在峰会上宣布 1.0 版本,本地推理与高性能服务框架的工程成熟度进一步提升。
ggml 发布 v1.0.0,标志着这一支撑 llama.cpp 生态的底层张量库首次进入正式版本化阶段。其核心卖点是无依赖纯 C/C++ 实现、跨 x86/ARM/RISC-V 等多架构、2 至 8 位整数量化并支持 MXFP4 与 NVFP4 微缩放格式,且运行时零内存分配。对本地推理与端侧部署开发者而言,这是生态稳定性的重要信号。
llama.cpp 与底层张量库 ggml 正式迈入 1.0.0 版本,首次确立 MAJOR/MINOR/PATCH 语义化版本规则,明确公共 C API 破坏性变更边界。项目已支持超过 150 种模型架构变体与主流推测解码方法,并借助英伟达、AMD、高通、Arm、IBM、英特尔硬件扩大跨平台自托管 CI 测试覆盖。