llama.cpp

Datasette 的中间层插件 datasette-llm 发布 0.1a11 版本，新增对 OpenAI 兼容端点的支持，可将 Datasette 配置为调用任意遵循该协议的模型服务。这意味着用户能通过 LM Studio、Ollama 或 llama.cpp 等本地推理后端驱动 Datasette Agent，实现完全本地化的数据对话查询。

llama.cpp 与底层张量库 ggml 同步发布 1.0 版本，标志着项目进入稳定阶段，llama.cpp 同时移除了 35 个已废弃的公开接口。SGLang 也在峰会上宣布 1.0 版本，本地推理与高性能服务框架的工程成熟度进一步提升。

ggml 发布 v1.0.0，标志着这一支撑 llama.cpp 生态的底层张量库首次进入正式版本化阶段。其核心卖点是无依赖纯 C/C++ 实现、跨 x86/ARM/RISC-V 等多架构、2 至 8 位整数量化并支持 MXFP4 与 NVFP4 微缩放格式，且运行时零内存分配。对本地推理与端侧部署开发者而言，这是生态稳定性的重要信号。

llama.cpp 与底层张量库 ggml 正式迈入 1.0.0 版本，首次确立 MAJOR/MINOR/PATCH 语义化版本规则，明确公共 C API 破坏性变更边界。项目已支持超过 150 种模型架构变体与主流推测解码方法，并借助英伟达、AMD、高通、Arm、IBM、英特尔硬件扩大跨平台自托管 CI 测试覆盖。

Unsloth 为 Qwen3.8-27B 及 2.4T-A95B 等模型发布 Dynamic v3.1 量化版本，提供 UD-Q4_K_XL、IQ1_S 等多档 GGUF 权重，并配套一键安装脚本与 llama.cpp 本地部署命令。该更新降低了超大 MoE 模型在消费级与低比特环境下的本地运行门槛。

llama.cpp 正式发布 v1.0.0，在项目启动 3.5 年后确立稳定版本基线。该项目以量化、优化后端与可移植 C/C++ 实现为核心，支持在消费级设备到企业服务器上运行多模态大模型，是本地与私有化 AI 推理生态的关键底座。

llama.cpp 的 tiled K-quant matmul 此前只提供 AVX-512、AVX2 与 AVX 内核，Arm 上的 Q3_K、Q2_K 与 IQ 系列量化格式因此回退到逐次解包权重的慢路径。该贡献补上了基于 NEON SDOT 指令的 Arm 内层内核，在 Neoverse N1 上 IQ3_M 的提示处理从 11.5 tokens/s 提升到 74.5 tokens/s，约 6.5 倍，V1 与 V2 上也有 3.3 至 4.9 倍增益。

一名 Reddit 网友在无显卡的家庭实验室环境中，借助已停产的英特尔傲腾持久内存 200 系列与 llama.cpp，成功加载并推理 2.8 万亿参数的月之暗面 Kimi K3 模型。在 1 比特量化下，关闭 DAX 并让热数据走 DRAM 缓存后，输出速度从每秒 0.85 词元提升至 1.5 词元，3 比特量化则仅 0.75 词元，生成 5 万词元需约 18.5 小时。该实验证明超大模型可完全依赖内存层级而非 GPU 显存运行，但速度远不具备实用价值。

Liquid AI 发布 LiquidCodec，一个约 7400 万参数的流式音频编解码器，将语音转为语言模型可预测的 token 再还原为音频，已用于 LFM3-Audio-2B 与 LFM3-Omni-2B。其核心创新是用分组有限标量量化（GFSQ）替代残差向量量化，每 80 毫秒帧生成 12 个独立 token 可并行预测，解码器直接预测频谱系数并跳过转置卷积上采样。在 Apple M4 Max 单 CPU 线程 FP32 下编码约 361 倍、解码约 87 倍实时，编码 RTF 0.0028 远优于 Kyutai Mimi 的 0.0361，并在全部 8 个测试集上取得最佳 ViSQOL 与 TTS UTMOSv2；但 PESQ 在 7/8 测试集上仍落后 NVIDIA NanoCodec，且未公布比特率与毫秒级延迟。权重已在 Hugging Face 开放，并提供 llama.cpp 的 GGUF 量化版本。

华为开源了内部量化工具 MACaQ，这是一种模型无关的校准量化方案，可覆盖文本、图像、视频与音频模型，并适配 llama.cpp、vLLM、Diffusers 与 PyTorch 四大后端。官方数据显示，仅用 32.5 GB 显存即可在 64 分钟内完成 122B 参数模型的量化，在 Llama-3-8B 上达到同等困惑度时量化耗时减少 11 倍。