Simon Willison 博客T2·开发与工程
42 分
Datasette 的中间层插件 datasette-llm 发布 0.1a11 版本,新增对 OpenAI 兼容端点的支持,可将 Datasette 配置为调用任意遵循该协议的模型服务。这意味着用户能通过 LM Studio、Ollama 或 llama.cpp 等本地推理后端驱动 Datasette Agent,实现完全本地化的数据对话查询。
本地大模型运行与管理的开源工具,提供简洁的命令行与 API 接口
Datasette 的中间层插件 datasette-llm 发布 0.1a11 版本,新增对 OpenAI 兼容端点的支持,可将 Datasette 配置为调用任意遵循该协议的模型服务。这意味着用户能通过 LM Studio、Ollama 或 llama.cpp 等本地推理后端驱动 Datasette Agent,实现完全本地化的数据对话查询。
llmtee 是一个自托管的 LLM 代理,兼容 OpenAI、Anthropic 及 OpenRouter、Ollama、vLLM 等 OpenAI 兼容服务,只需将客户端 base URL 指向它即可记录每次请求的 token、成本、延迟与首 token 时间。它以单个 Go 二进制加 SQLite 运行,支持按 key 设置日/月预算并在超限时返回 429,数据可通过 Web UI、CSV、Prometheus 或 MCP 读取。