工具slug: llmtee

llmtee

自托管 LLM 代理,记录每次调用的 token、成本、延迟与首 token 时间并支持预算限制

收录情报动态

共 1 篇 · 第 1/1 页
Hacker News AIT2·开发与工程
62 分
llmtee 开源代理记录 LLM 调用成本与延迟

llmtee 是一个自托管的 LLM 代理,兼容 OpenAI、Anthropic 及 OpenRouter、Ollama、vLLM 等 OpenAI 兼容服务,只需将客户端 base URL 指向它即可记录每次请求的 token、成本、延迟与首 token 时间。它以单个 Go 二进制加 SQLite 运行,支持按 key 设置日/月预算并在超限时返回 429,数据可通过 Web UI、CSV、Prometheus 或 MCP 读取。