免费下载 MCP 版

查看广告以免费下载

Softonic 评论

本地 MCP 代理为开发人员修剪 LLM 令牌浪费

llmtrim,由Fkiene开发,是一种本地优化工具,旨在减少大型语言模型请求的令牌占用,以降低操作开销。它拦截出站API调用,去除非必要的令牌,压缩空格、冗余模式和冗长日志,在它们到达提供者之前。该工具支持基于MCP的代理,并提供可嵌入的库,使其适合需要可预测令牌压缩和更严格隐私控制的软件工程师和AI研究人员。

为高容量代码和终端交换而构建

该工具针对工作流程,其中大量代码块和终端输出与LLMs交换,充当本地中介,修剪提示、对话历史、工具输出和源代码,以减少浪费的令牌。它作为模型上下文协议(MCP)服务器或独立本地代理运行,并通过语言库嵌入到应用程序中,因此它直接适合代理驱动的编码管道和可脚本化的开发工具。

修剪旨在保留答案,同时减少令牌使用

llmtrim使用确定性、基于规则的修剪来删除重复内容和结构浪费,而不调用额外的模型,开发者报告这种设计不会改变响应质量。测量的效果包括约31%的输入令牌减少和高达74%的输出令牌减少,增加的处理延迟约为每个请求5毫秒,保持每次调用的开销最小。

与代理和许多开发栈集成

该服务器是协议无关的,并与MCP代理(如Claude Desktop和Cursor)显式兼容,并提供Rust、Python、Ruby、Kotlin、Swift和JavaScript/TypeScript的可嵌入库。这种多语言支持使团队可以将该工具作为本地代理二进制文件采用,或通过将库直接集成到后端服务和代理控制器中来使用。

在本地处理数据,但需要本地基础设施信任

所有处理都发生在用户的机器上:该工具在本地终止TLS以检查和压缩请求,并且不将数据发送到超出预期LLM提供者的第三方。它作为Fabian Kiene在GitHub上的开源项目进行维护。权衡是团队必须在其基础设施内部署和管理本地代理或库,并接受本地TLS终止。

适合准备管理本地中间件的工程团队

该工具是一个务实的选择,适合需要可预测的令牌压缩和对LLM流量进行本地控制的工程团队。其确定性的修剪和低每请求延迟有利于脚本代理和编码工作流程,而部署本地代理和维护规则集的需求使其更适合拥有开发资源的团队,而不是寻求即插即用云解决方案的用户。

  • 赞成

    • 开发者测量显示输出令牌减少高达74%
    • 与MCP兼容,适用于Claude Desktop和Cursor等代理
    • 可嵌入的库用于 Rust、Python、Ruby、Kotlin、Swift、JavaScript/TypeScript
    • 每个请求大约增加5毫秒的延迟,最小的开销
  • 反对

    • 在本地终止TLS,要求对主机环境的信任
    • 本地部署和集成为团队增加了操作设置
    • 基于规则的修剪可能需要手动规则更新以适应自定义模式

应用参数

  • 开发者

  • 许可证

    免费

  • 版本

    v0.13.4

  • 更新日期

  • 平台

    MCP

  • 语言

    英语

应用程式 提供其他语言版本


免费下载 MCP 版

查看广告以免费下载


用户对 llmtrim 的评分

您是否尝试过 llmtrim?成为第一个离开您的意见!

添加评论
有关使用此软件的法律因国家/地区而异。 如果违反这些法律,我们不鼓励或纵容此程序的使用。
已使用 登录 Softonic