本地 MCP 代理为开发人员修剪 LLM 令牌浪费
llmtrim,由Fkiene开发,是一种本地优化工具,旨在减少大型语言模型请求的令牌占用,以降低操作开销。它拦截出站API调用,去除非必要的令牌,压缩空格、冗余模式和冗长日志,在它们到达提供者之前。该工具支持基于MCP的代理,并提供可嵌入的库,使其适合需要可预测令牌压缩和更严格隐私控制的软件工程师和AI研究人员。
为高容量代码和终端交换而构建
该工具针对工作流程,其中大量代码块和终端输出与LLMs交换,充当本地中介,修剪提示、对话历史、工具输出和源代码,以减少浪费的令牌。它作为模型上下文协议(MCP)服务器或独立本地代理运行,并通过语言库嵌入到应用程序中,因此它直接适合代理驱动的编码管道和可脚本化的开发工具。
修剪旨在保留答案,同时减少令牌使用
llmtrim使用确定性、基于规则的修剪来删除重复内容和结构浪费,而不调用额外的模型,开发者报告这种设计不会改变响应质量。测量的效果包括约31%的输入令牌减少和高达74%的输出令牌减少,增加的处理延迟约为每个请求5毫秒,保持每次调用的开销最小。
与代理和许多开发栈集成
该服务器是协议无关的,并与MCP代理(如Claude Desktop和Cursor)显式兼容,并提供Rust、Python、Ruby、Kotlin、Swift和JavaScript/TypeScript的可嵌入库。这种多语言支持使团队可以将该工具作为本地代理二进制文件采用,或通过将库直接集成到后端服务和代理控制器中来使用。
在本地处理数据,但需要本地基础设施信任
所有处理都发生在用户的机器上:该工具在本地终止TLS以检查和压缩请求,并且不将数据发送到超出预期LLM提供者的第三方。它作为Fabian Kiene在GitHub上的开源项目进行维护。权衡是团队必须在其基础设施内部署和管理本地代理或库,并接受本地TLS终止。
适合准备管理本地中间件的工程团队
该工具是一个务实的选择,适合需要可预测的令牌压缩和对LLM流量进行本地控制的工程团队。其确定性的修剪和低每请求延迟有利于脚本代理和编码工作流程,而部署本地代理和维护规则集的需求使其更适合拥有开发资源的团队,而不是寻求即插即用云解决方案的用户。