提示缓存如何工作，何时才能真正降低LLM成本？
提示缓存被宣传为一种免费获得的折扣。它并非自动开启，也并非在每个提供商那里都免费。节省的费用取决于你的流量的三个方面：每个请求中有多少内容重复，有多少请求共享该重复部分，以及它们之间经过多少时间。如果这三方面都做对了，在长时间的智能体会话中，缓存可以将输入令牌成本降低80%到90%。如果做错了，至少
如何构建自动切换模型的AI应用
大型语言模型（LLM）从根本上改变了我们构建现代软件的方式。 但是，对每个用户请求都依赖单一AI模型会带来严重的生产风险。API中断时有发生。对于简单任务，专有模型可能成本高昂。而较便宜的开源模型可能难以处理复杂的逻辑推理。 当我和我的团队为客户支持平台构建企业级AI引擎时，我们所有事情都依赖一个顶
提示工程与循环工程：开发者指南
对许多开发者来说，AI工作流程大致是这样的：编写提示词，获取响应，复制有用的部分，然后继续下一项任务。 这种方式涵盖了令人意想不到的广泛任务，从总结文档到起草电子邮件，再到解释一段代码。 但当任务涉及多个步骤、外部数据或依赖于模型刚返回结果而做出的决策时，这种工作流程就开始失效了。你最终不得不手动重
长上下文LLM服务中的真实权衡：内存、延迟、成本与准确性
“长上下文”的含义，以及为什么“支持”不等于“实际服务” 上下文是你在一次请求中发送给模型的所有内容：提示词、文档、代码、对话历史。它使用令牌（token）来衡量，令牌是词元片段，大约每1,000个令牌对应750个单词。128K令牌窗口（大约相当于一部小说的文本量）是当前常见的标准。 Llama 3
你的AI代理需要有限状态机(FSMs)
你的AI智能体需要有限状态机（FSM） 在我之前的文章中，我论证了AI如何改变约束在软件开发中的角色。 多年来，许多开发者将约束视为需要最小化的东西。动态语言比静态语言更受欢迎。无模式数据库承诺更大的灵活性。约定取代了配置。隐式行为往往比显式定义更受青睐。 这种动机是容易理解的。约束感觉像是摩擦，拖
我构建了一个实时重写自身UI的聊天应用
原文：https://dev.to/varshithvhegde/i-built-a-chat-app-that-rewrites-its-own-ui-in-real-time-21m5 我之前一直有个想法挥之不去 所有的AI聊天应用都一个样。你输入内容，模型返回文本或Markdown，UI将其
Cursor + BrowserAct 如何在不使用脆弱选择器的情况下处理动态页面
TL;DR 现代Web应用不断变化。组件会被重新渲染，构建时生成的属性可能不同。即使界面看起来一模一样，浏览器自动化也可能失败，因为它仍然依赖页面变化之前捕获的假设。 在这篇文章中，我使用Cursor配合BrowserAct CLI测试了一个动态项目筛选器。Cursor没有依赖不可靠的选择器，而是通
我将 Rust 热路径加速 27 倍，以及我拒绝合并的 AI 修复方案
两年前，我开源了 KeyEcho，一个在你按下按键时立即播放机械键盘音效的小型桌面应用。它获得了 800+ 星标。随后我在 2024 年 7 月发布了 v0.0.5 版本，然后就沉寂了。 问题从未停止。人们要求音效包，报告平台相关的 bug，并且持续使用这个我已经停止维护的东西。这个月我回来了，并通
我把Hailo 8塞进掌机，从此推理不再花钱
我把Hailo 8塞进掌机，从此推理不再花钱 云端AI是个订阅陷阱。我造了个能塞进夹克口袋、功耗仅3瓦的退出方案。 我厌倦了为思考支付租金。 每个酷炫的演示最终都殊途同归：注册API密钥、绑定信用卡、看着token蒸发的同时别人在记录你的提示词。我想要一台能看、能理解、能推理的设备，无需向俄勒冈的数
Jetson Nano：Ollama与最优量化
Jetson Nano：Ollama与最优量化 原文：https://dev.to/annavi11arrea1/jetson-nano-ollama-optimal-quantization-2de8 我很高兴地宣布，一位用户报告了功能异常，这让我得以深入探索并修复问题。在本地环境中调试是一回事