摘要
近年来，基于 LLM 的智能体系统在多轮交互、工具调用和跨会话工作流中不断积累上下文。然而，对于每个请求重放完整历史记录迅速变得不切实际：长上下文增加了预填充成本，可能超出上下文限制，并且常常在无关内容中掩埋任务相关证据，降低服务效率和输出质量。
为了解决这一问题，我们提出了 Akashic，这是一种以 MemAttention 为核心的低开销记忆系统。它将上下文组织成有限的块，并建立块之间的语义关系，从而在不重复重写完整历史的情况下，保留跨块证据。此外，Akashic 还应用了硬件与软件协同设计的内存放置策略，以共同定位可能被共同检索的块，减少检索碎片和 I/O 开销。
在四个代表性工作负载和三个模型规模下，Akashic 在强大的先前内存基线之上，任务准确率提高了最多 10.2 个百分点，吞吐量提高了最多 1.21 倍，以及可持续请求率提高了最多 1.88 倍。
博主点评： Akashic 的设计有效地改善了 LLM 系统的内存管理问题，通过 MemAttention 技术在保持上下文的同时优化了性能。这种方法不仅提升了任务的准确性和吞吐量，还为未来的多轮交互系统提供了新的思路，展示了硬件与软件协同设计的重要性。其创新的内存管理策略值得在更广泛的应用中推广。