将 LLM 当做操作系统

将 LLM 当做操作系统

大型语言模型（LLM）在扩展对话和文档分析等任务中存在上下文窗口有限的局限性。为了解决这个问题，作者提出了虚拟上下文管理，这是一种受传统操作系统的分层存储系统启发的技术。他们引入了MemGPT系统，该系统管理不同的存储层次，在LLM有限的上下文窗口中提供扩展的上下文，并利用中断来管理其与用户之间的控制流。作者在两个领域评估了他们基于操作系统的设计，其中现代LLM的有限上下文窗口严重限制了其性能：文档分析和多会话聊天。