Spotify Engineering 发布数据湖点查询方案，面向在线服务和 AI 代理优化检索路径
Spotify Engineering 于 2026 年 7 月 27 日发布文章 Indexing the Data Lake for Online Point Queries，讨论在线服务和 AI 代理在大规模数据检索中的低延迟需求。文章指出，用户历史、个性化功能和问答类代理都需要按键快速查询数据，但相关数据往往大到无法经济地长期放入 Bigtable 或 DynamoDB 这类 KV 存储。
文章提出 RAP 方法，围绕可准备的 Parquet 文件、外部索引和二级索引组织查询路径。Spotify 方面表示，这种做法的目标是把关键数据集中到更适合快速访问的结构中，同时减少单次查询需要读取的字节数和读取次数。
Spotify 还把这一方案与分布式 SQL 引擎的检索过程联系起来，强调系统需要在海量数据中快速定位“针尖”。在面向在线业务和 AI 代理的场景下，查询不只是返回结果，还要为后续过滤、聚合和本地 SQL 计算提供上下文。
该文还分别介绍了 External Index、Concentrating Key Data、Reducing Bytes Read 和 Reducing Read Operations 等方向，说明如何通过索引结构和数据布局配合，压缩在线点查询的成本。
Spotify 表示，这类设计适用于需要在超大数据集上维持交互速度的在线功能，也适用于需要快速读取上下文并继续推理的 AI 代理工作流。
