在现实的复杂搜索中，用户需要的往往不是单个孤立的结果，而是一组丰富、互补、连贯且能在数据库中找到的内容集合。然而，线上搜索又要求亚秒级响应；如果让通用大模型在每次请求时现场深度推理，其逐 token 生成的耗时便与实时搜索产生了直接冲突。

为了化解这一矛盾，Google Research 在 ICML 2026 论文中提出了 Retrieve-for-Train（R4T）：它不再让大模型对每次搜索请求现场“深度思考”，而是先用强化学习在离线阶段找出好的查询拆解策略，再把这种行为蒸馏给一个 5390 万参数的轻量扩散检索器。扩散模型将多个检索方向一次并行生成，在兼顾集合质量的同时实现了大幅加速。

这项工作针对的不是“找到最相关的一个结果”，而是更难的集合检索：返回的一组结果既要各自有用，又要互相补充，整体还不能偏离用户意图和数据库实际内容。这类需求常见于商品搭配、歌单、内容推荐以及复杂查询的多路召回。

图：Google Research。复杂搜索的目标是得到互补集合，而非同一类结果的重复。

痛点：传统大模型做复杂搜索卡在哪？

搜索“露营装备”时，十顶略有不同的四人帐篷不是一份好答案。更合理的结果是帐篷、睡袋、便携炉和头灯组成的整套装备。搜索系统因此会先做查询扇出（Query Fan-out）：把一个宽泛查询拆成多个子查询，再将各路检索结果组合起来。

直接用零样本大模型生成这些子查询，在实际落地中存在两个硬伤：

1. 近义改写坍缩：面对“波西米亚音乐节风格”，模型极易陷入同义反复，仅生成“波西米亚音乐节服饰”“波西米亚风穿搭”等同义句，而给不出流苏夹克、钩针裙、麂皮靴等真正互补且不同的具体方向。
2. 自回归延迟瓶颈：模型逐 token 生成，且通常要消耗数百个中间 CoT（思维链）token，推理耗时随批量增长，与线上搜索要求的亚秒级响应冲突。

更根本的困难在于，这里的好坏由整个结果集决定。“多样”、“互补”、“覆盖充分”都是集合级属性，只有把多个结果放在一起才能判断。这类开放式检索没有唯一标准答案，单项排序目标难以表达，真实世界中也缺少现成的黄金标准集合可供监督学习。

R4T 的三步：让强化学习只在训练时昂贵一次

R4T 把强化学习当成一个“目标转导器”：它先用奖励函数找到满足集合属性的检索行为，再把行为编译成可供小模型学习的数据。

1. 训练扇出语言模型（FOLM）。 研究使用 Gemma3-4B 和 Qwen3-4B，通过 Soft-GRPO 优化每次生成的 10 个子查询。奖励不是单独给每条结果打分，而是评估整组子查询。
2. 合成监督数据。 冻结已训练的 FOLM，离线生成“原始查询 → 目标集合”样本对。由于结果集没有固定顺序，训练扩散模型时会随机打乱目标顺序，以增强模型对排列变化的稳健性。这一步不需要人工标注，但它仍依赖前一阶段的检索器和奖励设计，并非“零成本”。
3. 训练扩散检索器。 5390 万参数的模型学会从查询嵌入一次生成 L 个检索方向的向量，再用最近邻检索映射回固定数据库内容，而不是直接生成商品或歌曲。它不生成中间文本子查询，也不按顺序逐个吐出结果，因此可以一次并行完成 fan-out。

图：Google Research。在线部署的是最后的轻量扩散检索器，高成本的奖励探索已在离线阶段完成。

这个设计的价值不只是小模型替代大模型。更关键的是，训练阶段可以反复与数据库交互、计算集合奖励和尝试不同分解；到线上时，系统只执行已学会的分布，不再为每个用户重复这段探索。

三种奖励必须相互牵制

R4T 在开放式抽象检索（OAR）中同时优化三类奖励：

• 落地性（Groundedness）：惩罚子查询与数据库嵌入流形的距离，让查询能对应到库中实际可检索的内容。
• 多样性（Diversity）：对整个子查询集合计算 Vendi Score，避免多条路径都挤在同一个语义模式里。
• 对齐度（Alignment）：把展开后的方向锚定在原始查询上，防止为了多样而跑题。

消融实验解释了为什么三者缺一不可。只优化落地性时，模型会找到奖励漏洞，生成“line ending line ending”这类没有意义、却恰好靠近某个数据库坐标的字符串。再加入对齐度，模型又会通过反复改写原查询投机。多样性成为第三个反向锚点，迫使策略找到既可检索、又不偏题且彼此不同的区域。

这也意味着奖励权重不是越大越好。论文的权重实验显示，落地性占比过高会伤害语义对齐；过度强调对齐和多样性又会压制探索和覆盖。R4T 默认在 OAR 中使用 0.6 : 0.2 : 0.2 的落地性、多样性和对齐度权重；这是当前实验设置，不是所有数据库都通用的最优配方。

实验到底证明了什么

评测分成两类任务。OAR 没有唯一的真值集合，用集合多样性、查询对齐度和落地性来衡量。弱监督组合检索（WSCR）则给出一组参考物品，使用 Recall@5K、Hit@5K 和 Vendi Score 评估覆盖与多样性。论文在两个数据集上验证：Polyvore 时尚数据在 OAR 中包含 21,888 个穿搭集合，在 WSCR 中包含 142,472 件商品，使用 CLIP 系图文嵌入；音乐 OAR 则包含 8,522 个歌单嵌入，使用 MuLan 音频—文本嵌入。需要指出的是，该音乐数据属于专有的工业界专家歌单，外部研究者无法获取，因而外部复现受限。

三个对照基线分别是：不做 fan-out 的密集检索；用 Gemini-2.5-Flash、Gemma3-4B 或 Qwen3-4B 直接零样本展开；以及独立执行 5 次 fan-out、再按奖励挑选最好结果的 Best-of-N。结果支持三个判断：

1. fan-out 本身有价值，但零样本 fan-out 还不够。 它通常比原查询直接检索覆盖更好，但会偏离数据库流形或生成近重复表达。
2. 奖励可以选出更好的集合，但线上重复采样不可扩展。 Best-of-N 证明了奖励信号有效，代价是每个请求要独立运行多次大模型。
3. R4T 改善了质量—效率前沿，但两种部署形态各有权衡，并非“全面更准”。 R4T-FOLM 在 OAR 中相对同尺寸基线的质量改善更明显，但它依然承受自回归语言模型的推理延迟；参数量仅 5390 万的 R4T-Diffusion 才是低延迟部署的重点，它保留了较多多样性并改善覆盖，但部分对齐指标会有所折中。在 WSCR 中，召回更高的变体也可能得到较低的 Vendi Score，因为围绕参考集合提高覆盖可能会收窄发散探索。

图：Google Research。不同任务的指标定义不同，不宜把所有柱子简化成单一“准确率”。

12–20 倍加速的真实口径

效率实验固定每个查询产生 10 个检索方向，比较自回归 LLM fan-out 与扩散检索器在不同批量下的墙钟时间。批量为 8 时，自回归方法约需 1.46 秒，扩散模型约需 0.07 秒；批量增至 1024 时，前者接近 50 秒，后者为 4.21 秒。整体得到 12–20 倍加速。

因此，“亚秒级”只适用于较小批量，不能概括所有设置。这组数字也是论文特定硬件、模型和实验管线下的相对结果，不是任意搜索系统都会自动获得的通用 SLA。

它把成本移走了，却没有让成本消失

R4T 最有用的工程启发，是把“复杂目标探索”和“低延迟执行”拆成两个阶段。当业务已能用奖励函数表达结果集应该如何时，可以用大模型和强化学习做离线探索，再用更贴合集合输出形式的小模型在线执行。它适合的是结果集合的高阶属性重要、请求量大、数据库相对稳定，且训练成本能被大量线上请求摊薄的场景。

它也有四个明确边界：

• 强化学习需要反复与冻结的检索器交互并计算奖励。对极大或频繁变化的数据库，前期成本可能很高，而且可能需要重新训练。
• 它假设业务想要的检索属性能被写成显式奖励。创造性、新颖性、文化敏感性等主观偏好很难压缩为标量分数。
• OAR 评测部分依赖 LLM-as-a-Judge。即使通过打乱物品顺序、显式评分规则和要求理由来减少偏差，评审模型本身的偏差仍然存在，也不能替代真实用户价值。
• 当前证据只覆盖特定的 FOLM、嵌入空间、扩散架构以及时尚/音乐任务。框架在逻辑上可扩展，不等于它在其他模态、检索骨干和业务目标上已被验证。

这项工作因而更适合被理解为一条方法路线：用强化学习把难以标注的集合级目标编译成训练数据，再用扩散模型把昂贵的在线思考换成快速的并行采样。它没有消除价值判断、奖励设计和数据变化的成本，但把这些成本从每次用户请求里抽离了出来。