GR4AD — 大规模广告场景下的生成式推荐系统
快手团队：从 DLRM 迈向生成式推荐的全链路技术方案
基本信息
| 项目 | 内容 |
|---|---|
| 论文标题 | Generative Recommendation for Large-Scale Advertising |
| 论文简称 | GR4AD |
| 作者 | Ben Xue*, Dan Liu*, Lixiang Wang* 等 30 位作者（快手团队） |
| 机构 | Kuaishou Technology |
| arXiv ID | 2602.22732 |
| 状态 | Under Review |
一、研究背景与动机
快手广告推荐系统此前基于传统的 DLRM 技术栈。近年来，工业界开始将 DLRM 转向生成式推荐范式（如 OneRec、TIGER 等），利用 LLM 级别的扩展能力和模型容量。
但将生成式推荐直接部署于实时大规模广告系统面临三大核心挑战：
- 广告 Tokenization 困难：广告创意融合了视频属性、商品详情、B2B 广告主元数据等多种异构信息，单一语义编码难以覆盖。同时，转化类型、广告账户等非语义业务信号同样关键，传统 Semantic ID 无法建模这些信号。
- 学习范式不适配：广告推荐优化的是排序列表及业务目标（如 eCPM），现有方法大多沿用 LLM 的逐样本监督训练，缺乏面向 list-wise 指标的排序感知学习设计。
- 实时服务约束严格：生成式推荐不能绕开 DLRM 的延迟/QPS 硬约束——系统需在高并发、低延迟下产出多个高质量候选。这种多候选生成场景与 LLM 交互式使用有本质区别。
二、核心贡献
GR4AD 提出了架构—学习—推理全链路协同设计的生产级生成式推荐方案：
| 模块 | 贡献 | 解决的问题 |
|---|---|---|
| UA-SID | 统一广告语义 ID + MGMR 量化 | 广告 tokenization 的多模态异构信息建模 |
| LazyAR | 惰性自回归解码器 | 多候选生成的推理效率瓶颈 |
| VSL | 价值感知监督学习 | 模型训练与业务价值目标的对齐 |
| RSPO | 排序引导 Softmax 偏好优化 | List-wise 排序指标的直接优化 |
| DBS | 动态束搜索 + 流量自适应 | 线上推理的计算资源弹性调度 |
三、方法详解
3.1 UA-SID：统一广告语义 ID
UA-SID 是 GR4AD 的 tokenization 基础，解决的核心问题是：如何将广告内容编码为高质量、低碰撞的离散语义 ID。
Unified Advertisement Embedding（UAE）
UAE 通过两阶段训练得到广告 embedding：
- Instruction Tuning（IT）：设计 6 种 prompt 模板，覆盖快手全部广告类型。对不同广告类型采用不同的指令策略——例如对直播主播分析其人设和地域信息，对站外广告主聚焦商品行业和品牌。
- Co-occurrence Learning（CL）：利用 Swing 算法估计广告 item 的共现强度，对 (Video, Product, Advertiser) 三元组构建正样本对，通过 InfoNCE 对比损失注入协同信号。
MGMR RQ-Kmeans（多粒度—多分辨率量化）
- Multi-Resolution（多分辨率）：低层使用大 codebook 捕获主导语义，高层使用小 codebook 建模低熵残差。
- Multi-Granularity（多粒度）：最后一层采用基于非语义数值特征（如 item/account ID、转化类型）的哈希映射替代——SID 碰撞从 85.44% → 18.26%。
3.2 LazyAR：惰性自回归解码器
这是 GR4AD 在架构层面最巧妙的设计。
动机观察：第一层 SID 学习最难但推理成本最低，后面层容易预测但推理成本高——学习难度与推理成本严重错配。
LazyAR 设计：将模型 L 层 decoder 分成两部分——前 K 层不依赖 st-1，在第 K 层通过 gated fusion 注入 st-1，后 L-K 层正常自回归。前 K 层可以所有层级并行计算、跨 beam 共享。
3.3 VSL：价值感知监督学习
- eCPM Token 预测：将连续 eCPM 离散化为等频桶，在 UA-SID 序列后额外预测
- 价值感知样本加权：高价值用户和深层互动行为获得更高权重
- 辅助 MTP Loss：配合 LazyAR 的 trunk 训练
3.4 RSPO：排序引导的 Softmax 偏好优化
核心思想是直接对齐 NDCG 优化目标：基于 Lambda 框架定义 per-pair 的 ranking weight，构建 list-wise loss。论文证明了 ℒRSPO 是 NDCGcost 的上界（附录有完整证明）。
Reference 门控机制：训练样本来自异构数据源，对 GR4AD 自身产生的样本启用 reference model 约束，对其他管道的样本退化为 reference-free 模式。
VSL 与 RSPO 的统一：通过对齐分数 A(i) = |rp - rv| / (n-1) 动态调节两者权重——偏差大时加强 VSL（模仿），对齐时加强 RSPO（优化）。
3.5 Dynamic Beam Serving（DBS）
- Dynamic Beam Width：逐步递增的 beam 调度，利用早期层判断力强而后期层需要精细搜索的特性
- Traffic-Aware Adaptive Beam Search（TABS）：根据实时流量 QPS 动态调整 beam 规模
四、实验评估
整体消融实验
| 配置 | ΔRevenue | ΔQPS |
|---|---|---|
| DLRM（基线） | — | — |
| OneRec-V2（GR-Base） | +1.68% | — |
| + UA-SID | +1.92% | 0% |
| + VSL | +2.80% | -25% |
| + RSPO | +3.86% | -25% |
| + DBS | +4.32% | +20% |
| GR4AD（含 LazyAR） | +4.28% | +117% |
关键发现：RSPO 是收入提升最大的单一组件（+1.06%，对比 DPO/GRPO）；LazyAR 以微弱效果下降换来了 2 倍 QPS 提升。
Scaling Laws
- 模型规模缩放：0.03B → 0.08B → 0.16B → 0.32B，收入提升从 +2.13% → +4.43%，单调递增
- 推理时间缩放：beam 128 → 1024（固定 0.16B 模型），收入从 +2.33% → +4.21%
业务指标
- 中小广告主投放量 +17.5%
- 广告转化率 +10.17%
- 低活跃用户转化率 +7.28%
五、系统部署
GR4AD 在快手广告系统全量部署，包含四个闭环组件：
- 奖励系统：训练价值模型 + 探索性生成 → 产出 RL 日志
- 在线学习模块：VSL 日志 + RL 日志 → 实时 mini-batch 训练
- 实时索引模块：SID 索引替代 embedding 检索，新 item 映射仅需秒级
- 实时服务模块：DBS 推理 + 结果缓存
六、创新点分析
🌟 突出创新
- LazyAR 解码器：洞察到"首层学习难但推理便宜、后层学习易但推理贵"的非对称现象，精度几乎无损的 2x 加速。
- RSPO 排序优化算法：将 DPO 范式升维到 list-wise 场景，直接优化 NDCG 并给出理论保证。
- 全链路协同设计：Tokenization → 架构 → 学习 → 推理的纵向贯通。
💡 实用工程创新
- MGMR RQ-Kmeans：碰撞率从 85% 降至 18%，码本利用率提升 3 倍。
- VSL 样本加权：将业务价值直接融入训练目标。
- DBS 流量自适应：将"系统过载"问题转化为"资源利用"机会。
七、不足与局限
- 缺乏开源/可复现性：未提供模型权重、训练数据和代码
- 对比方法有限：未与更多 list-wise 方法（LambdaRank、ListNet 等）对比
- LazyAR 的泛化性受限：作者指出"不适合标准 LLM 解码"
- 仅聚焦广告场景：核心优化目标是 eCPM/收入
- eCPM token 的局限：离散化可能丢失精细排序信息
八、总结评价
| 维度 | 评分 | 评语 |
|---|---|---|
| 问题重要性 | ★★★★★ | 广告推荐是互联网核心变现场景 |
| 方法创新性 | ★★★★★ | LazyAR 和 RSPO 都有原创性贡献 |
| 技术深度 | ★★★★★ | 全链路深度定制 |
| 实验充分性 | ★★★★★ | A/B + 消融 + scaling law 全面 |
| 工业价值 | ★★★★★ | 4 亿用户 + 4.2% 收入提升 |
| 可复现性 | ★★★★★ | 无法复现，但工业论文惯例 |
GR4AD 是一篇质量极高的工业论文，展示了快手推荐团队从 DLRM 迈向生成式推荐的完整技术方案。LazyAR 的架构设计和 RSPO 的 list-wise RL 优化是两大技术亮点，4.2% 的收入提升在成熟推荐系统中相当罕见。
📎 论文链接：arXiv:2602.22732