RQ-VAE
RQ-VAE
RQ-VAE，方法很简单，一言以蔽之就是用List-wise的索引[1,2,3]代替Point-wise的索引[1]，以达到$A+B+C=ABC$的效果，其中$A$、$B$、$C$分别为一、二、三级Codebook的大小。实际上把VQ-VAE简单扩展一下就可以实现这样的效果，但RQ-VAE略有不同，它每级用的都是一个Codebook，而用于匹配索引的Item embedding是上一级的残差，即：
其中$e(k _d)$是$k _d$索引的Embedding，$r _{d-1}$为残差，$r _0$初始化为Item embedding。
TIGER
TIGER在多方面都算是生成式召回比较开山、有代表性的工作。
TIGER将RQ-VAE生成的List-wise索引称为Semantic IDs（SID），并搭建了一个NTP的SID生成范式。SID的初始Item embedding为对Item的一系列文本描述经过BERT后的编码，然后基于这个编码训练RQ-VAE（每级单独的Codebook，这点与原始RQ-VAE不同）得到每个Item的SID。每个Item SID的大小为3，对SID相同的Item额外增加一个ID进行区分（即大小为4）。对于可能出现的虚假SID问题，即没有任何Item与该SID组合匹配，文中的实验指出，这种情况出现的概率极低。
