JourneyToCoding

RQ-VAE，利用多层的小Codebook代替一层的大Codebook，以控制Codebook的大小。

排序阶段全面向大模型对齐。

魔改Tokenizer（Embedding），感觉比魔改残差有前途。

魔改残差。

召回，推荐系统需要召回，NTP（next token prediction）其实也是召回。

Some LLM related content.

Position embeddings enable self-attention to perceive the sequence order. Without position embeddings, the self-attention will treat the same words in different order of a sentence as the same thing.

Diffusion, Stable Diffusion, Diffusion Transformer.

Variational Auto-encoder (VAE).

本篇是计算复杂性（CS7313）的第七章，主要研究计数复杂性。