Per-Layer Embedding
魔改Tokenizer(Embedding),感觉比魔改残差有前途。
魔改Tokenizer(Embedding),感觉比魔改残差有前途。
魔改残差。
召回,推荐系统需要召回,NTP(next token prediction)其实也是召回。
Some LLM related content.
Position embeddings enable self-attention to perceive the sequence order. Without position embeddings, the self-attention will treat the same words in different order of a sentence as the same thing.
Diffusion, Stable Diffusion, Diffusion Transformer.
Variational Auto-encoder (VAE).
本篇是计算复杂性(CS7313)的第七章,主要研究计数复杂性。
矩阵理论第六课,主要讲特殊矩阵与矩阵分解。
本篇是计算复杂性(CS7313)的第六章,主要研究随机计算。