JourneyToCoding

谷歌的搜索引擎发家算法--PageRank。虽然现在谷歌的搜索引擎中PageRank占比已经很少，但PageRank仍是一个重要的算法，且在与图相关的机器学习领域中继续发挥着余热，如APPNP就是用PageRank的衍生算法Topic-Sensitive PageRank优化了消息传递过程的图神经网络。

在HOW POWERFUL ARE GRAPH NEURAL NETROKS这篇论文中，作者提出了一种能够评判任意一种消息传递型图神经网络（Message Passing Graph Neural Networks，MPGNNs）架构表达能力的理论模型，并基于文中的理论提出了一种更为强大、简单的图神经网络架构--Graph Isomorphism Network（GIN）。

在国内，由于外网链接的不稳定（特别是github），使用PyTorch和Python下载、上传文件时常常会出现问题。本文记录了笔者在使用PyTorch和Python过程中因网络问题遇到的Bugs，同时还记录了一些较为有用的PyTorch语法。

谱方法是图卷积神经网络的理论依据，理解它对理解各种基于图卷积的神经网络有很大的帮助。

图傅里叶变换是傅里叶变换在离散的图信号上的形式。它是图神经网络，特别是图卷积神经网络的理论依据。

拉普拉斯算子是图片边缘检测和图神经网络中常用的概念，它能够揭示于多元函数的凹凸性以及某一点函数值与周围点函数值的关系。

图神经网络（GNNs）是以图作为数据集的神经网络，它在近十年取得了很大的进展，特别是图卷积神经网络（GCNs）及其变体的出现，使得GNNs在车流量预测、推荐系统等实际领域中取得了不错的进展。

这篇论文发表于前两篇论文之后，但它没有受到Distribution Matching的影响，试着融合核心集法和蒸馏法，而是回到了最原始的参数匹配法。它对原始的参数匹配法进行了改进，并取得了较好的性能，且内存消耗和速度也有了较大的优化。

这篇论文提出的方法是对作者提出的基于梯度匹配的数据缩合法的改进。后者的缩合需要进行两个方向上的梯度下降还要求二阶导，这需要大量的计算，限制了其在大数据集上的应用。这篇论文提出的基于分布匹配的数据缩合则很好地解决了这个问题。

这篇论文是对传统的数据蒸馏（Dataset Distillation）的一种改进，称“数据缩合”（Dataset Condensation）。这是数据蒸馏领域最具突破性的研究之一。该论文首次提出了梯度匹配策略，以该策略蒸馏出来的数据集的测试准确率和泛化精度都有了极大的提升。