JourneyToCoding

ChatGPT，时下（2022~2023）最火的语言模型，本质上是个Transformer解码器。

支持向量机（Support Vector Machine，SVM）是一类按监督学习（Supervised Learning）的方式对数据进行二分类的广义线性分类器。对于采用一条直线无法直接将正、负分开的非线性分类问题，SVM也可以借由核方法（Kernel Method）来实现非线性分类。不同于逻辑回归（Logistic Regression）的是，SVM可以直接得到决策边界（Decision Boundary）的数值解。

笛卡尔乘积（Cartesian product），又称笛卡尔积、直积，是一个在计算机领域很常用的集合操作。

链接预测（Link prediction），是图机器学习任务的一种。所谓链接预测，就是在给定一张图中的所有结点和部分边的情况下，预测图中缺失的边。链接预测的应用广泛，在社交推荐系统（Social recommendation system）、知识图谱（Knowledge graph）等领域中都有广泛的应用。

谷歌的搜索引擎发家算法--PageRank。虽然现在谷歌的搜索引擎中PageRank占比已经很少，但PageRank仍是一个重要的算法，且在与图相关的机器学习领域中继续发挥着余热，如APPNP就是用PageRank的衍生算法Topic-Sensitive PageRank优化了消息传递过程的图神经网络。

在HOW POWERFUL ARE GRAPH NEURAL NETROKS这篇论文中，作者提出了一种能够评判任意一种消息传递型图神经网络（Message Passing Graph Neural Networks，MPGNNs）架构表达能力的理论模型，并基于文中的理论提出了一种更为强大、简单的图神经网络架构--Graph Isomorphism Network（GIN）。

在国内，由于外网链接的不稳定（特别是github），使用PyTorch和Python下载、上传文件时常常会出现问题。本文记录了笔者在使用PyTorch和Python过程中因网络问题遇到的Bugs，同时还记录了一些较为有用的PyTorch语法。

谱方法是图卷积神经网络的理论依据，理解它对理解各种基于图卷积的神经网络有很大的帮助。

图傅里叶变换是傅里叶变换在离散的图信号上的形式。它是图神经网络，特别是图卷积神经网络的理论依据。

拉普拉斯算子是图片边缘检测和图神经网络中常用的概念，它能够揭示于多元函数的凹凸性以及某一点函数值与周围点函数值的关系。