半监督学习

在半监督学习的框架下， $P(x)$ 产生的未标记样本和 $P(x,y)$ 中的标记样本都用于估计 $P(y|x)$ 或者根据 $x$ 预测 $y$ 。

在深度学习的背景下，半监督学习通常指的是学习一个表示 $h = f(x)$ 。 学习表示的目的是使相同类中的样本有类似的表示。无监督学习可以为如何在表示空间聚集样本提供有用线索。在输入空间紧密聚集的样本应该被映射到类似的表示。在许多情况下，新空间上的线性分类器可以达到较好的泛化。这种方法的一个经典变种是使用主成分分析作为分类前（在投影后的数据上分类）的预处理步骤。

我们可以构建这样一个模型，其中生成模型 $P(x)$ 或 $P(x,y)$ 与判别模型 $P(y|x)$ 共享参数，而不用分离无监督和监督部分。 我们权衡监督模型准则 $-P(x,y)$ 和无监督或生成模型准则（如 $-P(x)$ 或 $-P(x,y)$ )。生成模型准则表达了对监督学习问题解的特殊形式的先验知识，即 $P(x)$ 的结构通过某种共享参数的方式连接到 $P(y|x)$ 。通过控制在总准则中的生成准则，我们可以获得比纯生成或纯判别训练准则更好的权衡。