生成模型与判别模型
有监督学习方法可以分为生成方法和判别方法，学习得到的模型对应称为生成模型与判别模型。
事物的状态是有概率的，设输入集合是 X , 可以输出的集合是 Y，那么 P(Y|X)表示已知X情况下标签是Y的概率模型，即给出任意xi, yj，都可求出p(yj|xi)；P(Y,X)表示Y和X一起发生的概率模型，同理就是求出所有的p(yj, xi)。
对于分类问题，就是输入X，输出标签Y，从概率角度说，就是已知X，找概率最大的Y，即条件概率分布P(Y|X)。
- 生成模型：生成数据的分布，也就是求联合分布
P(Y, X)，再通过贝叶斯理论计算P(Y|X)。 - 判别模型：判别输出结果的模型，直接训练条件分布
P(Y|X)。
生成模型的P(Y,X)可以计算出P(Y|X)，反之则不行。联合分布具有更多的信息，所以会有更广的普适性。可以处理存在隐变量的情况，也是这篇博客接下来要讲的。
判别模型由于直接学习条件分布P(Y|X)，所以允许对输入进行抽象，比如降维，从而简化学习问题，
于是就比较容易理解常见的判别方法有SVM、逻辑回归等； 常见的生成方法有朴素贝叶斯法、隐马尔可夫模型等。