隐马尔可夫模型建模隐马尔可夫模型（Hidden Markov Model）也就是HMM是一个统计学习模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。 上面是比较学术的解释，下面看看我的解释: 隐马尔可夫模型的意思大概就是：我们现在能看到的东西其实都是表象，它的背后有一个我们看不见的 ...

混合模型（Mixture Model）由K个子分布组合而成的混合分布。 高斯混合模型由K个单高斯模型组合而成的模型，由k个高斯模型混合而成的模型并不是一个高斯模型，而是可以拟合任何分布。每个子模型都有未知的 $ \alpha_k$ ,$\mu_k$ ,$\sigma_k$ 。$ \alpha_k ...

写在前面这23种设计模式算是打开思维，让我知道原来可以这样设计，以为就要具体问题具体分析了。 设计模式的学习并非一日之功，需要在今后的项目中不断学习，总结经验。 代码写的烂，没思路的时候时常翻一翻设计模式，寻找灵感。 纸上得来终觉浅，设计模式更多的是一种经验。 概述java设计模式由四人帮提出。 主 ...

GAN为什么是“生成器+判别器”GAN全称是生成式对抗网络。包含一个生成器和一个判别器。 下面我们以两个问题作为引导，分析生成器和判别器各自的优缺点，然后阐述将判别器和生成器结合在一起的好处，从而解释为什么GAN是“生成器+判别器”。 Question 1 ：Can Generator learn ...

重要性万能近似定理是深度学习最根本的理论依据 。In the mathematical theory of artificial neural networks, the universal approximation theorem states that a feed-forward netw ...

这篇解释的特别清楚可以看一下：https://www.zhihu.com/question/41252833/answer/195901726 介绍信息熵： 根据真实分布，我们能够找到一个最优策略，以最小的代价消除系统的不确定性，而这个代价大小就是信息熵，记住，信息熵衡量了系统的不确定性，而我们要消 ...

根据最基础的全连接神经网络，损失函数C是和w相关的，当C越大时，对w的求导就越大，下降就越快。

多分类的两种方式 K个独立的二元分类器——用于不互斥的分类 softmax——用于互斥的分类 softmax VS k个二元分类器 如果你在开发一个音乐分类的应用，需要对k种类型的音乐进行识别，那么是选择使用 softmax 分类器呢，还是使用 logistic 回归算法建立 k 个独立的二元 ...

为什么逻辑回归要用交叉熵作为损失函数？当使用交叉熵作为损失函数时，对于二分类问题，求导可以消去$\sigma()$函数，对于softmax，求导可以消去exp，这样直观上对w的求导变得更加简单，当对w的求导变得简单时，梯度下降法才可以更好的work，否则会出现各种诸如梯度弥散，梯度爆炸等问题。 二分 ...

分类和回归是机器学习的两种模型，但在某种程度上又是逻辑统一的。 二分类和回归的统一——$\sigma()$下面我们从贝叶斯分类器的角度将二分类和回归联系起来。 首先介绍一下贝叶斯分类器，贝叶斯分类遵循基本的三步骤。 选择model，贝叶斯中当然选择的是贝叶斯分类器作为model 定义损失函数，分 ...