ml-感知机
感知机,Perceptron Learning Algorithm (PLA)感知机是一种简单非常靠谱的分类算法,首先我们看林老师的PPT：
对于$（+1，-1）$的分类，实际上分错分对都是按上述进行更新的。直到没有错误。由向量关系可知，$w$为分类直线的法向量，上图右边表示当$y=+1$时和$y=-1$时，分类直线法向量的更新步骤可以看出：
当$y=+1$分类错误时，$w_t^Tx<0，sign(w_{t+1}^Tx)=-1$,两个向量夹角大于90°，更新后向量夹角小于90°，$w_{t+1}^Tx>0，sign(w_{t+1}^Tx)=+1$，此点更新后分类正确
当$y=-1$分类错误时，$w_t^Tx>0，sign(w_{t+1}^Tx)=+1$,两个向量夹角小于90°，更新后向量夹角大于90°，$w_{t+1}^Tx<0，sign(w_{t+1}^Tx)=-1$，此点更新后分类正确
理论证明：这里感知机模型为：
h(x)=\text {sign}((\sum_{i=1}^{d}w_ix_i)+b)变形为:
h(x)=\text {sign}((\ ...
ml-最大似然估计
最大似然估计
首先确定采样是独立同分布的（i.i.d.）。
在这里先假设，样本分布符合高斯分布。
独立性：$\mathbb P (AB)=\mathbb P (A) \cdot \mathbb P (B)$
同分布：保证了所有的样本点符合同一分布，这里假设为高斯分布,连续性分布，即$X\sim N(\mu,\sigma^2)$。 注： 非连续性分布，过程类似。
样本假设抽样了$ X_1,X_2,X_3….,X_1=\{x_1,x_2,…x_n\}$,所以$\Large f(x_1;\mu,\sigma)=\frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{1}{2\sigma^2}(x_1-\mu)^2},P(x_1;\mu,\sigma)=\frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{1}{2\sigma^2}(x_1-\mu)^2} dx_1 \ \Large P(X;\mu,\sigma)= \prod_{i=1}^{n}P(x_i;\mu,\sigma) =\prod_{i=1}^{n}f(x_1;\mu,\si ...
