机器学习流程

1. 特征提取
   先找一些特征，利用图像处理知识
2. 特征选择
   画出直方图，观察差异
3. 基于特征构建算法
   将特征画在同一直方图上，做归一化，叫特征空间；设计的向量机方法，不同的线决定不同的方法
   要考虑到纬度（三维甚至N维）和标准（区域的划分不同）
4. 没有免费的午餐
   不对特征空间的先验分布有假设，所有算法的表现都一样 （深度学习算法一般优于传统算法）

支持向量机 svm

1. 线性可分
   • 通俗解释：直观解释，存在一条直线（或超平面）将样本集分开
   • 数学定义：二分类下定义
2. 非线性可分
3. 向量机最优化问题
   • 满足的条件：1. 超平面分开两个类别 2.超平面拥有最大的间隔 3.超平面处于间隔中间到所有支持向量距离相等
   • 优化问题限制条件：1. 最小化（目标函数二次项）：$\frac{1}{2}\|\boldsymbol{\omega}\|^{2}$ 2. 限制条件（一次项） $\mathrm{y}_{i}=\left(\boldsymbol{\omega}^{T} x_{i}+b\right) \geq 1,(i=1 \sim N)$
   • 凸优化问题有唯一解，有高效快速算法，求解凸优化问题，有专门算法包
   • 线性不可分，向量机优化版本
   • 最小化: $\frac{1}{2}\|\omega\|^{2}+C \sum_{i=1}^{N} \delta_{i}$ 或 $\frac{1}{2}\|\omega\|^{2}+C \sum_{i=1}^{N} \delta_{i}^{2}$
     限制条件：
     (1) $\delta_{i} \geq 0 .(i=1 \sim N)$
     ( 2 ) $y_{i}\left(\omega^{T} X_{i}+b\right) \geq 1-\delta_{i},(i=1 \sim N)$
     （3）C指超参数函数

支持向量机——扩大可选函数范围

1. 将低维转为高维 ，用线性超平面分
2. 核函数
   • $K\left(X_{1}, X_{2}\right)=\varphi\left(X_{1}\right)^{T} \varphi\left(X_{2}\right)$ 完成对测试样本类别的预测 ，K是核函数
   • K满足交换性和半正定性，就可以写成$\psi$ 内积的形式
3. 原问题与对偶问题