计算机视觉分类

• 语义感知
  • 分类
  • 检测
  • 识别
  • 分割
  • 检索
  • 语言
• 几何属性（建模，VR)

深度神经网络（DNN）

• 常见的库：opencv3.4 / keras / caffe(优化配置文件) / PyTorch / Tensorflow / Tensorflow-gpu(可利用gpu的高并发) / Tensorboard(训练过程可视化)

颜色空间

• 图片除长宽还有通道，比如红绿蓝
• 单通道灰度图 $Gray=R\ast0.3+ G\ast0.59+B\ast0.11$

图像处理

1. 空间域处理
   1. 点运算
   • 直方图：对数据空间进行量化，均衡化，还可以自适应直方图均衡（AHE）
   • CLAHE算法
     • 通过面积的变化，使图像对比度变高
     • 步骤
       • 图像分块，以块为单位
       • 先计算直方图，然后修剪直方图，最后均衡
       • 遍历操作各个图像块，进行块间双线性插值
       • 与原图做图层滤色混合操作（可选）

2. 邻域运算（空间域处理）
    * 滤波/卷积 （公式）
        *  边界填充：获得同尺寸输出的情况下，卷积核越大，补充越多
        *  补充类型
            *  补零
            *  边界复制
            *  镜像
            *  块复制
        * 平滑高斯滤波 （人眼特性）（图像模糊化）（构建高斯金字塔）
            * 分解特性 ：将2D卷积拆分成1D卷积，就是列卷积和行卷积。减少计算次数
    *  频域分析及变换
        *  让卷积更快，把空域卷积变为频域卷积
        *  图像缩放（高斯金字塔）
            *  先进行图像平滑，再进行降采样
            *  根据降采样，得到一系列尺寸逐渐减小的图像
            *  操作：n次(高斯卷积——2倍降采样)——n层金字塔
            *  目的：捕捉不同尺寸的物体
        *  拉普拉斯金字塔（图片恢复）
            *  上采样，一层一层变大
3. 形态学运算

2. 频率域处理
   1. 傅里叶变换
      • 一个信号可以由足够多个不同频率和幅值的正余弦波组成
      • 不足：频率会变，实际项目中信号不是平稳的
      • 通过宽，窄窗口调整
   2. 小波变换
      • 小波变换直接把傅里叶变换的基给换了——将无限长的三角函数基换成了有限长的会衰减的小波基，这样能够获取频率，还可以定位时间
   3. 小波函数

图像特征与描述

• 颜色特征
• 几何特征
• 基于关键点的特征
• 其他特征提取
• 代码实践

1. 颜色特征

• 量化颜色直方图
• 聚类颜色直方图

2. 几何特征

• 边缘：一阶导取得极值的地方
• 边缘提取：1. 先高斯平滑去噪 2. 再使用一阶导取极值
• 两个方向求导，获得斜的边缘（梯度）

3. 基于特征点的特征描述

• Harris角点：观察窗在任何方向上移动，导致大的像素变动
• Fast角点检测
• 斑点
• 拉普拉斯梯度：二阶导为0
• 斑点：二阶导极值点

4. 局部特征 SIFI

• 基于尺度空间不变的特征
  • 特点
    • 具有良好的不变性
    • 独特性好，信息量丰富
    • 多量性
  • SIFI特征计算步骤
    1. 在DoG尺度空间中获取极值点，即关键点
       • 用高斯差分（用清楚图片减模糊等于边缘）代替拉普拉斯差分
    2. 对关键点处理（位置插值——获取精确关键点）（去除边缘点）
    3. 关键点的方向估计（解决旋转不变性）
    4. 关键点描述子的生词
       • 区域坐标旋转
       • 计算采样区域直方图

5. 局部特征 SURF
   • 把高斯二阶微分进行简化，使卷积平滑操作转为加减运算
   • 在方向确定，在圆形区域计算x,y方向haar小波响应，找到模最大的扇形方向