噪声在图像上通常表现为引起较强视觉效果的孤立像素点或像素块。通常噪声信号与要研究的对象不相关,以无用的信息的形式出现,下面的任务就是将噪声部分消去,使其对图像的影响最小。

噪声概述

噪声的来源

(1)图像获取过程中

两种常用类型的图像传感器CCD和CMOS采集图像过程中,由于受传感器材料属性、工作环境、电子元器件和电路结构等影响,会引入各种噪声,如电阻引起的热噪声、场效应管的沟道热噪声、光子噪声、暗电流噪声、光响应非均匀性噪声

(2)图像信号传输过程中

由于传输介质和记录设备等的不完善,数字图像在其传输记录过程中往往会受到多种噪声的污染。另外,在图像处理的某些环节当输入的对象并不如预想时也会在结果图像中引入噪声。

噪声类型

图像中常见的噪声基本上有四种:

  • 高斯噪声
  • 泊松噪声
  • 乘性噪声
  • 椒盐噪声(真没写错)

噪声的图像由原图,一直到椒盐噪声,从上到下:

传统去噪方法

传统的去噪算法分为空间域法变换域法

  • 空间域去噪方法的思想就是在原图像上对图像灰度值进行处理,通常采取“平均”或“平滑”的方法,将突变的噪声分量分散到周围像素中去,使图像变得较为平滑,降低噪声的影响。常用的空间域去噪方法有:均值去噪法,中值去噪法,高斯去噪法、维纳滤波去噪法等。

  • 变换域去噪方法的思想是将原图像进行相关的变换,将图像信息变换到变换域中,再通过一定的方法来对图像信息进行处理,之后再通过反变换恢复图像信息,以达到图像去噪的目的。常用的变换域去噪方法有:傅里叶变换去噪方法,小波变换去噪方法等。

常用去噪算法

  • 均值滤波去噪
  • 中值滤波去噪
  • 高斯滤波去噪
  • 傅里叶变换去噪

下面介绍深度学习在图像去噪上的一篇最新的论文:Noise2Noise: Learning Image Restoration without Clean Data ICML 2018

Noise2Noise: Learning Image Restoration without Clean Data

概述

这篇文章的主要亮点在于训练网络的时候不需要提供清晰的图像,。作者将另一个不清晰的图像作为GT进行网络的训练,最终也能够得到较好的结果。

理论依据

先看一种简单的情况,假设我们对某个物理量(如房间的温度)多次测量,得到一系列不可靠的测量值(y1,y2,…)一种估计真实值的通用方法是找到一个数z,使其与这些测量值有最小的平均偏差,即优化下面损失函数:
$$
argminz𝔼y{L(z,y)}\arg\min_z \mathbb{E}_y{L(z,y)}
$$
对于L2 损失$L(z,y)=(z-y)^2$ ,该损失函数的最优解在测量值的算数平均值(期望)处取到:
$$
z=\mathbb{E}_y{y}
$$
对于L1,损失$L(z,y)=|z-y|$,该损失函数的最优解在测量值的中值处取到:
$$
z=median{y}
$$
对于L0损失 ,$L(z,y)=|z-y|_0$ ,该损失函数的最优解近似在测量值的众数处取到:
$$
z=mode{y}
$$
从统计学角度,这些通用的损失函数都可以解释为似然函数的负对数,而对这些损失函数的优化过程可以看做为最大似然估计。
训练神经网络回归器是这种点估计过程的推广。已知一系列输入-目标对$(x_i,y_i)$,典型的网络训练形式是优化下列目标函数:
$$
\arg\min_\theta\mathbb{E}_{(x,y)}{L(f_θ(x),y)}
$$
通过调节参数theta,使得x与y之间的误差最小。事实上,使用上面的Loss,结果和GT不是一一对应的关系,而是一个多值映射的关系,网络学习到所有的输出结果的平均值。

这意味着对于L2 loss来说,我们在目标图像上加上一个均值为0的随机噪声,例如高斯噪声,泊松噪声等,根据上面的方程,在目标上加上一个均值为0的噪声对方程的结果没有影响(均值为0的噪声期望为0),因此:可以通过含有噪声的图像最为训练数据,GT为在目标上加上均值为0而生成的噪声数据,这样训练的结果和直接使用干净的GT的结果理论上来说是相同的,实验结果表情,精度仅仅相差了一点点

应用场景

看这个文章的时候我一直很疑惑,实验假定了存在一个含有随机噪声的图像,以及一张和它对应的,在干净的图像上加上均值为0的某个噪声分布的图像作为label,在这个基础上进行训练,得到的训练结果和clear图像的训练结果十分相似。疑惑的点在于,我认为这种假设现实生活中是难以满足的,事实上,作者在做实验的时候,也是在GT上加了均值为0的噪声来做实验的。

但是也有一些人说这个方法可能可以用在一些特定的领域,例如医疗MRT图像,难以获得清晰的图像版本,但是可以通过多次观测得到多个含噪声的医疗MRT图像,利用这些成对的含噪声的图像进行去噪处理。但是从实验角度出发,噪声的分布并不满足均值为0,因为效果可能还是不好。

实验

作者分别做了Guassian Noise,possion noise,monte Carlo rendering,MRT图像上的实验。实验结果表明,在加上均值为0的噪声后,同样能够得到去噪后的结果。

inference