Abstract

手机摄像头的孔径很小，这限制了它们可以收集的光子数量，导致在弱光下产生噪音图像。它们还具有较小的传感器像素，这限制了每个像素可以存储的电子数量，从而限制了动态范围。我们描述了一个计算摄影管道，捕捉、校准和合并burst帧，以减少噪音和增加动态范围。我们的系统有几个关键特性，有助于使其健壮和高效。首先，我们不使用包围曝光。相反，我们捕捉固定曝光的帧，这使校准更加可靠，我们将曝光设置得足够低，以避免吹灭高光。合并后的图像具有清晰的阴影和较高的位深，允许我们应用标准的HDR色调映射方法。其次，我们从Bayer raw帧开始，而不是移动平台上常见的硬件图像信号处理器(isp)生成的去马赛克RGB(或YUV)帧。这给了我们更多的比特每像素，并允许我们规避ISP不需要的色调映射和空间去噪。第三，我们使用一种新的基于fff的对齐算法和一个混合的二维/三维维纳滤波器去噪和合并突发帧。我们的实现构建在Android s Camera2 API之上，它提供了每帧相机控制和对RAW图像的访问，并且是用Halide特定领域语言(DSL)编写的。它在设备上运行4秒钟(对于12 Mpix图像)，不需要用户干预，并且可以在几款批量生产的手机上运行。

1 Introduction

拍摄好照片的主要技术障碍是光线不足。在室内或夜间拍摄时，整个场景可能提供的光线不足。标准的解决方案是要么应用模拟或数字增益，放大噪音，要么延长曝光时间，由于相机抖动或主体运动，导致运动模糊。令人惊讶的是，动态范围大的白天拍摄也可能缺乏光线。特别是，如果减少曝光时间以避免吹出高光，那么在阴影区域可能会收集到不足的光。这些区域可以用局部色调增强来照亮，但这又会放大噪音。

收集更多光线的方法包括使用大孔径镜头、光学图像稳定、包围曝光或闪光灯。然而，每种方法都是一种折衷。如果相机是一部手机，那么它的厚度就会受到限制，因此要加大光圈是很困难的。这类设备的功率也受到限制，因此很难通过增加相机数量来合成孔径。光学图像稳定（OIS）允许更长的曝光，同时最小化相机抖动模糊，但它不能控制由主体运动引起的模糊。包围曝光后进行图像融合，融合后的图像的不同部分代表不同时间的场景，难以实现单一的自一致性构图。不正确的融合导致的最常见的伪影是重影(图2a)，这是由于在不同时间捕获的图像很难对齐。在相邻扫描线之间交替曝光时间的传感器在一定程度上改善了重影，但牺牲了细节，使准确的去噪变得困难。对许多摄影师来说，闪光灯是最不受欢迎的选择。它增加了光线，但以一种不愉快的方式改变场景。Flash/noflash photography解决了这个问题，但不够健壮。

本文描述了一种通过捕获burst图像并结合动态范围压缩来解决这些问题的摄像机系统。虽然实现这一目的的算法是众所周知的，但基于这些算法构建一个系统并将其商业化部署到移动摄像机上是一项挑战。在构建我们的系统时，我们发现以下设计原则非常重要：

.Be immediate 系统必须在几秒钟内生成一张照片，并将其显示在相机上，即使相机没有连接(有线或无线)。这意味着我们不能将处理延迟到桌面计算机或云。

.Be automatic 该方法必须是无参数和全自动的。摄影师应该在不知道拍摄或图像处理策略的情况下获得更好的照片。

.Be natural 我们拍的照片必须与现场的景象相符。因此，在高动态范围的情况下，我们必须限制局部色调映射的数量，以避免卡通或超现实的图像。在非常弱光的场景中，我们不能把图像弄得太亮，以至于它改变了明显的照明或显示出过多的噪音。

.Be conservative 应该可以使用它作为默认的拍照模式。这意味着所拍摄的照片必须不包含artifacts，而且必须至少与传统照片一样好。此外，在极端情况下，它必须逐渐退化为传统照片。

在这种保守的约束下，我们发现最可靠的burst模式摄影方法是在相同的曝光时间内捕获burst中的每个图像。换句话说，我们没有包围曝光。我们得到这个意想不到的协议，是因为使用不同曝光时间拍摄的图像很难精确对齐。由于噪声和运动模糊的级别不同，较小的曝光变化可能会影响对齐，而较大的变化可能会导致局部对齐不可能，如果patch曝光时没有可见的图像内容。最近的HDR融合方法通过复杂的对准和修复解决了不同曝光的挑战。虽然这些方法可以产生引人注目的结果，但是最好的方法代价高昂，而且仍然会显示出偶然的artifacts或物理不一致。

为了执行我们的恒曝光协议，我们选择了一个足够低的曝光，以避免对给定场景进行裁剪(消除高光)。换句话说，我们故意低曝。我们这样做是为了获取更多的动态范围。我们也选择比一般曝光时间更短的时间来减轻相机抖动模糊，不管场景内容如何。虽然使用低曝光似乎会使噪音恶化，但我们通过捕捉和合并多个帧来抵消这一影响。

由于我们的保守约束而产生的第二个设计决策是，我们选择burst中的一个图像作为参考帧，然后将来自其他备用帧的patches对齐并合并到这个帧中，我们确信我们已经对场景的相同部分进行了成像。此外，为了降低计算复杂度，我们只合并每一帧的一个patch。我们的保守合并可能会导致最终图像的某些部分看起来比其他部分更嘈杂，但是这个artifact很少被注意到。

通过对多个帧进行对齐和合并，我们得到了一个与输入帧相比具有更高位深、更高动态范围和更低噪声的中间图像。这将使我们仅通过丢弃低阶位就可以制作出高质量(尽管曝光不足)的照片。然而，我们的目标之一是拍摄出自然的照片，即使场景中有强烈的对比。因此，我们转而增强阴影，保留局部对比度，同时明智地牺牲整体对比度。这一过程被称为HDR色调映射，并得到了很好的研究。