意外针孔和Pspeck相机(2014)

我们周围的图片有很多种形成方式。最有效的机制是使用镜头或狭窄的光圈将光线聚焦到前面的画面中。因此，一组遮光器(用于形成针孔相机)或镜面(用于仅捕获反射光线的子集)将使我们在查看曲面时看到图像。对于这些情况，图像是通过故意构建特定的曲面排列来形成的，这将导致相机。然而，在许多地方，类似的排列是由于表面的意外排列而自然出现的。通常情况下，观察者没有意识到这些意外相机产生的模糊图像。

影子也是一种偶然的形象。对象的阴影是由于场景中存在对象而丢失的所有灯光。如果我们能够提取缺失的光线(即物体从场景中消失时和物体存在时的差别)，我们就会得到一幅图像。该图像将是阴影的底片，它将近似等同于带有遮挡器形状的针孔的针孔相机所产生的图像。因此，阴影不仅仅是物体周围的黑暗区域。阴影是产生阴影的物体周围环境的负面图片。

当我们在阳光下行走时，我们在地面上投射出一个锐利的黑影，似乎没有什么特别之处。我们一进入建筑物的阴影下，阴影似乎就消失了。然而，即使我们周围没有明显的阴影，我们仍然阻挡了一些充满空间的光线，在我们周围的地面上产生了非常微弱的半影。那个影子是五颜六色的，即使我们看不见，它也能揭示我们周围的景象。此效果如右侧的两幅图像所示。在上面的图像上，一个人正在跳跃。因为没有直接的太阳光，所以似乎没有影子。然而，如果我们从没有人物拍摄的照片中减去这张照片，我们将能够提取出如下图所示的模糊阴影。阴影显示了上面天空的蓝色，以及墙对面的建筑物的黄色。事实上，遮挡器是一个意外的反针孔相机，它的影子就是照片。

在这项工作中，我们识别和研究了两种类型的意外相机(针孔和反针孔)，它们可以在揭示画面外场景的场景中形成。

论文作者：A.Torralba和W.T.弗里曼。意外的针孔和检查相机：揭示画面外的场景。第25届IEEE计算机视觉和模式识别会议论文集(CVPR 2012)。

资料：这里有一些我在论文和演讲中使用的原始视频。你可以玩它们，看看你能不能提取出比我得到的更好的图像。

一个人在房间里走来走去，在墙上投射出微弱的照明变化。照明变化可用于显示房间外的场景。

当没有太阳光直射时，行走的人似乎不会投射任何阴影。但是影子仍然在那里，即使它是如此的模糊，以至于不容易被看到。我们可以通过增加对比度来显示这个阴影，如下图所示。