Joshua3769的个人博客分享 http://blog.sciencenet.cn/u/Joshua3769

博文

视觉适应使眼睛比相机看得更好 精选

已有 6231 次阅读 2016-5-29 19:44 |系统分类:科普集锦| Visual, adaptation, HDR, 视觉适应

视觉适应使眼睛比相机看得更好

你一定有过这样的体验:你看到美丽的风景,你拿出手机想拍下来,但糟糕的是,手机无法完整地呈现你所看到的不同方位景点的亮度和对比度,如果你使手机聚焦离天空近的地方,那么地面的楼房和树木可能变得很暗,而当你聚焦树木的时候,天空一片发白,云朵的层次又看不清了,更糟糕的是逆光拍摄时,你要拍的花朵或雕像几乎是黑的。为什么相机不能如你所愿地呈现画面呢?

1、相机成像原理。

我们知道,照相机感光器件上每个像素点能把接受到的光亮强度转化为一定的电压,下图示意一个感光范围理想的感光像素的输入输出曲线:


像素点输出的是电压信号,会被相机转为数字信号,数字信号按照数值存储,值域可以很大,比如一张照片内最暗的地方取值256,最亮的地方取值为10000256,比最暗处高出1000万。按这样原始数值存储的照片格式叫RAW格式。但实际上日常所用的显示器或显示屏只能用0-255范围的数值表示亮度,这意味着,如果要把Raw格式的照片呈现到显示屏,需要把256-10000256映射到0-255,这意味着将1000万个点的数值范围压缩到了256个点的 数值范围,许多细节亮度将要丢失,那些原本较暗但可以辨认出细节结构的区域会显示为一片黑色。可见这样的直接映射不是好办法。事实上,相机采用的办法是将Raw中值域的某一段映射到0-255的办法,比如,当用户把相机中央对准天边,或镜头聚焦天边时,相机会认为用户更关注较亮位置的细节,因此可能会将10000001-10000256的值映射到0-255。这时候,天边附近的云或许层次分明,但地面显得很暗。假如我们关注地面,相机又会将低段值域映射到0-255,这就使得天空一片发白。这就是相机总是显示不出我们想要的画面的原因。

所以我们要问:为什么眼睛可以?这就需要我们对视觉系统的构造和视觉适应(visual adaptation)机制有所了解。

2、视觉系统的结构框架

视觉系统是一个复杂的层级结构,从低到高依次包括光感受器Photoreceptor,类似相机的感光像素点,能将光信号转化为神经信号)、神经节细胞Ganglion cell,能综合附近光感受器的信号形成中心外周拮抗的圆盘状感光结构,比如光照在中心时神经兴奋,光照在外周时神经抑制)、外侧膝状体核LGN,能将Ganglion cell的信息中继给初级视觉皮层V1和上丘,也能被V1和上丘传下来的信号调控)、V1(初级视觉皮层,这里的细胞具有朝向选择性,不同的细胞偏好不同的朝向刺激)、V2(这里的细胞能对物体的边界归属有选择性反应,也能对双眼视差、颜色、运动方向等信息有选择性)、V4(这里的细胞能对复杂的形状有选择性反应,也对颜色、运动方向等信息有选择性)、IT(这里的细胞能对客体有选择性反应,比如有的亚区专门用来编码人脸,有的专门编码工具、场景等),这些都处于大脑的腹侧通路,主要功能是进行客体识别,从V1V2的信号也向背侧通路传递,这个通路包括了MT和顶叶的一些结构,主要负责视觉空间位置信息加工。

3、视网膜(Retina)的适应功能

视网膜铺满了两类Photoreceptor,一类叫Cone(椎体细胞),一类叫Rod(杆状细胞)。前者主要集中在中心视野(Fovea),能感知红绿蓝三色光,是我们获得色彩知觉的基础,并且由于它的神经响应(Response)在很亮的光照下仍然不会饱和(任何的感光元件都有其感光范围,小于这范围时元件响应主要受噪声主导,大于这个范围会使元件的响应饱和),因此我们在光亮环境下看东西主要是Cone的功劳。而Rod细胞主要散布在周边视野,只能感知明暗,其神经响应在明亮环境下就会饱和,但在夜间表现良好。一件有趣的事情是:当你在夜间盯住天上的一颗星星时,你会感觉周边视野的星星显得很亮,但当你再去盯那个亮星星时,你又感觉它不亮甚至看不见了,这是因为盯住一个点看时主要用的是Cone细胞,而不盯时用的是周边视野的Rod细胞。

Rod细胞和Cone细胞之所以能对不同光亮做出响应,是因为细胞内具有可以将光量子转换为神经信号的物质,可是,当环境非常明亮时,越来越多的Rod细胞内的这类物质会被消耗殆尽,当环境更亮时,Cone内的也开始消耗。Rod细胞内这些物质的再生需要十几到三十分钟,这就是Dark Adaptation的机制,即从室外进入黑暗环境下时我们需要较长的时间才能恢复暗视觉,但Cone只需要1分钟左右,这就意味着如果有一种炸弹能闪烁极亮的光芒,那么人会在1分钟以内看不清东西。当人从暗室走到明亮的室外时会感到刺眼疼痛,但过一会儿就会适应,这个过程叫Light Adaptation,其机制可能跟PhotoreceptorGain Control(增益控制)有关。

Photoreceptor与相机中的感光元件有一点不同:一种光照亮度并不总是引起同样强度的神经响应,这是由于Gain Control的原因。所谓gain,可以理解为特定单位的光子所能引起的神经响应的强度。实验发现,随着背景光亮度增加,打在Photoreceptor上的固定数量的光子所引起的神经响应会降低。这意味着photoreceptorgain被细胞周围的亮度控制了。那么这种控制是如何实现的呢?现在似乎没有清楚的结论,有些动物眼睛中相邻的RodCone细胞会相互调节对方,但有学者认为是与该photoreceptor相连接的Ganlion cell在调控,其调控的方法可能是根据邻近细胞所接受到的亮度(背景亮度)来调控该细胞对一定亮度刺激的响应。无论如何,在视网膜上,一个photoreceptor对特定亮度的响应不是一成不变的,而是随邻近空间的亮度变化,也随过去一段很短的时间内的历史亮度而变化,可见这种gain control是在局部进行,是在微小的空间和微小的时间段内(一些研究认为是100-200ms,参考Robert Shapley 1984)进行的。Gain control的机制或许能解释Light Adaptation:暗环境下的photoreceptorgain很大,微弱的亮度增加就会带来神经的猛烈响应,这时候突然进入很亮的环境时,细胞都会猛烈活动,也许会带来附近血流的增加,进而挤压神经带来疼痛感,也可能是猛烈的活动信号传递给上丘,最终传递给负责痛觉脑区,使大脑产生保护行为:缩小瞳孔、闭眼睛,但过一会儿细胞可能会逐渐调整gain,从而适应外界环境。

Photoreceptor的这种gain control带来的结果就是:神经响应所编码的不是亮度信息,而是对比度(Contrast)信息,这一点在Ganglion细胞上可能表现得更突出。由于Ganglion细胞整合了附近photoreceptor的信号,因此能得知这些细胞接受到的光亮的平均值,也能获得感受野(Receptive Field,可以理解成与其相连的photoreceptor所形成的盘状结构)中心位置的photoreceptor感知到的亮度与邻近亮度的差异,从而形成其感受野内的对比度信息。实验表明,Ganglion细胞能对不同的Contrast有不同的Response,如下图所示(图片来源Luiz Carlos L. Silveira etc. ,2014, Plos One,我不喜欢Plos One,但这张图片确实很直观,图中三条线分别对应三种刺激的空间频率)。当然,Ganglion细胞对Contrast的响应也受到感受野内刺激的Spaital FreqencyTemporal Frequency的调制,可见视网膜对空间局部位置的光学信息进行了时间和空间上的复杂处理。


4、照相机的HDR模式

事实上,为了解决文章开头所提到的技术问题,相机工业界早就有了解决方案,即High Dynamic RangeHDR),据说这个技术的原始版本距今已有150年(参考Fred Rieke & Michael E. Rudd, Neuron, 2009)。这个技术的原理可以这样理解:对场景中的每个微小局部,都配备一个相应的电压值范围,然后根据此范围去调整每个像素应该输出的电压。而本文开头的传统方法是对整张图配备一个固定的值域。局部分配有这样的好处:在一个相对小的局部,光亮变化范围不会很大,假如在某个局部最亮与最暗处的电压值差异是256,则刚好能映射到屏幕可以显示的值域内,那么这个局部就不会出现太多的亮度信息丢失,保留了较为真实的对比度,据Shapley所言,对比度正是我们对世界具有亮度不变性(Luminance Constancy,即不管外面有多亮多暗,你总感觉树叶是绿的,皮肤是黄的)感知的原因。上述仅仅是技术原理,不同公司可能有不同的技术细节,产生不同的呈现效果,但由上可知,HDR技术与视网膜加工亮度的局部性和Contrast驱动响应的特性极为相似。不过目前的手机仍然不能优秀地表现HDR的效果,一方面是需要连续拍摄3张以上照片来获得不同值域上的亮度信息,从而消耗时间,并可能由于手抖而无法保证效果,但也可能是人们对视网膜的工作机制的细节还不够了解,无法设计出匹配的算法。下图第一张是一张比较理想的HDR图,能将日光和暗处的河流细节都表现出来,第二张是天空下的埃菲尔铁塔,请注意塔的边缘和云的交界处发白,可见算法存在缺陷。


5、视觉系统的其他适应功能

事实上,视觉系统的适应功能十分复杂,能在不同方面调节我们看到的画面,使我们产生生动的图画感知。在视网膜上主要是通过Ganglion细胞等实现了局部的对比度信息保留,不过从这里一直到V1皮层,对比度的gain control仍然在发生。在LGN,由于V1和上丘的调节,这里可能根据较大范围的画面信息对LGN中编码中心外周拮抗圆盘结构的细胞响应进行了调节。在V1,可能来自V2V4等更高级视觉区的投射能调控V1对朝向结构的响应,比如单独一根45度的小bar能引起V1每秒40次脉冲发放,但如果把这个小bar放在按直线排列的一组小bar背景中时,脉冲数量会大大减少。在IT可能也发生着复杂的adaptation,比如人脸后效(Face Aftereffect)。此外,注意本身也能产生显著的gain control的功能,比如当注意某个位置的朝向条纹时,相应位置的神经元对不同朝向的响应强度会改变。这些都说明,大脑的视觉系统能在不同层级按照当前的任务和注意状态对不同视觉元素或成分进行调控,使我们产生更加生动灵活的视觉感知,从而使我们适应环境,得以生存,并享受大自然的瑰丽景观。

总结:

 Visual Adaptation方面的研究进展国内几乎没有通俗的报道,在简体中文媒介中缺乏传播和讨论,本文对这个概念进行了简介。另外也特别希望看到国内能多一些专业人士将国外的视觉科学研究进展以中文的方式通俗报道,便于国人了解。之前曾好奇手机屏幕为什么在阳光底下几乎看不清,知乎上一些人竟然说是瞳孔的作用,也有说是注意的作用导致的,但本人简单观察了一下,发现其实是屏幕反射的光的强度掩蔽了手机内容的亮度,可见专业科研人员多写一些科普文章还是有用的。另外就是特别期待国内某些大学能设置School of Vision Science and Art,设立光电、图像采集、图像呈现、摄影艺术、视觉科学、脑科学等专业,促进视觉科学与相机设计和摄影艺术等学科的交叉,促进视觉科学对成像技术的启发,从而增强本国在图像领域的发展。

主要参考文献:

1. Shapley R. and Enroth-Cugell C. (1984). Visual adaptation and retinal gain

controls. In Retinal Research.

2.Fred Rieke and Michael E. Rudd. (2009). The Challenges Natural Images Pose for Visual Adaptation. Neuron.





https://blog.sciencenet.cn/blog-3002905-981057.html

上一篇:动物大脑神经元活动胞外记录经验总结
下一篇:对称图形检测的神经机制研究进展
收藏 IP: 202.112.90.*| 热度|

14 陈南晖 刘锋 黄永义 季顺平 刘光波 陆绮 庄世宇 王林平 陈志飞 高建国 peosim xiyouxiyou decipherer biofans

该博文允许注册用户评论 请点击登录 评论 (9 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-3-29 21:56

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部