2017年第二届曲阜视觉科学会议知识库

目的：材质的感知与识别在视觉科学和计算机视觉领域有初步的研究，但是与物体识别领域取得的成果相比，仍有许多尚未解决的问题。本文通过心理物理学实验和计算机视觉方法，分析眼动数据，研究视觉关注区域对于计算机识别准确率影响，进而分析局部图像信息在计算机视觉系统的材质识别中的作用。
方法：设计心理物理学实验,10名被试观察材质数据集FMD（Flickr Material Database）中的图像（10个类别，每类50幅图像），随机显示图像，每幅图像显示时间为3秒，间隔1秒。被试判断所观察图像中材质的类别（10AFC），同时使用眼动仪记录被试观察图像时的眼动数据。根据全部被试的注视区域生成叠加热力图，从每幅图像中裁剪同等尺寸的包含注视区域和非注视区域的子图像。将原始图像与根据眼动数据裁剪得到的两种子图像用卷积深度神经网络VGG-16和GoogLeNet进行微调，测试计算机视觉系统的材质分类效果。
结果：卷积深度神经网络的识别结果与人类视觉系统在材质识别任务中的表现一致：注视区域子图像的识别准确率（69.3%）高于非注视区域子图像的识别准确率（63.1%）。并且两者的识别准确率均低于原图作为输入时的结果 （78.7%）。
结论：对于计算机视觉系统和人类的视觉系统来说，注视区域的图像相较于非注视区域能提供更多材质感知的信息。材质的感知与识别不仅仅依赖于局部图像信息，也需要使用图像的全局信息，这对设计材质识别的计算机视觉系统提供了实验依据。