文章速览

北京大学余肇飞研究团队在中国工程院院刊《Engineering》2023年6月刊发《基于普通器件实现快1000倍的相机与机器视觉》一文，发现了数码相机中的一个重大缺陷，即从胶片相机继承的图像和视频模型阻碍了相机捕捉快速变化的光子世界。因此，文章提出了一种新的视觉形式，称为视象（vform），这是一个比特序列阵列，其中每个比特表示光子的累积是否达到了一个阈值，从而可以记录和重建任何时刻场景的光强。文章仅使用消费级互补金属氧化物半导体（CMOS）传感器和集成电路，开发了一种比传统相机快1000倍的脉冲相机。此外，将视象看作生物视觉中的脉冲序列，进一步开发了基于脉冲神经网络的机器视觉系统，它可以将机器的速度和生物视觉的机理结合起来，从而实现了比人类视觉快1000倍的高速目标检测和跟踪，并通过辅助裁判和目标瞄准系统证明了脉冲相机和超级视觉系统的效用。文章表明，视象模型和芯片有望从根本上改变图像和视频的概念以及摄影、电影和视觉媒体等相关行业，并开启一个全新的基于脉冲神经网络的速度自由的机器视觉时代。

原文链接：http://www.engineering.org.cn/en/10.1016/j.eng.2022.01.012