AI芯片新玩法！图像处理速度提升2万倍，传感器当神经网络用

▲识别“n”、“v”、“z”三个字母

（2）自动编码

即使在存在信号噪声的情况下，该神经网络也可以通过学习图像的关键特征，来生成处理后图像的简化表示。

编码器仅包含最基本的信息，但可以对其进行解码以重建接近原始图像。

▲对有噪声图像的简化表示

Mennel指出，系统运行的速度仅受电路中电子移动速度的限制。从原则上讲，这种策略的工作速度可以达到数万亿分之一秒，或者比目前演示的速度快三到四个数量级。

▲分类器（a）和自动编码器训练（b）30 epoches的数据集，其测试数据噪声水平分别为σ= 0.4和σ= 0.15

四、离落地还有距离

这样的传感器可以用来做什么？

Mennel说：“目前，这些主要用在特定的科学应用，例如，流体动力学、燃烧过程或机械故障过程可从更快的视觉数据获取中受益。”

不过，这项技术在实际落地应用之前，还有许多工作要做。

首先，用于自动驾驶车辆和机器人技术的神经形态视觉系统，需要捕获具有广阔视野的三维动态图像和视频。

而当前使用的图像捕获技术通常将3D现实世界转换为2D信息，丢失运动信息和深度，现有图像传感器阵列的平面形状也限制了广角相机的发展。

其次，该研究描述的设备很难在昏暗的光线下成像，需要重新设计，以改善薄半导体中的光吸收，并增加可以检测到的光强度范围。

再者，该设计需要高电压并消耗大量功率。相比之下，生物神经网络中每项操作的能量消耗为10^-15至10^-13焦耳。扩展对紫外线和红外光的响应，以捕获在可见光谱不可用的信息也是有用的。

另外所使用的薄半导体难以在大面积上均匀地生产，并且难以加工，因此它们可以与硅电子器件集成在一起，例如用于读出或反馈控制的外部电路。

使用这些传感器的设备的速度和能源效率将不取决于图像捕获过程，而是取决于传感器和外部电路之间的数据移动。

而且，尽管传感器计算单元在模拟域中采集和计算数据，减少了模数转换，但是外围电路仍然存在固有延迟问题。传感器和外部电路将需要共同开发来减少整个系统的等待时间。

结语：实时边缘计算的创新路径

Mennel及其同事的“传感器中计算”系统是对AI硬件研究非常有趣的探索。

此前少数公司已经开发了基于硅电子的AI视觉芯片，但这些芯片的固有数字体系结构往往带来延迟和电源效率问题。

更广泛地说，该研究团队的策略不仅限于视觉系统，它可以扩展到用于听觉、触觉、热感以及嗅觉等其他物理输入。

此类智能系统的开发以及5G高速无线网络的到来，会让实时（低延迟）边缘计算成为可能。

文章来源：IEEE，Nature

（编辑：52刷机网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!