西班牙Xesol Innovation是一家活跃于全球的公司，专门从事人工视觉和深度学习。其产品包括用于更安全的驾驶和道路安全的解决方案。其中一个解决方案是Drivox Security。这是一个用于工业车辆的安全系统。它可以检测到行人和车辆前后的物体，以防止碰撞。FRAMOS正在向Xesol提供具有IP66保护的工业千兆以太网深度摄像机，并提供集成支持。

挑战

内部物流对效率有很高的要求。仓库通常有许多工业车辆和叉车在工人和托盘之间快速来回移动。这种高度动态的过程会带来风险和危险。司机通常缺乏经验，必须在巨大的时间压力下工作。根据基于神经网络和人工智能解决方案的西班牙公司 Xesol Innovation 的数据，每年有 11 万起叉车事故。除了中断操作外，这些事故还会导致人身伤害，有时甚至导致死亡。

多为碰撞事故，涉及人员被推、冲或被叉车撞到。虽然法律没有要求，但倒车警告信号可以防止许多事故的发生。可以执行风险评估以确定将这些信号改装到叉车的必要性和合理性的程度。有多种方法可以检测可能触发声音警告信号的人和物体，例如超声波系统、红外技术和安全激光扫描仪，或基于摄像头的解决方案。

在深入研究了这个问题之后，Xesol Innovation 决定采用 3D 视觉系统，因为超声波系统的分辨率较差，并且几乎无法区分人和机器。反过来，基于激光的系统容易受到反射和日光的干扰。另一方面，基于 3D 立体的系统被认为是适用于室内和室外应用的最强大的技术。除了实际的深度图像，它们还可以输出 RGB 图像以获得更好的识别性能。

新的解决方案

Xesol Innovation 的当前解决方案 Drivox Security 由三个部分组成（见图 1 和图 2）：

图 1：组件（从左到右）：TFT LCD 显示器、FRAMOS 深度摄像头（在金属面板后面）和用于基于 AI 的图像分析的英特尔处理器单元。

图 2：叉车中组件的布置：(1) 显示器，(2) 处理器单元，(3) 摄像头（前后）。

FRAMOS D435e 摄像头，安装在车辆前部和后部用于三维感知，一个微处理器单元用于基于 AI 的图像分析，以及一个作为驾驶员监视器的显示器，它还显示计算结果。如果发生潜在的碰撞风险，系统会通过可见和可听的信号警告驾驶员。该项目的主要目标之一是限制工作环境中的事故数量，以防止操作中断，最重要的是保护工人的生命。

在这个项目中，FRAMOS 提供了 rivox Security 的“眼睛”。这家图像处理产品、嵌入式视觉技术、定制解决方案和 OEM 服务的全球供应商开发了一款基于英特尔实感技术的工业 GigE 深度摄像头，让驾驶员能够看到他们无法 100% 看到的区域相机。FRAMOS 还支持将摄像头集成到完整的安全解决方案中。深度技术和 3D 成像在此应用中至关重要，必须在各种距离、任何姿势、位置或环境中可靠地检测人和物体，并评估各自的危险。

图 3：封闭式 FRAMOS D435e 工业相机，防护等级为 IP66，安装在驾驶室上（扉页）。

Xesol Innovation 是首批使用 FRAMOS 新相机的客户之一，该相机基于英特尔实感技术，处于测试阶段。Xesol Innovation 最重要的标准是千兆以太网接口和工业相机外壳：这是将 FRAMOS 与标准版英特尔实感相机区分开来的两个主要特征。英特尔建议 Xesol Innovation 联系 FRAMOS 实施 RealSense 摄像头，这是成功开发解决方案的第一步。

FRAMOS 深度相机

FRAMOS 开发了工业版 3D 相机，可以将英特尔技术的优势用于恶劣环境下的工业视觉系统。FRAMOS 相机与英特尔 sdk 配合使用，因此可以轻松地从常规 RS 相机迁移，而无需/几乎不需要重写代码。借助高级图像分析或 AI 功能，可以屏蔽掉深度图像中的背景，隐藏远处的物体，或者用距离指示器显示物体等等。深度精度取决于相机与物体之间的距离、具体地点和照明条件。

英特尔实感深度模块是一个随时可用的立体 3D 系统。它通过计算立体图像中的差异来确定物体的距离。这项技术需要相当大的处理能力，因为必须计算两幅图像中每个像素的差异。对于此应用，两个相机必须稳定定位和对焦。因此，英特尔实感摄像头经过预先校准和精确对齐。相机中的内部英特尔 D4 处理器执行计算，即负责“合并”两个图像。为此，它会实时计算图像中每个像素的视差和相关深度，以可靠地检测物体和人物。相机中的 IR 投影仪可确保获得良好的图像效果，即使场景包含非常少的用于计算视差的结构，例如平坦的墙壁。来自 IR 投影仪（纹理生成器）的附加纹理改善了计算结果，意味着即使具有统一的结构也可以生成深度图。

FRAMOS 相机的外壳提供 IP66 防水、防尘保护，并有四个 M3 孔，可灵活安装。它具有可锁定的千兆位以太网 (M12)、电源和 GPIO (M8) 连接器。FRAMOS 为相机开发了自己的处理器板，以满足工业接口要求。该摄像机还支持 PoE 操作（通过以太网/PoE 接口进行以太网供电）以最大限度地减少布线。其工作温度范围介于 0 °C 和 +55°C 之间。

FRAMOS 相机的主要优点简要说明： 安装简单快速 即插即用 Intel RS SDK 2.0 IP66 防尘和强力喷水。带 M12 连接器的外壳专为以太网和 PoE 操作而设计。最长电缆长度可达 100 m。网络技术允许多摄像机操作。

结果

在 Xesol Innovation 的 Drivox Security 中，摄像头可以完整查看距离叉车 1.0 至 8.0 m 的行人和物体。它以 30 fps 的实时流传输周围环境的图像，分辨率为 1280 x 720 像素，到叉车的显示器上（见图 4）。

图 4：摄像头的后方视野；司机可以看到屏幕上的一切。

驾驶室的屏幕不断显示来自安装在车辆前后的摄像头的图像（见图 5）。

图 5：显示屏上的人员检测，带警报状态。

基于 AI 的视频流分析在单独的微处理器单元中执行。Drivox Security 可以检测三个不同检测区域中的行人和障碍物，并指出每种情况下的个别碰撞风险。这些由用于元素检测和识别的神经网络以及相应的决策算法计算得出。该软件针对特定车辆单独配置。

当在各个检测区域识别到行人或障碍物时，系统会发出可见和/或可听警报（见图 6 中的表格）。

图 6：当车辆接近行人或物体时发出警报信号。

红色、橙色和黄色代表不同的碰撞风险级别。该系统能够可靠地检测处于所有可能位置和姿势的行人，因此即使通过“伪装”方法也无法胜过它（见图 7）。

图 7：该软件可靠地检测任何姿势或位置的人。

优点

●工伤事故减少，相关成本降低

●风险情况检测和早期事故预警

●减少停机成本

●使用热图提高路线规划效率

●确定事件/事故增加的关键因素

●提高驾驶时的安全性

目前正在进行调查以确定是否可以扩大相机的视野。理想的是拥有在深度和更大的水平和/或垂直参数方面都具有更大视野范围的相机。FRAMOS 的专家正在协助 Xesol Innovation 集成新型工业 3D 视觉相机，尤其是在将 3D 技术与人工智能（AI 功能）相结合的应用中。