经济高效的随机料箱拣选方法

在该领域，随着生产线的自动化程度持续提升，许多原本由操作人员完成的复杂任务，如今已可由机器来完成。这其中，最复杂的任务便是随机料箱拣选。也就是说，这项技术能够对满托盘无序摆放的工件进行深度识别，随后识别并抓取符合产线下一个作业要求的目标工件 —— 即便该工件有一半被堆叠的其他工件所遮挡。

随机料箱拣选的应用范围涵盖从机床上下料到齐套配装、分拣分选的各类作业，这项技术已广泛应用于汽车、电子、电商及医疗器械行业。尽管这项作业对人工而言相对简单，但执行该任务的机械臂则必须借助高速 3D 机器视觉、模式识别与路径规划算法，才能顺利完成该作业。近年来，机器学习方法也正助力优化料箱工件的识别和顺利抓取的效果。

结构光与激光扫描

虽然使用激光对表面进行有条不紊的扫描和测绘已是众所周知，但大多数现代随机采样系统都采用了“结构光”方法，这种方法比激光扫描更快速、更安全、更具成本效益。除了分拣应用外，结构光扫描还广泛应用于工业设计、质量控制、增强现实游戏和医学成像等领域。环境照明条件和反光工件表面可能会使问题复杂化。

结构光是将条纹和网格等一系列模式（图 1）快速投射到料箱内的工件上。从投影仪以外的任何角度看，模式都发生畸变。这些畸变信息可反映出料箱内工件的三维复杂度，相关畸变特征会被采集为一系列静态图像，此时高速数据传输与高性能计算能力就成了核心需求。

图 1：通过采集并分析向装满工件的料箱内投射明暗模式所生成的图像，结构光扫描技术可识别出料箱内各类工件的类型、空间位置与姿态。(图片来源：Lattice Semiconductor）

FPGA 承担重复性任务

绝大多数结构光解决方案由两个通过以太网连接的模块构成：传感模块与计算模块。传感模块与投影仪相连，负责启动向料箱内投射一系列结构光模式。一台相对于投影仪偏离轴线的摄像头捕捉由此产生的图像。就 Lattice Semiconductor 的结构光解决方案而言，可生成一系列 41 个离散图像，包括正、负、水平和垂直模式。摄像头捕捉到的图像序列通过 MIPI 摄像头串行接口 (CSI) 链路传回传感器模块。

传感器模块还包括现场可编程门阵列 (FPGA) 资源，可将一系列 41 幅图像编码为单幅 10 位编码图像，并标明所生成图像中共同 "对应像素 "的位置。然后，编码图像通过以太网链路传送到计算模块。这种编码方式大大提高了向计算模块传输的速度，也提高了整个系统的响应速度和性能。例如，发送 41 幅 1920 x 1080 像素分辨率的原始图像需要 680 MB 的数据流量，而发送一幅编码图像只需要 41 MB 的数据流量。这意味着数据量以 16:1 的比例减少，系统性能也相应提高。

传感器模块中的其他 FPGA 模块可进一步分担计算模块的任务：生成逐像素深度图，有效勾勒出料箱内单个物体的轮廓，并辅助计算模块为相关的机械臂规划出最优抓取点目标。这是一项重复性很强的作业，可以并行处理每个像素。另外，用户也可以使用相同的计算模块资源，同时增加额外功能。同样，FPGA 可以执行全部或部分基于机器学习的物体检测和分割，从而进一步分担计算模块的任务。

硬件与软件

将传感器模块中的 FPGA 和计算模块中的 CPU/GPU 结合在一起，之所以能在此应用中发挥如此大的作用，是因为每个平台都具有互补优势。FPGA 在高重复性任务处理上具备优势，例如将 41 幅图像的全量信息整合为单张编码图像所需的传感器专用处理与帧级同步。这项任务非常适合采用可配置硬件实现。与此同时，CPU/GPU 的优势在于复杂的高级计算，如优化和决策，这些任务最容易通过软件实现（图 2）。

图 2：通过在 FPGA 和 CPU/GPU 资源之间适当分配计算工作量，Lattice Semiconductor 的随机料箱拣选方法既优化了系统性能，又从材料清单的角度降低了系统成本。（图片来源：Lattice Semiconductor）

在随机料箱拣选应用中，传感器模块的本地 FPGA 编码大大减少了必须发送到计算模块的数据，从而提高了拣选执行速度。同时，FPGA 还降低了对计算模块中 CPU/GPU 的计算要求，因此可以使用成本更低的处理器。

FPGA 体积小、功耗低，也意味着传感器模块可以安装在相对较小的塑料外壳中，且不需要风扇或散热片等功率耗散器件。其总体效果是，降低了整个解决方案的材料成本。

闭环

编码图像由传感器模块传输到计算模块后，CPU/GPU 就会通过三角测量法，根据编码图像生成与海底地形图高度相似的深度图像。该深度图像随后用于物体检测（分割）以及后续的抓取点计算。虽然计算机视觉在物体识别和抓取点计算中发挥主导作用，但在更复杂的应用中，有时会使用 CAD 模型通过几何形状匹配来辅助物体检测。最近，基于机器学习的技术方案不断发展完善，可用于更复杂的应用场景；有些方法利用深度学习，根据每次渐进拣选的结果来提高性能。

最后，一旦完成了对料箱内容物的三维渲染，并选择了合适的拣选点来抓取下一个工件，就会向机器人发送指令，执行抓取作业。随机抓取完成后，开始下一个拣选周期。

结语

在随机拣选应用中，结构光比激光更安全，性能更高。此外，同时利用 FPGA 和 CPU/GPU 资源的混合方法性能最佳，从材料清单的角度来看也最具性价比。这既得益于两种半导体技术的适当分工，也得益于传感器模块中 FPGA 的功耗相对较低，从而无需采取辅助冷却措施。