四川广泰科技有限公司

3D图像匹配简介

发表时间:2023-08-28 09:25
今天我们介绍图像匹配,涉及到基于归一化灰度相关性匹配与基于边缘的几何图形匹配的区别,并探讨3D视觉系统如何用图像匹配来处理图像信息,以及3D匹配如何助于发展3D机器视觉应用。

3D图像匹配 VS 2D图像匹配

在上一篇机器视觉的图像匹配原理介绍了几何图形匹配(GMF)和归一化灰度相关性匹配都是机器视觉的有效工具。它们使用2D模板图像的定义的边缘或灰度像素值来查找和匹配目标2D图像中的图案。当面对3D成像处理的时候,是否就失效了呢?
基于3D的图像匹配通过计算目标在3D空间中的精确位置并结合目标特征来进行匹配,可用在自动化应用的视觉系统中,例如汽车和或机器人应用、抓取和放置应用。
3D图像匹配可以帮助我们解决哪些问题?
在2D匹配中,物体朝向是最致命的弱点,例如下图一个三棱柱,不同的朝向所呈现出的2D几何形状也完全不同。开3D匹配的大门意味着可以在三维空间内准确识别和找到多种类型的对象。

同一个物体, 不同朝向的2D视图

3D匹配可以解决工业中那些典型的、重复性的动作,而且不涉及太多的技能或训练模型,例如抓取、放置是两项可以交给机器人来完成的工作。这样不仅可以解放人力、降低成本还能保证动作的精确。

设置3D图像匹配系统

挑选用于3D匹配的相机
3D成像需要将图像数据可视化,它不像2D匹配只需要预设模板然后再进行边缘或像素值数据的比较。3D成像需要通过3D成像方法如激光立体视觉、结构光成像、飞行时间(ToF)来获取三维坐标形成点云图。飞行时间(ToF)相机可以实时产生准确、有深度的数据信息,这些数据适合用于3D匹配算,能为机器臂提供所需要的精确坐标信息,以准确、安全地抓取和放置物体。

水果篮子2D图

水果篮子3D点云图
上图使用了高精度3D相机(Helios2 ToF)来拍摄,这款相机外形小巧紧凑,外壳坚固,配置4个850纳米 VCSEL激光二极管,集成了索尼全新的DepthSense™ IMX556PLR背照式飞行时间(ToF)图像传感器,在1m或更短距离拍摄,能够达到亚毫米级的精度。
相机设置

选择好合适的3D相机之后,需要使用SDK文件对相机进行配置,并与相机随附的3D图像匹配软件进行配对,之后才能确定其3D姿态生成3D深度成像。

3D点云图深度视频






机器视觉的图像匹配原理

一文了解工业相机之景深

Teledyne Dalsa三线扫描彩色成像技术

一文了解指纹识别传感器

从图像处理到计算机视觉

微信图片_20220708093359.png