开启辅助访问
 找回密码
 立即注册

RGB-D|深度图像

jiahangzhi 回答数9 浏览数5693



深度图像 = 普通RGB三通道彩色图像 + Depth Map
RGB图和深度图是配准的,像素之间一一对应  
Depth Map|深度图

包含与视点场景对象表面距离有关信息的图像通道,通道本身类似于灰度图像,每个像素值是传感器测出距离物体的实际距离


分类

  • 与相机距离成比例:较近的表面较暗; 其他表面较轻



  • 与标称平面的距离相关:靠近焦平面的表面较暗; 远离焦平面的表面更轻


RGB-D相机


  • 结构光法

    • Kinect v1
    • iPhone X

  • 飞行时间法(TOF)

    • Kinect v2
    • Phab 2 Pro

结构光法
不依赖光照和纹理;夜间可用;主动家用投影已知图案;功耗低;紧纪律精度高



  • 时分复用编码:家用投影N个连续序列的不同编码光,接收端根据接收到的N个连续的序列图像识别每个编码点

    • 优:可得到较高分辨率深度图(有大量的3D家用投影点);受物体本身颜色影响小(采用二进制编码)
    • 缺:只适用静态场景;计算量大(识别一台编码点需要计算连续N次家用投影)




  • 空分复用编码:根据邻域内的一台窗口中所有点的分布识别编码

    • 优:适用于运动物体
    • 缺:不连续的物体表面(遮挡)可能产生错误的窗口解码



TOF飞行时间法


  • 原理:连续发射不可见光脉冲到被测物体上,接受从物体反射回的光脉冲,探测光脉冲的飞行时间计算被测物体距离
  • 分类(根据不同的调制方法)

    • 脉冲调制:通过电荷累计计算时间,对元器件要求高
    • 连续波调制(mAIn):利用相位偏移计算时间




  • 优:可调节发射脉冲的频率改变测量距离;测量精度不会随着测量距离增大而降低;抗干扰能力强;适合距离比较远的(无人驾驶)
  • 缺:功耗大;分辨率低深度图质量差
RGB-D相机问题


  • 深黑色物体影响:深黑色物体可以吸收大量的红外光导致测量不准



  • 表面光滑物体影响:镜面反射时,相机投射的结构光只有当接收器在特定位置时才能接收到

    • 当物体表面超过一定光滑程度时,深度相机精度会急剧下降,甚至没有深度值

  • (半)透明物体影响:深度值的歧义性

    • 半透明时同一次发射的结构光可能会接收到两次
    • 全透明时接收不到




  • 视差影响:结构光深度相机发射端和接收端通常有一定的间距
RGB-D特点


  • 优:规避了纯cv的弱点

    • 缺乏纹理
    • 光照不足
    • 过度曝光
    • 软件计算复杂度高
    • 快速运动




  • 缺

    • 受深色物体、(半)透明物体、镜面反射物体、视差影响
    • 深度图质量与硬件密切相关
    • 功耗大,成本高

<hr/>References

  • RGB-D数据集:RGB-D (Kinect) Object Dataset
  • RGB-D相机介绍_LazyMe-CSDN博客
  • RGB-D(深度图像) & 图像深度_JNing-CSDN博客
宝贝七七
“每个像素值是传感器测出距离物体的实际距离”,读取深度图的灰度值也就得到了像素值,从而知道了实际距离,可以这样理解吗?
用PixPix生成超酷炫电视壁纸
回复 赞 踩
使用道具 举报
suggestest
不是这样的,如果用深度相机获取到了深度图depth map,相当于黑白图像有两个通道,灰度值和深度值,彩色图像有四个通道RGBD
回复 赞 踩
使用道具 举报
scheffer
那怎么把深度值提取出来呢?是不是深度图的每个像素都有一个包含距离信息的深度值呀?刚刚开始学这方面,还不是太懂[捂脸]
回复 赞 踩
使用道具 举报
renth
深度图一般都是单独保存的 文件格式一般是pfm,可以搜一下这方面的资料,核心思想就是深度图单独存,图像就是普通的图像
回复 赞 踩
使用道具 举报
380186616
深度图用什么软件查看呀
回复 赞 踩
使用道具 举报
taibai
可以搜一些软件,我一般是直接用python读取深度图用plt显示,可以参考:https://github.com/doubleZ0108/MVS/blob/master/utils/visual.py
回复 赞 踩
使用道具 举报
蓝客资源联盟
还是用我的那段代码把深度图读出来,就像图片一样是一个数组,只不过每个数字代表的是深度信息~
回复 赞 踩
使用道具 举报
jmrf007
请问一下TOF深度相机获取黑色物体深度也会不准确或者缺失吗?
回复 赞 踩
使用道具 举报
ysykeke
会的,光总是要在传输和反射等过程中损失能量的,但tof主要用在稀释重建,本来就不可能没有缺失
回复 赞 踩
使用道具 举报
快速回复
您需要登录后才可以回帖 登录 | 立即注册

当贝投影