映射RGB和深度(Kinect v2)

47个视图(30天)

显示旧的评论

alheka 2016年2月15日

2
链接

这个问题直接联系

//www.tianjin-qmedu.com/matlabcentral/answers/268152-mapping-rgb-and-depth-kinect-v2

编辑: 沃尔特·罗伯森 2019年6月11日

答:接受师大

大家好,我的项目,我使用Kinect v2和我必须映射到RGB图像的深度信息流程:特别是,我需要知道哪些像素的RGB图像在一定范围的距离(深度)沿Z轴;我获得的所有数据使用c#程序并保存图像。

我有一个在互联网上看,我发现了一些方程绘制深度和RGB信息在这里。我可以得到单一相机校正的固有参数使用棋盘记录从RGB相机(1920 x1080)和红外传感器(512 x424)和处理用MatLab相机校准器应用,但是我坚持做立体校准(找到旋转和转换矩阵),因为MatLab立体相机校准器不接受不同分辨率的图像。

我也试过其他方法没有结果;这将是伟大的如果有人能帮我弄清楚我要做什么才能解决我的问题。非常感谢!

9日评论
显示8年长的评论隐藏8年长的评论

默罕默德Hammad马利克 2018年11月6日

编辑:沃尔特·罗伯森 2018年11月6日

我想但是我不能使用这个链接。请检查它是什么我需要做的事情。见附加代码。谢谢

                               函数(对齐)=…
                              
                               depth_rgb_registration (“云F: \ kinectdata \ \ tomato.ply”,F: \ kinectdata \颜色\ tomato1.jpg ',…
                              
                               1.1752 e + 03, 1.2589 e + 03, 849.6059, 726.8106,…
                              
                               1.0585 e + 03, 1.1341 e + 03, 965.1123, 583.2686,…
                              
                               (1.0000 -0.0055 0.0003 -78.2239;
                              
                               0.0055 1.0000 0.0002 31.3206;
                              
                               -0.0003 - -0.0002 1.0000 - -8.0845)
                              
                               fx_rgb_len = 3.28135;
                              
                               fy_rgb_len = 3.51571;
                              
                               fx_d_len = 3.64132;
                              
                               fy_d_len = 3.90295;
                              
                               depthHeight = 424;
                              
                               depthWidth = 512;
                              
                               depthHeight =大小(“云F: \ kinectdata \ \ tomato.ply”1);
                              
                               depthWidth =大小(“云F: \ kinectdata \ \ tomato.ply”2);
                              
                               %对齐将包含X, Y, Z, R, G, B值的飞机
                              
                               对齐= 0 (depthHeight depthWidth 6);
                              
                               为v = 1:(depthHeight)
                              
                               为u = 1:(depthWidth)
                              
                               %应用深度intrinsic
                              
                               z =单(“云F: \ kinectdata \ \ tomato.ply”(u), v) / depthScale;
                              
                               x =单((u - 849.6059) * z) / 1.1752 e + 03;
                              
                               y =单((v - 726.8106) * z) / 1.2589 e + 03;
                              
                               %的外在
                              
                               改变了= ((1.0000 -0.0055 0.0003 -78.2239;
                              
                               0.0055 1.0000 0.0002 31.3206;
                              
                               -0.0003 -0.0002 1.0000 -8.0845]* [x, y, z, 1])”;
                              
                               对齐(u v, 1) =(1)转变;
                              
                               对齐(u, v 2) =(2)转变;
                              
                               对齐(u v, 3) =(3)转变;
                              
                               结束
                              
                               结束
                              
                               为v = 1:(depthHeight)
                              
                               为u = 1:(depthWidth)
                              
                               %将RGB intrinsic
                              
                               x =(对齐(u v, 1) * 1.0585 e + 03 /对齐(u v, 3)) + 965.1123;
                              
                               y =(对齐(u, v 2) * 1.1341 e + 03 /对齐(u v, 3)) + cy_rgb;
                              
                               %“x”和“y”指数到RGB框架,但它们可能包含
                              
                               %无效值(对应于不可见的部分场景
                              
                               %的RGB相机。
                              
                               我们有一个有效的索引%呢?
                              
                               如果y > rgbHeight (x > rgbWidth | | | |…
                              
                               y < 1 x < 1 | | | |…
                              
                               isnan (x) | | isnan (y))
                              
                               继续;
                              
                               结束
                              
                               %需要某种插值。我是懒惰的
                              
                               x =圆(x);
                              
                               y =圆(y);
                              
                               对齐(v, u, 4) =单(F: \ kinectdata \颜色\ tomato1.jpg '(y、x, 1);
                              
                               对齐(u v, 5) =单(F: \ kinectdata \颜色\ tomato1.jpg '(y, x, 2);
                              
                               对齐(u, v 6) =单(F: \ kinectdata \颜色\ tomato1.jpg '(y、x, 3);
                              
                               结束
                              
                               结束
                              
                               结束

默罕默德Hammad马利克 2018年11月15日

感谢,我使用这个但总是说设备不是发现,而是当我运行在其他代码然后装置是有效的

登录置评。

在回答这个问题。

接受的答案

师大 2016年2月16日

4
链接

直接链接到这个答案

//www.tianjin-qmedu.com/matlabcentral/answers/268152-mapping-rgb-and-depth-kinect-v2 answer_209992

嗨alheka,我以前也有同样的问题。可惜Matlab仍然没有解决这个问题。但是有一个解决方案。我花了很长时间才弄明白。这里有你所需要的步骤:

1。立体校准:

)找到棋盘点:

                             [pointsRGB, boardSizeRGB imagesRGBused] = detectCheckerboardPoints (imagesRGB);
                            
                             [pointsIR, boardSizeIR imagesIRused] = detectCheckerboardPoints (imagesIR);

b)将对在一个设置点没有检测到。Matlab为音响自动校准。但是你需要编写代码。我做了这样的代码,但是它太不可读分享!

c)现在需要手动将两套。

imagePoints =猫(4 poitnsRGB pointsIR);

d)现在这个词点:squaresize中的每个方格的宽度你校准目标(单位为毫米)。

worldPoints = generateCheckerboardPoints (boardSizeRGB squaresize);

e)校准:

                             [stereoParams, pairsUsed estimationErrors] = estimateCameraParameters (imagePoints,…
                            
                             worldPoints,“EstimateSkew”假的,“EstimateTangentialDistortion”假的,…
                            
                             “NumRadialDistortionCoefficients”2,“WorldUnits”,“毫米”);
                            
                             图;showReprojectionErrors (stereoParams);
                            
                             图;showExtrinsics (stereoParams);

f)如果需要,删除与高误差和对图像进行调整的错误直到你满意。

2)地图图片:实际上链接你已经为这部分是正确的。只要按照这些指令。

3)记住一些工件(重复的像素)可以导致映射图像由于视差和一些在一个相机像素是可见的,而不是其他。有办法解决这个问题。

我希望它适合你。

祝你好运。

8的评论
显示7年长的评论隐藏7年长的评论

alheka 2016年2月16日

非常感谢你的帮助,师大。我还有些问题:

1)在图中出来的立体标定,相机1左边(RGB相机)表示对照相机2(深度传感器),但在Kinect是相反的

2)我还是不能够映射到RGB图像深度信息。

通过校准我计算了旋转(R)和翻译(T)矩阵之间的深度传感器和RGB相机,以及他们的内在参数。

我已经创建了P3D_d(深度像素在世界坐标与深度传感器)和P3D_rgb世界坐标与rgb(深度像素相机)。

                                  row_num = 424;
                                 
                                  col_num = 512;
                                 
                                  P3D_d = 0 (row_num col_num 3);
                                 
                                  P3D_rgb = 0 (row_num col_num 3);
                                 
                                  续= 1;
                                 
                                  为行= 1:row_num
                                 
                                  为坳= 1:col_num
                                 
                                  P3D_d(行,坳,1)=(行- cx_d) *(行,坳)/ fx_d深度;
                                 
                                  P3D_d(行,col 2) = (col - cy_d) *(行,坳)/ fy_d深度;
                                 
                                  P3D_d(行,坳,3)=深度(行,坳);
                                 
                                  temp = [P3D_d(行,坳,1);P3D_d(行,坳,2);P3D_d(行,坳,3)];
                                 
                                  P3D_rgb(行,上校:)= R *临时+ T;
                                 
                                  结束
                                 
                                  结束

我已经创建了P2D_rgb_x P2D_rgb_y。

                                  P2D_rgb_x (:: 1) = (P3D_rgb (:,: 1)。/ P3D_rgb (:,:, 3)) * fx_rgb + cx_rgb;
                                 
                                  P2D_rgb_y (:: 2) = (P3D_rgb (:,: 2)。/ P3D_rgb (:,:, 3)) * fy_rgb + cy_rgb;

但是现在我不知道如何继续下去。

校准参数的假设是正确的,我试图点击定义点的深度(坐标:row_d col_d)和rgb(坐标:row_rgb col_rgb)图像,但返回P2D_rgb_x (row_d col_d)是完全不同的从row_rgb以及P2D_rgb_y的回归(row_d col_d)与col_rgb完全不同。

那么,到底是什么意思P2D_rgb_x P2D_rgb_y ?我如何使用它们来深度值映射到rgb图像或只是为了得到一定的rgb像素的深度?

我将apreciate任何建议或帮助!