OpenCV 深度估计与分割 opencv 深度图
yuyutoo 2024-10-13 00:30 1 浏览 0 评论
使用深度摄像头的数据来识别前景区域和背景区域,首先要有一个深度摄像头,比如微软的Kinect,英特尔的realsense。
RealSense不支持在OSX上运行
https://communities.intel.com/thread/109986
mac上配置解决方案
https://github.com/IntelRealSense/librealsense/blob/master/doc/installation_osx.md
深度相关通道的概念:
- 深度图:它是灰度图像,该图像的每个像素值都是摄像头到物体表面之间的距离的估计值,比如,CAPOPENNIDEPTH_MAP通道的图像给出了基于浮点数的距离,该距离以毫米为单位。
- 点云图:它是彩色图像,该图像的每种颜色都对应一个(x,y或z)维度空间,比如CAPOPENNIPOINTCLOUDMAP通道会得到BGR图像,从摄像头的角度来看,B对应x(蓝色是右边),G对应y(绿色是向上),R对应z(红色对应深度),这个值的单位是米。
- 视差图:它是灰度图像,该图像的每个像素值代表物体表面的立体视差,立体视差是指:假如将从不同视角观察同一场景得到的两张图像叠放在一起,这很可能让人感觉是两张不同的图像,在这个场景中,针对两张图像中两个孪生的物体之间任意一对相互对应的两个像素点,可以度量这些像素之间的距离,这个度量就是立体视差,近距离的物体会产生较大的立体视差,而远距离的就小一些,因此近距离的物体视差图会明亮一些。
- 有效深度掩模:它是表明一个给定的像素的深度信息是否有效(一个非零值表示有效,零值表示无效),比如,如果深度摄像头依赖于红外照明器(红外闪光灯),在灯光被遮挡的区域(阴影)的深度信息就为无效。
深度摄像头RealSense 的SDK
GitHub地址:https://github.com/IntelRealSense/librealsense(建议Window或Ubuntu)
使用普通摄像头进行深度估算
深度摄像头是极少在捕获图像时能估计物体与摄像头之间距离的设备,深度摄像头是如何得到深度信息的呢?
深度摄像头(比如微软的Kinect)将传统摄像头和一个红外传感器相结合来帮助摄像头区别相似物体并计算他们与摄像头之间的距离。
如何用realsensesdk,如何用Kinect
普通摄像头完成物体到摄像头之间的距离,极几何。极几何是如何工作的呢?它跟踪从摄像头到图像上每个物体的虚线,然后在第二张图片做同样的操作,并根据同一个物体对应的线交叉来计算距离。
OpenCV如何使用极几何来计算所谓的视差图?
视差图计算StereoSGBM
使用GrabCut进行前景检测
计算视差图对检测图像的前景很有用,(OpenCV)StereoSGBM主要是从二维图片中得到三维信息。
GrabCut算法的实现步骤为:
- 1.在图片中定义含有(一个或者多个)物体的矩形
- 2.矩形外的区域被自动认为是背景
- 3.对于用户定义的矩形区域,可用背景中的数据来区别它里面的前景和背景区域
- 4.用高斯混合模型来对背景和前景建模,并将未定义的像素标记为可能的前景或背景
- 5.图像中欧冠的每一个像素都被看作通过虚拟边与周围像素相连接,而每条边都有一个属于前景或背景的概率,这基于它与周围颜色上的相似性
- 6.每一个像素(即算法中的节点)会与一个前景或背景节点链接
- 7.在节点完成链接后,若节点之间的边属于不同终端,则会切断它们之间的边,这就能将图像各部分分割出来
import numpy as npimport cv2from matplotlib import pyplot as plt#使用分水岭和GrabCut算法进行物体分割img = cv2.imread('images/statue_small.jpg')mask = np.zeros(img.shape[:2],np.uint8)bgdModel = np.zeros((1,65),np.float64)fgdModel = np.zeros((1,65),np.float64)rect = (100,1,421,378)cv2.grabCut(img,mask,rect,bgdModel,fgdModel,5,cv2.GC_INIT_WITH_RECT)mask2 = np.where((mask==2)|(mask==0),0,1).astype('uint8')img = img*mask2[:,:,np.newaxis]plt.subplot(121), plt.imshow(img)plt.title("grabcut"), plt.xticks([]), plt.yticks([])plt.subplot(122), plt.imshow(cv2.cvtColor(cv2.imread('images/statue_small.jpg'), cv2.COLOR_BGR2RGB))plt.title("original"), plt.xticks([]), plt.yticks([])plt.show()
使用分水岭算法进行图像分割
#-*- coding=utf-8 -*-import numpy as npimport cv2from matplotlib import pyplot as plt#使用分水岭算法进行图像分割img = cv2.imread('images/basil.jpg')gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)#将颜色转为灰度后,可为图像设一个阈值,将图像分为两部分:黑色部分和白色部分ret, thresh = cv2.threshold(gray,0,255,cv2.THRESH_BINARY_INV+cv2.THRESH_OTSU)# noise removal 噪声去除,morphologyEx是一种对图像进行膨胀之后再进行腐蚀的操作kernel = np.ones((3,3),np.uint8)opening = cv2.morphologyEx(thresh,cv2.MORPH_OPEN,kernel, iterations = 2)# sure background area 确定背景区域,图像进行膨胀操作sure_bg = cv2.dilate(opening,kernel,iterations=3)# Finding sure foreground area,通过distanceTransform来获取确定的前景区域dist_transform = cv2.distanceTransform(opening,cv2.DIST_L2,5)ret, sure_fg = cv2.threshold(dist_transform,0.7*dist_transform.max(),255,0)# Finding unknown regionsure_fg = np.uint8(sure_fg)unknown = cv2.subtract(sure_bg,sure_fg)# Marker labellingret, markers = cv2.connectedComponents(sure_fg)# Add one to all labels so that sure background is not 0, but 1markers = markers+1# Now, mark the region of unknown with zeromarkers[unknown==255] = 0markers = cv2.watershed(img,markers)img[markers == -1] = [255,0,0]plt.imshow(img)plt.show()
相关推荐
- 《亲爱的》特效真厉害,一块绿布贯彻全集,不得不佩服李现的演技
-
说起《亲爱的热爱的》这部电视剧,相信很多人并不陌生,这部电视剧让男演员李现因此爆红,其实李现是一个非常有潜力的男演员,他的表现也非常的精彩。但是大家都知道,在每一部电视剧中都有特效的存在,这部电视剧也...
- 充分运用AI特效,京剧电影《大唐贵妃》正式开机
-
“当唱到‘在天愿为比翼鸟,在地愿为连理枝’的时候,会从演员身后飞起一只巨大无比的比翼鸟,鸟在空中盘旋,刮起的风甚至会吹过角色的脸……”11月10日,电影《大唐贵妃》在上海车墩影视基地正式开机,这是第一...
- 工业光魔:没有PS的年代,特效怎么做?
-
大家好,我是戴着眼镜拿着话筒的阿拉斯加,片片。昨天,我给大家简单介绍了传奇特效公司——工业光魔的起源。...
- 价值13亿的“爽片”上映,每一帧都是钱砸出来的特效,却无缘国内
-
在七月二号的时候;美国在网络上面上映了一部大制作的“爽片”《明日之战》。...
- 影视特效是怎么制作出来的?来,一起体验吧!
-
电影是人们生活中不可缺少的一部分,是视觉与听觉相结合的现代艺术。悲剧、喜剧、亲情、友情、爱情都是它所能展现的内容。影视艺术有哪些独有的特征?什么是蒙太奇?全息影片又是什么意思?最近,少儿频道的一档节目...
- ps五分钟学会自己制作“特效”
-
嗨,欢迎观看本期的摄影后期教学。那就是教大家一个特别炫酷,特别实用的ps“特效”光!有同学会问,“啊,特效光是不是特别难,我一点ps都不会!”咳咳不要着急,karry的教学都是针对ps零基础的同学的,...
- 抖音这个特效太扎心,无数网友看着看着就哭了……
-
2078年的你,会是什么样子?最近,抖音上一款特效火了。它可以让你看到自己从现在到2078年的容貌变化,你可以一点点看着皱纹爬上眼角,白发布满双鬓。看着看着,很多网友就哭了。有人说,一辈子很长却也很短...
- 《爱情公寓》的特效有多好?这集花了300万,网友看不出来特效
-
对于有些电视剧来说,特效那可是相当重要的一个部分了。尤其是对那些科幻片和一些玄幻类的电视剧就更加了。一部剧或者是影片特效的好坏,直接就影响了这个作品的质量。首先就让我们来看一下电视剧孤芳不自赏吧!里面...
- 窗花剪纸、鸭头滤镜、潜艇王者…… 揭秘抖音特效那些事儿
-
更多往期「Byte漫来了」系列漫画,可点击阅读:...
- 原来影视剧中的“光头”全是这样弄的 观众被骗了许多年
-
不管是电影还是电视剧,都会有光头因为是剧情的需要,那么她们的光头会是怎么弄的呢?一直都以为那些演员都是要真的剃光头,看到这些照片后,才知道深深的被骗了许多年。在影视中,常常看到演员有光头的戏,她在外出...
- 这些特效给几分?春晚舞台显示技术盘点
-
[中关村在线投影机频道原创]从1983年开始,春晚成为国人大年三十晚上最期待的一场精神盛宴。直播式节目播出方式,各类表演大师云集舞台,相声小品歌舞欢聚一堂,这是很多家庭一年中最欢乐的时刻,而春晚,则是...
- 11 款六元秒杀特效对比,哪个赢了不知道,貂蝉一眼输了
-
已经上线了11款六元秒杀皮肤,其中部分是升级后的“伴生皮”,也就是英雄的首款皮肤,首周六元之后恢复原价488点券。无论是何种形式的六元皮肤,不得不说他们的质量都非常好,这11款皮肤的特效对...
- 《半条命2 RTX》上架Steam 光追特效+4K效果
-
《半条命2RTX》现已在Steam平台正式上架,这款屡获殊荣的游戏以其沉浸式的故事、惊险的战斗和令人费解的物理特性吸引了全球数百万玩家,游戏现已经新增全面光追、物理纹理以及增强的多边形效果进行了彻底...
- 微信又有新玩法?多种好看特效可选择,赶快安排上
-
今日分享:手机特效适用系统:安卓今天小雷又发现了一个好玩的东西,就是手机加上特效也太好看了吧!早上上班的时候发现同事打开微信后,微信页面居然下起了樱花雨。看了同事的微信页面小雷我真的觉得太好玩太好看了...
- 判若两人!揭秘好莱坞的特效化妆过程
-
好莱坞的特效化妆牛到什么程度呢?可以把美人化妆成丑八怪,把黑人化妆成白人,把年轻人化妆成老人,把女人化妆成男人,把男人化妆成女人,把普通人化妆成怪物、外星人甚至异鬼……来见识一下这些神奇化妆术的“变...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- mybatis plus (70)
- scheduledtask (71)
- css滚动条 (60)
- java学生成绩管理系统 (59)
- 结构体数组 (69)
- databasemetadata (64)
- javastatic (68)
- jsp实用教程 (53)
- fontawesome (57)
- widget开发 (57)
- vb net教程 (62)
- hibernate 教程 (63)
- case语句 (57)
- svn连接 (74)
- directoryindex (69)
- session timeout (58)
- textbox换行 (67)
- extension_dir (64)
- linearlayout (58)
- vba高级教程 (75)
- iframe用法 (58)
- sqlparameter (59)
- trim函数 (59)
- flex布局 (63)
- contextloaderlistener (56)