加权SIFT流深度迁移的单幅图像2D转3D.pdf

第2期
电子
报
Vol43 No.2
2015年2月
ACTA ELECTRONICA SINICA
Feb.2015
加权SIFT流深度迁移的单幅图像2D转3D
袁红星,吴少群,朱仁祥,安鹏
(宁波工程学院电子与信息工程学院,浙江宇波315016
摘要:2D视频转3D视频是解决3D片源不足的主要手段,而单幅图像的深度估计是其中的关键步骤.提出基
于加权ST流深度迁移和能量模型优化的单幅图像深度提取方法.首先利用图像的全局描述符从深度图数据库中检
索出近邻图像;其次通过ST流建立输入图像和近邻图像之间像素级稠密对应关系;再次由ST流误差计算迁移权
重,将近邻图像对应像素点的深度乘以权重后迁移到输入图像上;然后利用均值滤波对迁移后的近邻图像深度进行融
合;最后建立深度图优化能量模型,在尽量接近迁移后近邻图像深度的前提下,平滑梯度较小区域的深度.实验结果表
明,该方法降低了估计深度图的平均相对误差,增强了深度图的均匀性
关键词:2D转3D;尺度不变特征变换流;深度估计;深度图优化;能量模型
中图分类号:TIN911.73文献标识码
文章编号:0372-2112(2015)02-0242-06
电子学报URL:hit:/www.ejournal.og.cn
DOI:10.3969/j.isn.0372-2112.2015.02.006
Single Image 2D-TO-3D Conversion via Weighted SIFT Flow
YUAN Hong-xing, WU Shao-qun, ZHU Ren-xiang, AN Peng
(h of Electic an nrm g, N ng y of no Mngb, Zhag 315016, Chi
Abstract: D- D conversion is one of the im ant ways o alleviate the lack of Cent, in which the key tecnique
is de stma m a n e m A x n m o d n w d LFT flow depth transfering and energy mod
el optimiz on is ped. F k-na ghr ma w ved y eating the o al mae epors between the
target image and the images from the RGBD database. Then, pixels of the target image and piers of its neighbors in the database
were matched using SIFT flow, which also eneraed matching errors used to determine the transfering weights of the neighbor
Next, depth maps of neighboring images were transferred to the target image according to the pixel matching and the transfering
weighs. The final depth map was obtained by et refinement based on a energy model Expemental results show that our
scheme can significantly reuce the average relative error and improve the uniformity of the depth map
Key words: 2D-TO-3D conversion; scale invariant feature transform flow depth estimation; depth map refinement; energy
model
1引言
不是绝对的,因而从线索恢复深度的方法容易发生误判
的情况.针对该问题, Saxena等2利用先验知识来训练
随着3D电影的大力推广,3D视频成为当前多媒体模型,得到各类景物特征与深度间的对应关系;然后利
领域的研究热点.員然3D显示技术已获得突破性进用该模型来综合估计每个像素的深度信息.该方法虽然
展,但制作一批具有较高品质和符合3D展示媒介需求可以得到较为准确的深度信息,但更新场景时,需要重
的3D内容依然面临着诸多挑战.3D内容不足已成为制新采集相应的滦度数据进行训练.为此,文献[3]假设相
约3D视频产业发展的瓶颈.2D转3D技术通过各种似的场景具有相似的深度,提出基于尺度不变特征变换
深度线素从原始2D视频图像中提取场景的深度信息,( Scale Invariant Feature Transfom,SIFT)流的深度迁移方
进而通过基于深度图的绘制技术( Depth Map Based Ren-法,直接由SIFT流建立相似场景间像素级对应关系,然
dering,DIBR)合成各种格式的3D视频.2D转3D是解决后将训练图像的深度迁移到输人图像上.但是该方法没
当前3D片源不足的最有效手段之一,其核心是单幅图有考虑同一对象深度的均匀性“们
像的深度估计.然而,图像包含的线索和深度间的关系
收稿日期:2013-07-31;修回日期:2013-12-06;贲任编辑:马兰英
基金项目:国家自然科学基金(N.61071173);断江省自然科学基金(No.LY12O1001,No.Y10035);宁波市自然科学基金(No.2012A610043,
No.2012A61011,No.2011A610186);浙江省教育厅科研项目(No.Y201431834)