自然的三维场景视点控制系统.pdf

上传人:first2 文档编号:100371756 上传时间:2021-09-07 格式:PDF 页数:7 大小:445.26KB
返回 下载 相关 举报
自然的三维场景视点控制系统.pdf_第1页
第1页 / 共7页
自然的三维场景视点控制系统.pdf_第2页
第2页 / 共7页
自然的三维场景视点控制系统.pdf_第3页
第3页 / 共7页
自然的三维场景视点控制系统.pdf_第4页
第4页 / 共7页
自然的三维场景视点控制系统.pdf_第5页
第5页 / 共7页
亲,该文档总共7页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述
第2 2 卷第1 1 期 2 0 1 0 年1 1 月 计算机辅助设计与图形学学报 J o u r n a lo fC o m p u t e r A i d e dD e s i g n C o m p u t e rG r a p h i c s V 0 1 2 2N o 1 1 N o v 2 0 1 0 自然的三维场景视点控制系统 鲁鹏,汪国平,王衡 ( 北京大学机器感知与智能教育部重点实验室北京 1 0 0 8 7 1 ) ( 1 u p e n g g r a p h i c s p k u e d u c n ) 摘要:为了增强三维场景视点控制的自然性,给用户更多的交互沉浸感,设计并实现了一套自然的三维场景视点 控制系统系统采用立体视觉方法定位用户头部的三维空间运动,并利用计算机图形学原理将头部运动映射为三维 场景的视点控制同时,为了方便用户锁定当前视点,系统采用语音识别方法实现基于头部运动的视点控制方式的 启动和关闭测试实验结果表明,该系统是可行的、实用的 关键词:视点控制;立体视觉;语音识别;仿射变化 中图法分类号:T P 3 9 1 AN a t u r a l3 DV i e w p o i n tC o n t r o lS y s t e m L uP e n g ,W a n gG u o p i n g ,a n dW a n gH e n g ( T h eK e yL a b o r a t o r yo fM a c h i n eP e r c e p t i o na n dI n t e l l i g e n t ,M i n i s t e ro fE d u c a t i o n ,P e k i n gU n i v e r s i t y ,B e O i n g 1 0 0 8 71 ) A b s t r a c t :I nt h i sp a p e r ,an o v e ln a t u r a l3 Dv i e w p o i n tc o n t r o ls y s t e md e s i g n e da n di m p l e m e n t e dt o e n h a n c et h en a t u r a l n e s so ft h ev i e w p o i n te o n t r o la n dt og i v eusersm o r ei m m e r s i o np e r c e p t i o ni s p r e s e n t e d I no u rp r o p o s e da p p r o a c h ,t h eu s e r Sh e a dp o s i t i o ni so b t a i n e di n3 Ds p a c eb ye m p l o y i n g s t e r e ov i s i o nm e t h o d s T h e nt h eh e a dm o t i o ni sm a p p e da sv i e w p o i n tc h a n g e s M o r e o v e r ,v i e w p o i n t l o c k i n gv i au s e rv o i c ei ss u p p o r t e dt h r o u g hv o i c er e c o g n i t i o n O u re x p e r i m e n t sd e m o n s t r a t et h a tt h e p r o p o s e ds y s t e mi Se f f e c t i v ei np r a c t i c e s K e yw o r d s :v i e w p o i n tc o n t r o l ;s t e r e ov i s i o n ;v o i c er e c o g n i t i o n ;a f f i n et r a n s f o r m 随着高速处理芯片和虚拟现实技术的迅速发 展,传统的人机交互方式的局限性日益明显,人们期 望交互方式“以人为中心”,更接近于人类自然的交 流形式n 当前,基于三维鼠标、游戏操纵杆以及数 据手套的三维场景视点交互方式虽然也能方便地进 行视点控制,但是这些交互方式要么不自然( 如三维 鼠标、游戏操纵杆) 、要么操作复杂且费用昂贵( 如数 据手套) ,无法给用户带来沉浸感基于此,越来越多 的研究者们开始研究利用肢体动作( 头部动作) 来实 现视点的控制 3 。10 。 1 国内外研究现状 前人的研究主要集中在基于头部转动的视点控 制方式和基于头部运动的视点控制方式2 个方面, 其中以基于头部转动视点控制方式的研究居多 文献 3 针对头盔显示器视角狭小的问题提出采用 头部转动进行视点控制,并采用位置跟踪器实现对 头部转动的检测;文献 4 将头部转动引入到“F i s h T a n kV R ”系统中来解决其有限显示空间问题;文 献 5 6 对头部转动和视点变化之间的映射关系进 行了研究,给出了一个有效的基于头部转动的视点 控制数学模型;文献 7 提出了一种桌面显示环境下 增强头部转动的三维用户接口,并通过实验证明,头 部转动的视点控制方式更直观,可以给用户带来更 多的交互沉浸感;文献 8 研究了基于物体三维运动 的虚拟场景控制方式,给出了一个指导性的框架; 收稿日期;2 0 0 9 一1 0 2 2 ;修回日期:2 0 1 0 0 9 2 5 基金项目:国家“九七i ”重点基础研究发展计划项目( 2 0 1 0 C B 3 2 8 0 0 2 ) ;国家。八六i ”高技术 研究发展计划( 2 0 0 9 A A 0 1 2 3 2 4 ,2 0 0 9 A A 0 1 2 1 0 5 ) ;国家自然科学基金重点项目( U 0 7 3 5 0 0 4 ) ;国家自然科学基金( 9 0 9 1 5 0 1 0 ,6 0 9 2 5 0 0 7 ) 鲁 ( 1 9 7 8 一) ,男,博士,讲师,主要研究方向为人机交互、计算机视觉;汪国平( 1 9 6 4 一) ,男,博士。教授,博士生导师,C C F 高级会员,主要研究方向 为计算机图形学、人机交互、虚拟现实;王衡( 1 9 6 0 一) 。女,博士,副教授,主要研究方向为人机交互、数字图像处理、计算机图形学 万方数据 第1 1 期鲁鹏,等:自然的三维场景视点控制系统1 9 6 7 文献E 9 3 提出采用图像分析技术对头部的转动姿态 进行估计,并利用估计的结果实现三维场景的视点 控制 本文研究关注的是通用显示环境下( 如桌面显 示器或者墙面投影仪) 的三维场景视点交互技术。虽 然基于头部转动的交互方式头盔显示器系统中应用 更自然,但是其在通用显示环境下存在明显的缺陷, 即用户头部转动幅度较大时将无法看到显示内容, 而此时基于头部运动的视点控制方法更为自然、更 为合理文献E 1 0 3 对基于头部运动控制方式的有效 性进行了评估,但并未给出一套具有实用性的交互 系统,其所述系统需要用户佩戴特殊的定位设备来 实现对头部运动的跟踪,大大降低了该系统的自然 性和推广性本文设计并实现了一套自然的三维场 景视点控制系统,通过双目立体视觉方式感知用户 的三维头部运动来实现视点控制本文系统的输入 设备包含2 台普通的网络摄像头和一支普通的耳 麦,用户交互过程中不需要佩戴任何特殊的设备;采 用立体视觉方法检测用户的头部位置、利用计算机 图形学原理将头部运动映射为三维场景的视点变化, 并采用语音识别方法支持用户对当前视点的锁定 2 头部三维空间定位 通用显示环境中,用户视线关注点始终在尺寸 有限的终端显示屏幕上,此时可以通过对用户面部 的跟踪来实现头部的三维空间定位本文提出的三 维空间人脸定位算法系统框架如图1 所示,系统流 程大体可分为系统初始化以及三维空间人脸定位 初始化过程中,系统完成左右相机内外参数的标定; 三维空间人脸定位阶段可分成二维图像人脸的快速 定位、左右路人脸区域对齐以及三维空间位置信息 提取3 个步骤系统初始化过程中的内外参数标定 采用了张正友的平面标定法 1 1 网网 I 标定扳Il 杯定板I 一豳 图1 系统框图 2 1 图像人脸的快速定位 2 1 1 基于A d a b o o s t 的人脸定位算法 基于A d a b o o s t 的人脸定位算法 1 2 是由V i o l a 等在2 0 0 1 年提出的该算法本质上是基于一种化整 为零的思想,即先找到一些具有一定分类能力的特 征( 弱分类器) ,然后将这些弱分类器组合成一个强 分类器,以达到很强的分类能力,最终形成的强分类 器的训练错误率接近于零在进行人脸检测时, V i o l a 等采用了由H a a r 小波变换而来的类H a a r 特 征作为分类特征,这些特征通过相邻区域的灰度差, 即亮度关系来描述目标V i o l a 等认为,类H a a r 特 征物理意义十分明确,人脸可以通过若干这样的 H a a r 特征来描述为了加快检测速度,在对子窗口 进行人脸闰E 人脸的检测时,V i o l a 等引入了分层识 别的概念,即并不是将所有的分类器组成一个强分 类器,而是按一定的次序将若干个弱分类器在某一 层组成一个强分类器,然后在下一个层次再组成一 个强分类器,这样最终分类器是由若干个处于不同 层的强分类器组成的这样做的好处是:在检测过程 中要判别的H a a r 特征是相当多的,如果先通过前 面的层次除去伪目标,那么后面的层次需要判别的 目标就会少得多 2 1 2 级联肤色分类器的人脸定位算法 基于A d a b o o s t 的人脸定位算法需要穷举图像 中所有的区域来进行人脸定位虽然在实际检测中 其采用了分层策略,但由于前端运算量较小的强分 类器去除伪目标能力有限,后端运算量较大的强分 类器仍然要面对较多的伪目标,致使运算速度依然 较慢为此,本文考虑将肤色信息引入到级联框架 中,这样处理的优势在于可以最大程度地利用人脸 肤色信息,在分类器最前端去除伪目标。进而减少后 端分类器需判断的目标的数量,加快检测速度 1 ) 肤色模型 肤色模型的建立首先需要将人脸肤色区域从 万方数据 计算机辅助设计与图形学学报第2 2 卷 红、绿、蓝空间转换到色度H 、饱和度S 和亮度V 空 间;然后利用H 空间对光照和饱和度变化的良好鲁 棒性对H 分量的进行统计,以建立统计模型,即肤 色模型在实际计算中,本文假设人脸肤色的H 分 布符合正态分布N ( p ,盯) ,其中卢为肤色分布的均 值,d 为肤色分布的方差那么,图像上任意点是肤 色的概率可表示为 P f ( 谢,:旦F 二( h ( i 互, j ) - - u ) z P f “。户J 一 n ) 其中,P 。( i ,J ) 为图像点( i ,J ) 是肤色的概率值,其取 值范围为 o ,1 ; ( i ,) 为图像点( i ,歹) 转换到H S V 2 ) 肤色分类器定义 利用上述肤色模型,本文定义肤色分类器为 f 1 , 丸一1 。, 其中,R 为子窗口内全部像素集合,T 为预先设置的 门限值,h 。为肤色分类器当h 。= 0 时,本文定义当 前子窗口为非人脸区域;当h 。一1 时,本文定义当前 子窗口可通过肤色监测器最终可以得到如图2 所 示的级联肤色分类器的人脸检测器为了加快肤色 检测器的速度,在实际计算过程中采用肤色积分图 的快速计算方法 图2 级联肤色算法人脸检测器 2 2 基于仿射模型的人脸区域对齐 头部三维空间信息提取需要在左右路采集图像 中获得至少一对匹配点,而通过图2 所示分类器获 得的人脸区域精度较低,很难直接用于三维信息提 取为此需要精确地匹配左右图像中的人脸区域,并 从区域中提取匹配点来进行三维恢复基于区域的 仿射模型定位方法作
展开阅读全文
相关资源
猜你喜欢
相关搜索
资源标签

当前位置:首页 > 论文 > 电子信息


版权所有:www.WDFXW.net 

鲁ICP备14035066号-3