用于增强视频图像的设备和方法
2019-11-22

用于增强视频图像的设备和方法

一种增强视频图像的方法,包括步骤:估计视频图像内捕获的标识表面的范围;标识与视频图像内标识表面的估计范围对应的测试区域内的皮肤像素;基于标识的皮肤像素,外推在测试区域之外的视频图像内的皮肤像素的位置;由标识的皮肤像素和外推的皮肤像素的组合生成掩蔽;设置实际上叠加在视频图像内标识表面的顶部上的计算机图形的范围,该范围大于标识表面的估计范围;和对应于生成的掩蔽叠加视频图像的图形增强。

但是,现在参考图5,这导致了新的问题。在图5中,扩展的计算机图形1113’(仅为了示例的目的)比其重叠的书本的估计区域大5%。

在另一方面中,根据权利要求9提供娱乐装置。

原则上,可以看到以与第一解决方案互补的方式解决书本大小估计误差;如果它们是蓝色/绿色则添加像素到书本,如果它们不是蓝色/绿色则从扩展的书本区域删除它们。但是,将认可该方法同样具有与第一方法相同的问题,即当存在混淆背景时失败(这里可适用的蓝色或绿色)和由于混淆引起的波动。

但是,通常皮肤色调的标识的精确度可能相对差,导致用户的手在计算机图形上的过度植染(noisy)或者不调和的遮蔽(patchymasking)。

耦接到视频相机的娱乐装置可以捕获书的图像并使用已知的技术来检测每一可见页上的参照标记,且因此定位书的那些页。给定该信息,然后如图3B所示,娱乐装置可以以对应于可见页上的参照标记1〇11、1〇12的放置、规模和定向的弹出的虚拟计算机图形元素111U1112来增强书的捕获的视频图像,并输出增强的视频图像以显示。以该方式,书的显示的版本变为其中页可以活起来的“魔术”弹出式书。

典型的增强现实(或者“AR”)应用或系统接收实际环境的实况或记录的视频图像,且然后以下述方式以计算机图形增强这些视频图像,即计算图形显得在视频图像中以与实际环境的移动或位置一致的方式移动或定位。

因此,现在参考图4B且还参考图6,在本发明的实施例中,如先前所述的,基于书本的初始估计区域初始地生成初始皮肤掩蔽,如图4B所示。

技术领域

因为书本的背景颜色设计为产生捕获图像中非常高的绿色或蓝色像素颜色值,所以可以使得经验地确定的一个或多个阈值水平对从浅白色到暗黑色的宽范围的皮肤色调敏感,这些皮肤色调都包含比书本更高的红色的比例。就是说,可以积极地设置一个或多个阈值水平以包围皮肤色调的大范围。

因此,参考图4A,在该处理的示例中,用户的手(1300)放在屋里的书本之上。在该情况下,示出该书本在页1和2上打开且除了页1和2(1001,1002)的参照标记1011和1012之外还包括多个可选的印刷要素,包括位于参照标记和书本的一个或多个外边缘之间的非字母数字图案(1040A-D),且其可以用于在同一页上的参照标记变为被看到之前,将新的页标识为在其上翻页的多个页,由此使能展现出的页的更高的增强。因此,当结合如由书本的不同页上的参照标记指示的书本的规模和定向使用是,每个非字母数字图案能够至少指示相对的一对页,其包含非字母数字图案位于其上的各个页。另外,可以提供边界图案(1030八_D,1035L、R),在那里书本的封面延伸到页的维度之外。这些图案再次以与书本的页相同的蓝色或绿色方案,且例如可以用于检测书本的一个或多个页是否翻页,或者书本本身是否和上(仅该第二动作导致边界图案的相应翻转)。这可以用于当书本正在合上时停止一般的和估计的增强页的初始显示。这种初始显示通常可以用于隐藏正在展现的新的蓝色或绿色的页,直到其由非字母数字图案或者在其上印刷的参照标记适当地标识为止。

在任意情况下,因为书本大部分是浅蓝色(或者浅绿色),在误差导致增强未对准且没有完全覆盖书本时,这在增强的图像中非常明显。