威尼斯人棋牌-威尼斯欢乐娱人城-首页

混合现实或虚拟现实相机系统的制作方法

文档序号:24941711发布日期:2021-05-04 11:34
混合现实或虚拟现实相机系统的制作方法



背景技术:

虚拟现实(vr)允许用户体验和/或与沉浸式人工环境进行交互,使得用户感觉他们好像身处于该环境中。例如,虚拟现实系统可向用户显示立体场景以产生深度错觉,并且计算机可实时调整场景内容以提供用户在场景内移动的错觉。当用户通过虚拟现实系统观看图像时,用户可因此感觉他们好像正从第一人称视角在场景内移动。混合现实(mr)涵盖了从将计算机生成的信息(称为虚拟内容)与真实世界的视图相结合以增强或向用户的真实环境视图添加虚拟内容的增强现实(ar)系统到将真实世界对象的表示与计算机生成的三维(3d)虚拟世界的视图相结合的增强虚拟(av)系统的频谱。因此,虚拟现实系统的模拟环境和/或混合现实系统的混合环境可用于为多种应用提供交互式用户体验,诸如将虚拟内容添加到观察者环境的实时视图的应用、生成3d虚拟世界的应用、与虚拟培训环境进行交互、游戏、远程控制无人机或其他机械系统、查看数字媒体内容、与互联网交互、探索虚拟景观或环境等。



技术实现要素:

本公开描述了可在混合现实(mr)或虚拟现实(vr)系统中使用的用于视频透视头戴式显示器(hmd)的场景相机的各种实施方案。在常规hmd中,一个或多个场景相机可安装在hmd的前方。然而,场景相机的入射光瞳以及因此视角(pov)通常基本上偏移用户眼睛的pov并且因此不同于用户眼睛的pov。本公开描述了场景相机配置的实施方案,该场景相机配置通过使相机的入射光瞳朝向用户眼睛移动来至少部分地校正相机的视角(pov)以匹配用户的pov。

在一些实施方案中,hmd包括捕获用户前方的真实世界场景的相应部分的图像的二维小外形相机阵列(例如,一个阵列用于左眼,并且第二阵列用于右眼)。相机沿着球面曲线或表面定位,使得相机具有不重叠的相邻视场(fov)。为了实现用户视角的更准确表示,相机的光学器件被配置为使得阵列中的相机的入射光瞳位于在图像传感器处以及在用户眼睛处或附近形成的相机的图像平面的后面,同时相机也在传感器处形成优化图像。因此,每个相机阵列从与用户的相应眼睛基本上相同的视角捕获场景的视图。

阵列中的每个相机被配置为共同优化用户眼睛处的入射光瞳平面和相机传感器处的图像平面。在一些实施方案中,每个相机从物侧到像侧依次包括:第一透镜组,该第一透镜组包括一个或多个透镜元件;孔径光阑(例如,“针孔”孔径光阑);第二透镜组,该第二透镜组包括一个或多个透镜元件;和传感器。可形成(例如,切割或“切块”)第一透镜组中的透镜元件,使得相机在阵列中适配在一起,其中在第一透镜组中的透镜之间具有最小间隙或没有间隙。

为了针对每只眼睛捕获足够宽的视场(fov)(例如,在水平轴线和竖直轴线上90度至140度),可针对每只眼睛使用二维阵列,该二维阵列包括许多小外形相机,这些小外形相机各自具有相对窄的fov(例如,10度至15度),其中相机被布置和配置为使得相邻相机的fov相邻,而在相机之间无视差。因此,每个阵列可包括许多相机(例如,每只眼睛50至100个相机)。此外,这些相机中的每个相机的传感器捕获多像素图像。在非限制性示例中,传感器可被配置为捕获32每度像素(ppd),并且每个相机可覆盖12×12度的fov。在该示例中,每个相机捕获包括约150,000个像素的图像。因此,由每个相机阵列捕获的像素的总数可以较大(在该示例中,7兆像素至15兆像素,这取决于阵列中的相机的数量)。

在一些实施方案中,为了捕获和处理由阵列中的相机捕获的图像,将相机阵列中的传感器的竖直条或列连接到总线。因此,列中的传感器共享输出接口的物理层。由每个竖直条一个传感器组成的传感器的水平条或行被顺序地读出并且写入缓冲器;总线允许条中的传感器同时全部被读取。处理流水线获取并处理来自缓冲器的图像条以生成称为显示条的图像,该图像被发送到hmd的显示面板以供显示;获取并处理下一个缓冲后的图像条;依此类推。同时,该系统继续捕获并缓冲来自传感器的图像条。因此,可从显示面板的顶部到底部显示显示条,然后再次从显示面板的顶部到底部显示显示条,依此类推。

此外,描述了用于减少每只眼睛所需的相机数量的方法,以及用于减少从相机传感器阵列读取并且由流水线处理的像素数量的方法。

在一些实施方案中,可使用棱镜和相机来捕获视场(fov)的一部分(例如,外围区域),从而减少阵列中相机的数量。相机阵列校正fov的相应部分的视角(pov)。棱镜允许捕获场景的外围区域的图像的相机的入射光瞳移动成比在常规相机中更靠近用户的眼睛,从而至少部分地校正fov的该部分的pov。

在一些实施方案中,可使用标准前置相机来捕获fov的至少一部分,从而减少阵列中相机的数量。在这些实施方案中,相机阵列校正感兴趣区域的pov。fov的剩余部分被标准前置相机覆盖,该标准前置相机具有相对于用户眼睛的pov偏移。

在一些实施方案中,可通过降低外围区域中的相机的分辨率来减少从相机阵列中的传感器读取并且由流水线处理的像素的数量。在一些实施方案中,可通过降低外围区域中的相机的分辨率并且增大相机的fov来减少阵列中相机的数量。在一些实施方案中,可通过降低外围区域中的相机的分辨率、增大相机的fov以及移动相机的入射光瞳来减少阵列中相机的数量。

在一些实施方案中,可向阵列中的相机引入轻微视差以减少渐晕并且增大相机之间的间距。

在一些实施方案中,可使用一个传感器来针对阵列中的多个(例如,四个)相机捕获图像。在这些实施方案中,可移动或调整与传感器一起使用的相机的光学器件以将图像平面与传感器表面对准。

在一些实施方案中,可使用曲面传感器和更简单的透镜系统来为每个相机提供更宽的fov,并且因此减少阵列中相机的数量。

在一些实施方案中,可将负弯月形透镜置于相同相机的阵列的前方,以提供朝向阵列的周边逐渐变宽的fov和变低的分辨率,并且使pov朝向阵列的周边逐渐偏移。

附图说明

图1a示出了根据一些实施方案的包括相机阵列的头戴式显示器(hmd),该相机阵列在用户的眼睛处或附近具有入射光瞳。

图1b至1e示出了hmd正面上的相机阵列的示例性配置。

图2示出了根据一些实施方案的相机阵列的一部分。

图3示出了根据一些实施方案的如图1a至图2所示的可在阵列中使用的在用户的眼睛处或附近具有入射光瞳的示例性相机。

图4示出了根据一些实施方案的用于捕获和处理由阵列中的相机捕获的图像的装置。

图5示出了根据一些实施方案的使用棱镜和相机来减少阵列中相机的数量。

图6a和图6b示出了根据一些实施方案的使用前置相机来减少阵列中相机的数量。

图7a至图7d示出了根据一些实施方案的通过降低外围区域中的相机的分辨率来减少像素的数量。

图8a和图8b示出了根据一些实施方案的通过降低外围区域中的相机的分辨率并且增大相机的视场(fov)来减少相机的数量。

图9a和图9b示出了根据一些实施方案的通过降低外围区域中的相机的分辨率并且移动相机的入射光瞳来减少相机的数量。

图10a和图10b示出了根据一些实施方案的向相机引入轻微视差以减少渐晕。

图11a和图11b示出了根据一些实施方案的多个相机使用一个传感器。

图12示出了当多个相机使用一个传感器时相对于传感器的未对准的图像平面。

图13示出了根据一些实施方案的移动相机的光学器件以使图像平面与传感器对准。

图14示出了根据一些实施方案的可在相机阵列中使用的平传感器和相对复杂的透镜系统。

图15示出了根据一些实施方案的使用曲面传感器和更简单的透镜系统来提供更宽的fov并且减少相机阵列中相机的数量。

图16以图形方式示出了根据一些实施方案的在相机阵列前方添加负弯月形透镜以增大相机朝向周边的视场(fov)。

图17以图形方式示出了根据一些实施方案的在相机阵列前方添加负弯月形透镜以使相机的视角(pov)朝向周边逐渐偏移。

图18以图形方式示出了根据一些实施方案的在相机阵列前方添加负弯月形透镜以减少朝向周边的每度内的像素数(ppd)。

图19示出了根据一些实施方案的相机阵列和负弯月形透镜的非限制性示例。

图20a至图20c以图形方式示出了根据一些实施方案的在相机阵列中的相机前方包括负弯月形透镜的示例性场景相机。

图21是根据一些实施方案的如本文所述的用于mr/vr系统的操作方法的高级流程图。

图22是根据一些实施方案的用于捕获和处理由阵列中的相机捕获的图像的方法的流程图。

本说明书包括参考“一个实施方案”或“实施方案”。出现短语“在一个实施方案中”或“在实施方案中”并不一定是指同一个实施方案。特定特征、结构或特性可以与本公开一致的任何合适的方式被组合。

“包括”,该术语是开放式的。如在权利要求书中所使用的,该术语不排除附加结构或步骤。考虑以下引用的权利要求:“一种包括一个或多个处理器单元...的装置”此类权利要求不排除该装置包括附加部件(例如,网络接口单元、图形电路等)。

“被配置为”,各种单元、电路或其他部件可被描述为或叙述为“被配置为”实行一项或多项任务。在此类上下文中,“被配置为”用于通过指示单元/电路/部件包括在操作期间实行这一项或多项任务的结构(例如,电路)来暗指该结构。如此,单元/电路/部件据称可被配置为即使在指定的单元/电路/部件当前不可操作(例如,未接通)时也实行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可实行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”实行一项或多项任务明确地旨在针对该单元/电路/部件不援引35u.s.c.§112的第六段。此外,“被配置为”可包括由App或固件(例如,fpga或实行App的通用处理器)操纵的通用结构(例如,通用电路)以能够实行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如,半导体制作设施),以制造适用于实现或实行一项或多项任务的设备(例如,集成电路)。

“第一”“第二”等。如本文所用,这些术语充当它们所在之前的名词的标签,并且不暗指任何类型的排序(例如,空间的、时间的、逻辑的等)。例如,缓冲电路在本文中可被描述为实行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。

“基于”或“取决于”,如本文所用,这些术语用于描述影响确定的一个或多个因素。这些术语不排除可影响确定的附加因素。即,确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于b来确定a”。在这种情况下,b为影响a的确定的因素,此类短语不排除a的确定也可基于c。在其他实例中,可仅基于b来确定a。

“或”,在权利要求书中使用时,术语“或”被用作包含性的或,而不是排他性的或。例如,短语“x、y或z中的至少一者”表示x、y和z中的任一者以及它们的任意组合。

具体实施方式

本公开描述了可在混合现实(mr)或虚拟现实(vr)系统中使用的用于视频透视头戴式显示器(hmd)的场景相机的各种实施方案。在常规hmd中,一个或多个场景相机可安装在hmd的前方,其捕获用户前方的真实世界场景的图像;处理这些图像并且将其显示到hmd的显示面板。然而,这些常规场景相机的入射光瞳以及因此视角(pov)通常基本上偏移用户眼睛的pov并且因此不同于用户眼睛的pov。本公开描述了场景相机配置的实施方案,该场景相机配置通过使相机的入射光瞳朝向用户眼睛移动来至少部分地校正相机的视角(pov)以匹配用户的pov。因此,场景相机可从与用户的眼睛基本上相同的视角捕获环境的图像。

图1a示出了根据一些实施方案的用于mr/vr系统100的包括相机120的阵列112的头戴式显示器(hmd)110,该相机阵列在用户的眼睛190处或附近具有入射光瞳。hmd110包括一个或多个显示面板114(例如,每只眼睛190一个显示面板114)和一个或多个透镜116(例如,每只眼睛一个透镜116),用户通过该一个或多个透镜观察显示面板114上显示的图像。系统100还包括控制器130,该控制器包括一个或多个处理器和存储器,该控制器经由有线或无线接口耦接到相机120和显示面板114。控制器130可集成在hmd110中,或者另选地可为经由一个或多个有线或无线接口与hmd110通信的单独设备或基站的部件。控制器130可为或可包括fpga(现场可编程门阵列)、isp(图像信号处理器)、soc(片上系统)或其他适当的技术。

hmd110可包括两个相机阵列112(一个阵列112用于左眼,并且第二阵列112用于右眼)。在一些实施方案中,阵列112中的相机120沿着球面曲线或表面定位,使得相机120具有不重叠的相邻视场(fov)。阵列112中的每个相机120捕获用户前方的真实世界场景的相应部分的图像。为了实现用户视角的更准确表示,相机的光学器件被配置为使得阵列112中的相机120的入射光瞳位于在相机传感器处以及在用户眼睛190处或附近形成的图像平面的后面。图2示出了示例性相机120。因此,相机阵列112从与用户的眼睛基本上相同的视角捕获场景的视图。

在一些实施方案中,为了针对每只眼睛190捕获足够宽的视场(fov)(例如,在水平轴线和竖直轴线上90度至140度),可针对每只眼睛190使用二维阵列112,该二维阵列包括许多小外形相机120,这些小外形相机各自具有相对窄的fov(例如,10度至15度),其中相机120被布置和配置为使得相邻相机120的fov相邻,而在相机120之间无视差。因此,每个阵列112可包括许多相机120(例如,每只眼睛50至100个相机)。此外,相机120中的每个相机的传感器捕获多像素图像。在非限制性示例中,传感器可被配置为捕获32每度内的像素数(ppd),并且每个相机可覆盖12×12度的fov。在该示例中,每个相机120捕获包括约150,000像素的图像。因此,由每个相机阵列112捕获的像素的总数可以较大(在该示例中,7兆像素至15兆像素,这取决于阵列112中相机的数量)。

图1b至图1e示出了hmd110正面上的相机阵列112的示例性非限制性配置。图1b示出了在每个阵列112a(左眼阵列)和112b(右眼阵列)中具有m×m个相机120的示例性正方形相机阵列。该示例示出了7×7相机阵列112;然而,在实施方案中可使用更多或更少的相机120。图1c示出了在每个阵列112a和112b中具有m×n个相机120的示例性矩形相机阵列。该示例示出了8×10相机阵列112;然而,在实施方案中可使用更多或更少的相机120。图1d示出了在一些实施方案中阵列112可使用其他形状。该示例示出了大致椭圆形或六边形形状,其中每个阵列112包括六十个相机120。如图1e所示,在一些实施方案中,相机120的行或列可交错。

图2示出了根据一些实施方案的相机阵列112的一部分。相机120沿着球面曲线或表面定位,使得相机120具有不重叠的相邻视场(fov)。在一些实施方案中,每个相机120从物侧到像侧依次包括:透镜组1,该透镜组包括一个或多个透镜元件;相机主体122,该相机主体包括孔径光阑(例如,“针孔”孔径光阑)和第二透镜组,该第二透镜组包括一个或多个透镜元件;和传感器126模块。透镜组1中的透镜元件可被“切块”,使得相机120在阵列112中适配在一起,其中在阵列112中的相机120的透镜之间具有最小间隙或没有间隙。每个相机120还可包括电路129(例如,柔性电路板),相机120传感器126模块可经由该电路连接到控制器130以便进行图像检索和处理。图4示出了可在一些实施方案中使用的用于将传感器126连接到控制器130的示例性架构。

图3示出了根据一些实施方案如图1a至图2所示的可在阵列112中使用的在用户的眼睛处或附近具有入射光瞳的示例性相机120。在一些实施方案中,相机120从物侧到像侧依次包括:透镜组1,该透镜组包括一个或多个透镜元件(在该示例中为两个);相机主体122,该相机主体包括孔径光阑124(例如,“针孔”孔径光阑)和透镜组2,该透镜组包括一个或多个透镜元件(在该示例中为两个);和光传感器126。

阵列112中的每个相机120被配置为共同优化用户眼睛处的平面处的入射光瞳和相机传感器126处的图像平面处的图像。相机120的入射光瞳是通过透镜组1的物侧表面看到的孔径光阑124的图像(在3d空间中)。主光线穿过入射光瞳的中心。入射光瞳的位置限定了相机120的“视角点”或“观察点”。主光线是来自被观察对象中的偏轴点的穿过孔径光阑124的中心的光线。场景中的每个点具有对应的主光线。穿过对象的x-y平面的中心和孔径光阑124的中心的特殊主光线被称为光轴。

孔径光阑124在传感器126处以及在受试者的眼睛处或附近形成的图像平面的后面的平面处创建由透镜组1折射的光的虚像(入射光瞳)。透镜组1和光阑124被配置为优化入射光瞳平面处的虚像。例如,入射光瞳的球面像差可被控制为轴向<5mm,并且主光线之间的“场隙”可被限制为<0.5mm。然而,透镜组1可能不会在传感器126处形成良好的图像。因此,透镜组2包括在光阑124和传感器126之间,并且被配置为校正像差以优化在传感器126的表面处或传感器126附近的图像平面处形成的图像。

在非限制性示例中,透镜组1和透镜组2可为胶合双合透镜。透镜组1可具有正屈光力,并且透镜组2可具有负屈光力。相机120的入射光瞳可距第一透镜组的第一表面38mm至42mm(例如,39.7mm)。相机透镜的尺寸可为3mm×3mm×10mm(xyz)。然而,在一些实施方案中,可使用更大或更小的透镜。在示例性实施方案中,透镜组1的表面形式从物侧到像侧可为球面-球面-非球面,并且透镜组2的表面形式从物侧到像侧可为球面-球面-非球面。透镜元件可由光学玻璃或塑性材料构成。在一些实施方案中,透镜元件中的至少两个透镜元件可由不同的材料构成。作为非限制性示例,透镜组1中的双合透镜可由snph2/lah58材料构成,透镜组1中的双合透镜可由fl4/ltim28p材料构成。在示例性实施方案中,相机120的光学特性包括:

·视场:14度(对角线)

·焦距:8.5mm

·f/#:8.5

·光学总光程长度(ttl):10mm

然而,需注意,相机120的光学特性中的一个或多个光学特性可至少部分地基于相机的特定应用而变化。例如,相机的视场可在10度至25度的范围内变化,相机的焦距可在4毫米至12毫米的范围内变化,相机的f/#可在4mm至10mm的范围内变化,并且相机的ttl可在7mm至15mm的范围内变化。然而,基于特定应用,这些光学特性中的一个或多个光学特性的值可落在这些范围之外。

图21是根据一些实施方案的如图1a所述的mr/vr系统100的操作方法的高级流程图。如在3000处所指示的,hmd110的相机阵列112捕获场景的相应部分的图像。如图1a所示,相应阵列112中的相机120的入射光瞳具有位于受试者的相应眼睛190处或相应眼睛190附近的入射光瞳。将由相机120捕获的图像140发送到控制器130。如在3010处所指示的,由控制器130的一个或多个图像处理流水线处理所捕获的图像以生成场景的合成的左右图像140,这些合成的左右图像被显示到hmd110的相应的左右显示面板114。如在3020处所指示的,用户通过hmd110的相应的左右透镜116观察所显示的图像140。

如先前所提及的,如图1a所示,hmd110的每个阵列112可包括许多相机120(例如,每只眼睛50至100个相机)。所有相机120的传感器126都被连接并且连续捕获和流式输出图像。此外,相机120中的每个相机都捕获多像素图像。因此,由每个相机阵列112捕获的像素的总数可以很大。mr/vr系统100需要相对快速的帧速率,其中在图像捕获和图像显示之间具有低延迟,以便为用户提供良好的观察体验。此外,希翼简化相机120的阵列112到控制器130的连接。附图示出了一种装置,该装置可用于简化传感器126到控制器的连接,将传感器数据传输到控制器130以进行处理,并且以向用户提供良好观察体验的速率处理由传感器126捕获的图像。

图4示出了根据一些实施方案的用于捕获和处理由阵列112中的相机120捕获的图像140的装置。图像传感器126按行和列布置。hmd110包括用于每列图像传感器126的总线150。每列中的图像传感器126均连接到相应的总线150,使得每列中的传感器126共享输出接口的物理层。系统100还包括控制器130,该控制器包括一个或多个处理器和存储器,该控制器经由有线或无线接口耦接到相机120和显示面板114。控制器130存储器的至少一部分可被配置为缓冲器132,用于存储从传感器126读取的图像数据。控制器120的一个或多个处理器中的至少一个处理器可实现图像处理流水线134。控制器130可集成在hmd110中,或者另选地可为经由一个或多个有线或无线接口与hmd110通信的单独设备或基站的部件。控制器130可为或可包括fpga(现场可编程门阵列)、isp(图像信号处理器)、soc(片上系统)或其他适当的技术。

该示例使用包括七行和七列相机120的7×7阵列112。然而,该装置可应用于或适用于包括更多或更少相机120的其他阵列112配置,例如如图1b至图1e所示。

相机阵列120中的传感器126的竖直条或列连接到总线150a-150g。例如,传感器126a3-126g3构成连接到总线150c的一个竖直条或列(列3)。因此,列中的传感器126共享输出接口的物理层。由每个竖直条一个传感器126组成的传感器126的水平条或行经由相应的总线150顺序地读出并且写入控制器130的缓冲器132。总线150允许行条中的传感器126基本上同时全部被读取。例如,传感器126a1-126a7构成一个水平条或行(行1),它们基本上同时全部被读取。

包括一个或多个处理器的hmd控制器130的处理流水线134获取并处理来自缓冲器132的图像条以生成称为显示条的图像,该图像被发送到hmd110的显示面板114以供显示;获取并处理下一个缓冲后的图像条;依此类推。同时,该系统继续捕获并缓冲来自传感器126的图像条。因此,从显示面板114的顶部到底部显示显示条,然后再次从显示面板114的顶部到底部显示显示条,依此类推。需注意,该装置可以其他方式布置;例如,可从底部到顶部读取和处理传感器126的行,或者可将传感器126的水平条连接到总线150,并且可读取传感器126的竖直条。

图22是根据一些实施方案的用于捕获和处理由如图4所示的阵列中的相机捕获的图像的方法的流程图。图像传感器126按行和列布置,如图4所示。hmd包括用于每列图像传感器126的总线150。每列中的图像传感器126连接到相应的总线150,使得每列中的传感器126共享输出接口的物理层。

如在3100处所指示的,经由相应总线150从如图4所示的传感器126的条(例如,水平条)读取图像数据。将从传感器的条读取的图像数据作为基本上一个长图像(称为行条)写入缓冲器132。然后,该方法返回到元素3100,以从下一行传感器126读取图像并且将这些图像写入缓冲器132。只要用户在使用hmd112,该过程就继续。

可由控制器130的处理流水线134实行元素3150-3170。如在3150处所指示的,从缓冲器读取下一个图像数据条。如在3160处所指示的,由处理流水线处理图像数据条以生成显示条。如在3170处所指示的,将显示条发送到显示面板114以显示给用户。然后,该方法返回到元素3150以获取下一个图像数据条。只要用户在使用hmd112,该过程就继续。

如先前所提及的,如图1a所示,hmd110的每个阵列112可包括许多相机120(例如,每只眼睛50至100个相机)。此外,相机120中的每个相机的传感器捕获多像素图像。在非限制性示例中,传感器可被配置为捕获32每度内的像素数(ppd),并且每个相机可覆盖12度的fov。在该示例中,每个相机120捕获包括约150,000像素的图像。因此,由每个相机阵列112捕获的像素的总数可以相当大(在该示例中,7兆像素至15兆像素,这取决于阵列112中相机的数量)。图5至图20c示出了用于减少每只眼睛所需的相机120的数量的若干种方法,以及用于减少从相机120传感器阵列读取并且由流水线处理的像素的数量的方法。

图5示出了根据一些实施方案的使用棱镜和相机来减少阵列中相机的数量。在一些实施方案中,可使用棱镜250和相机252来捕获视场(fov)的一部分(例如,外围区域),从而减少阵列212中相机的数量。hmd210包括一个或多个显示面板214(例如,每只眼睛一个显示面板214)、一个或多个透镜216(例如,每只眼睛一个透镜216)、相机阵列212a和212b、棱镜250a和250b以及相机252a和252b,用户通过该一个或多个透镜观察显示面板214上显示的图像。相机阵列212包括相机(例如,如图2和图3所示),这些相机覆盖fov的一部分(例如,60度)。阵列212中的相机的光学器件被配置为使得每个阵列212中的相机的入射光瞳位于受试者的相应眼睛处或附近,以校正fov的相应部分的视角(pov)。如图5所示,每个棱镜250a都将进入棱镜的物侧表面的光反射到相应的相机252,以覆盖fov的外围部分(例如,55度)。棱镜250a和250b允许捕获场景的外围区域的图像的相机252a和252b的入射光瞳移动成比在常规前置相机中更靠近用户的眼睛,从而至少部分地校正fov的外围部分的pov。

图6a和图6b示出了根据一些实施方案的使用前置相机来减少阵列中相机的数量。在一些实施方案中,可使用标准前置相机354来捕获fov的至少一部分,从而减少阵列312中相机的数量。如图6a所示,hmd310包括一个或多个显示面板314(例如,每只眼睛一个显示面板314)、一个或多个透镜316(例如,每只眼睛一个透镜316)、一个或多个相机阵列312(例如,每只眼睛一个阵列312)和至少一个前置相机354,用户通过该一个或多个透镜观察显示面板314上显示的图像。相机阵列312包括相机(例如,如图2和图3所示),这些相机覆盖fov的感兴趣区域(例如,50×50度区域,如图6b所示)。阵列312中的相机的光学器件被配置为使得阵列312中的相机的入射光瞳位于受试者的相应眼睛处或附近,以校正fov的感兴趣区域的视角(pov)。相机354可覆盖fov的宽区域,例如80×110度区域,如图6b所示。相机354具有相对于用户眼睛的pov偏移,例如40mm的pov偏移。

图7a和图7b示出了根据一些实施方案的通过降低外围区域中的相机的分辨率来减少像素的数量。在一些实施方案中,可通过降低fov的外围区域中的相机的分辨率来减少从相机阵列中的传感器读取并且由控制器的图像处理流水线处理的像素的总数。图7a和图7b示出了其中每个相机阵列包括49个(7×7)相机的非限制性示例。中间列中的相机捕获分辨率为32每度内的像素数(ppd)的图像。朝向周边的相机列具有逐渐变低的分辨率(在该示例中,28ppd、24ppd和20ppd)。因此,朝向相机阵列的fov周边的相机比朝向相机阵列的fov中心的相机捕获具有更少总像素的图像。例如,假设每个相机的fov为15×15度,则在该示例中,相机的中心列将各自捕获230,400像素,而朝向周边的列中的相机将各自分别捕获176,400、129,600和90,000像素。

虽然图7a和图7b示出了其中相机的分辨率从相机的中心列开始沿水平方向降低的图案,但可使用其他图案。例如,图7c示出了其中相机的分辨率从相机的中心行开始沿竖直方向降低的图案。又如,图7d示出了其中相机的分辨率从阵列的中心区域或相机开始沿水平方向和竖直方向两者降低的图案。

图8a和图8b示出了根据一些实施方案的通过降低外围区域中的相机的分辨率并且增大相机的视场(fov)来减少相机的数量。在这些实施方案中,可通过降低外围区域中的相机的分辨率并且增大相机的fov来减少阵列中相机的数量以及从传感器读取并且由图像处理流水线处理的像素的数量。图8a和图8b示出了其中中间列中的相机具有10×10度fov并且捕获分辨率为32每度内的像素数(ppd)的图像的非限制性示例。朝向周边的相机列具有逐渐变宽的fov(在该示例中为12×12度、16×16度和20×20度)和变低的分辨率(在该示例中为28ppd、24ppd和20ppd)。

虽然图8a和图8b示出了其中相机的分辨率和fov从相机的中心列开始沿水平方向降低的图案,但也可使用其他图案。例如,相机的分辨率和fov可替代地或也可从相机的中心行开始沿竖直方向降低。

图9a和图9b示出了根据一些实施方案的通过降低外围区域中相机的分辨率、增大相机的fov以及移动相机的入射光瞳来减少相机的数量。在这些实施方案中,可使用类似于图8a所示的相机阵列。图9a示出了其中中间列中的相机具有12.5×12.5度fov,并且捕获分辨率为32每度内的像素数(ppd)的图像的非限制性示例。朝向周边的相机列具有逐渐变宽的fov(在该示例中为15度、18.75度和25度)和变低的分辨率(在该示例中为28ppd、24ppd和20ppd)。然而,除了朝向阵列周边增大fov并且降低分辨率之外,还将相机的入射光瞳远离用户的眼睛朝向周边移动。因此,pov在阵列的中心是恰当的,并且pov朝向周边逐渐偏移。

图10a和图10b示出了根据一些实施方案的向相机引入轻微视差以减少渐晕。图10a示出了其中阵列中的相机1020之间不存在视差的示例。相机1020的fov不重叠,并且相机1020彼此相邻。然而,该配置可导致在透镜边缘处出现明显的渐晕,在该主光线周围出现至少50%的渐晕。图10b示出了其中在阵列中的相机1020之间存在轻微视差的示例。该示例使用具有10度fov并且分辨率为24ppd的相机1020。相机1020被配置为使得存在轻微视差(0.042度重叠=1像素@无穷大)。通过引入视差,使得fov轻微重叠,可显著减少透镜边缘处的渐晕。此外,这可在相机1020之间提供间距(例如,在该示例中为0.8mm),并且可简化相机可定位的位置的机械公差,从而允许更容易的对准和更简单的透镜切割。需注意,少量(例如,1个像素)的视差对于用户而言是不明显的,而透镜之间的明显渐晕会降低图像边缘处的snr和mtf,并且可能会显著降低整体图像质量。

图11a和图11b示出了根据一些实施方案的多个相机使用一个传感器。图11a示出了其中使用一个传感器1126来捕获每个相机1120的图像的示例。因此,阵列中存在与相机一样多的传感器。图11b示出了其中使用一个传感器1126捕获来自多个相机1120的图像的示例。该示例示出了每个传感器1126四个相机1120a至1120d。因此,每个传感器1126同时捕获四个图像。假设示例性阵列包括10×10个相机,这将使所需的传感器的数量从100个减少到25个。

图12示出了当多个相机使用一个传感器时相对于传感器的未对准的图像平面。如果在使用一个传感器捕获来自多个相机的图像时不进行校正,如图11所示,则相机1120的图像平面将与传感器1226不对准,如图12所示。然而,可移动、倾斜或以其他方式调整相机1220的光学器件(例如,透镜和/或孔径光阑中的一个或多个)以使相机1220的图像平面倾斜。因此,如图13所示,在一些实施方案中,对于每个传感器1326,可适当地调整与该传感器1326相关联的四个相机1320的光学器件,以使相机1320的图像平面倾斜,使得相机1320的图像平面与传感器1326表面平面对准。

图14示出了根据一些实施方案的可在相机阵列中使用的平传感器1426和相对复杂的透镜系统。如本文所述的ar/vr系统的目标是使相机阵列包括尽可能少的相机。然而,该目标要求每个单独的相机具有更宽的fov。使用如图14所示的常规光学器件,这可能需要每个相机具有若干透镜元件的复杂透镜,这增加了成本和复杂性。图15示出了根据一些实施方案的使用曲面传感器1526和更简单的透镜来提供更宽的fov并且减少相机阵列中相机的数量。作为使用如图14所示的具有平传感器1426和复杂透镜系统的常规光学器件的替代方案,在这些实施方案中,可使用曲面传感器1526或具有弯曲光纤锥度的传感器。曲面传感器1526允许在相机中使用在传感器1526的弯曲表面处产生弯曲图像平面的更简单的透镜。透镜可比图14的相机中与平传感器1426一起使用的透镜系统更不复杂,因此可能成本更低并且更易于制造。此外,图15所示的相机可提供比图14所示的相机更宽的fov,这可允许在相机阵列中使用更少的相机。

负弯月形前透镜

图9a和图9b示出了其中使用不同的相机设计/相机透镜,使得朝向阵列周边的相机列具有逐渐变宽的fov和变低的分辨率的相机阵列。除了朝向阵列周边增大fov并且降低分辨率之外,还将相机的入射光瞳远离用户的眼睛朝向周边移动。因此,pov在阵列的中心是恰当的,并且pov朝向周边逐渐偏移。

图16至图20c示出了根据一些实施方案的使用负弯月形透镜来提供朝向相机阵列的周边逐渐变宽的fov和变低的分辨率。除了朝向阵列周边增大fov并且降低分辨率之外,负弯月形透镜还可将相机的入射光瞳远离用户的眼睛朝向周边移动。因此,pov在阵列的中心是恰当的,并且pov朝向周边逐渐偏移。在这些实施方案中,阵列中的所有相机可使用相同的相机设计。然而,负弯月形透镜被置于阵列的前方,以提供朝向阵列的周边逐渐变宽的fov和变低的分辨率,并且使pov朝向阵列的周边逐渐偏移。因此,与参考图9a和图9b所述的实施方案所实现类似的效果可通过针对阵列中的相机使用相同的相机设计并且在阵列前方添加弯月形透镜来实现,而不存在在阵列的列中具有不同相机设计的复杂性。

图16以图形方式示出了在相机阵列中的相机2020前方添加负弯月形透镜2090增大了相机朝向周边的fov。阵列中的所有相机2020都可以是相同的,使用相同的透镜和传感器,因此都具有相同的fov。然而,弯月形透镜2090用于使相机2020的fov从阵列的中心朝向周边增大。

图17以图形方式示出了在相机阵列中的相机2120前方添加负弯月形透镜2190使pov朝向周边逐渐偏移。中心相机2120的入射光瞳(ep)是恰当的;弯月形透镜具有随着fov的增大将ep向前移动的效果。

图18以图形方式示出了通过使相机2290的fov朝向周边逐渐增大,弯月形透镜使每度内的像素数(ppd)朝向周边减少。由相机传感器捕获的像素通过弯月形透镜2290放大到对象空间中朝向周边的较大尺寸。放大率随着fov朝向周边的增大而变化(增大),这相当于ppd朝向周边减小。因此,像素之间的间距朝向周边变得更宽。这允许相机阵列的实施方案使用更少的像素来覆盖整个fov,其中在中间具有较高分辨率并且朝向周边具有较低分辨率。这允许相机阵列的总表面积更小,因此需要更少的相机、更少的传感器,并且减少了移动像素所需的带宽。

图19示出了根据一些实施方案的其中阵列中的相机2320在弯月形透镜2390之前具有46度的fov的非限制性示例。在弯月形透镜2390之后,中心相机具有46度的fov。相机2320的fov通过弯月形透镜2390朝向周边增大;边缘相机2320在弯月形透镜2390之后具有67度的fov。

图20a至20c以图形方式示出了根据一些实施方案的在相机阵列中的相机2420前方包括负弯月形透镜2490的示例性场景相机2400。在该示例中,相机阵列可为相机2420的6×6阵列。在示例性非限制性实施方案中,每个相机具有10×13度fov(在弯月形透镜2490之前)、焦距(f)6和光圈数f/5。相机2420可全部相同(即,可全部使用相同的透镜和传感器类型)。图20a示出了场景相机2400的前视图。图20b示出了场景相机2400的顶视图。图20c示出了该场景相机的透视图。需注意,为简单起见,图中仅示出了相机中的一些。还需注意,各种实施方案可包括更多或更少的相机2420,相机2420可以不同方式布置。

本发明的至少一些实施方案的各方面通过以下条款进一步说明:

条款1:一种系统,包括:

相机,该相机从相机的物侧到相机的像侧包括:

第一透镜组,所述第一透镜组包括一个或多个透镜元件;

孔径光阑;和

第二透镜组,该第二透镜组包括一个或多个透镜元件;

图像传感器,该图像传感器被配置为捕获由相机在图像传感器的表面处或表面附近的图像平面处形成的图像;

其中相机的入射光瞳是由孔径光阑形成的由第一透镜组折射的光的虚像;以及

其中相机的入射光瞳形成在位于图像传感器处形成的图像平面后面的平面处。

条款2:根据条款1所述的系统,其中孔径光阑形成用于相机的针孔孔径。

条款3:根据条款1所述的系统,其中第一透镜组和孔径光阑被配置为优化入射光瞳平面处的虚像。

条款4:根据条款3所述的系统,其中第二透镜组被配置为校正像差,以优化在图像传感器的物侧表面处或物侧表面附近的图像平面处形成的图像。

条款5:根据条款1所述的系统,其中第一透镜组中的一个或多个透镜元件形成为使得相机在相机阵列中与一个或多个相机适配在一起,其中在相机的第一透镜组之间具有最小间隙或不具有间隙。

条款6:根据条款1所述的系统,其中第一透镜组中的一个或多个透镜元件为正方形透镜或矩形透镜。

条款7:根据权利要求条款1所述的系统,其中相机的视场在10度至25度的范围内。

条款8:根据权利要求条款1所述的系统,其中相机具有10×13度视场、焦距6毫米和光圈数f/5。

条款9:根据条款1所述的系统,其中相机具有14度对角线视场、焦距8.5毫米、光圈数f/8.5和光学总光程长度10毫米。

在不同的实施方案中,本文所述的方法可以在App、硬件或它们的组合中实现。此外,可改变方法的框的次序,并且可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员,显然可做出各种修改和改变。本文所述的各种实施方案旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。因此,可为在本文中被描述为单个示例的部件提供多个示例。各种部件、操作和数据存储库之间的界限在一定程度上是任意性的,并且在具体的示例性配置的上下文中示出了特定操作。预期了功能的其他分配,它们可落在所附权利要求的范围内。最后,被呈现为示例性配置中的分立部件的结构和功能可被实现为组合的结构或部件。这些和其他变型、修改、添加和改进可落入如以下权利要求书中所限定的实施方案的范围内。

再多了解一些
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1

威尼斯人棋牌|威尼斯欢乐娱人城

XML 地图 | Sitemap 地图