(, 05, 2019) 在9月份分享了一篇关于跟踪系统的文章，其中负责AR/VR设备输入跟踪的工程经理 Melim写了一篇介绍他们的文章作为如何改善交互保真度与基于跟踪的控制器。 前几天，又写了一篇文章，解释了他们在最新版本更新中采用的最新LED匹配方案。 以下是英威网的具体安排：

进一步阅读：深入了解如何提高跟踪保真度并确保由内而外的跟踪系统性能

1. 从2D blob到3D pose

摄影测量中有一个经典的问题：-n-Point (PnP)，就是给定一幅图像和其中已知的3D点来识别位姿。 我们试图解决的问题是确保控制器跟踪有效，这与 PnP 问题相反，在 PnP 问题中，我们已经对耳机姿势进行了很好的估计，但我们想找到具有已知 3D 点 (LED) 的控制器姿势。

一旦检测到摄像机图像中的每个红外 LED，我们需要解决的困难是确定从每个斑点到控制器特定 LED 的映射。 我们利用 LED 位置及其到斑点的映射来确定控制器的位置和方向。 由于我们只使用耳机数据来执行跟踪，因此我们必须高效地执行流程的每个部分。

计算机视觉中的Blob指的是图像中的连通区域，Blob分析是在前景/背景分离后提取并标记二值图像的连通区域。 每个标记的blob代表一个前景目标，然后可以计算出blob的一些相关特征，例如面积、质心、边界矩形等几何特征。 同时可以计算出blob的颜色和纹理特征，作为跟踪的依据。 基于斑点的跟踪是一种基于区域的跟踪。

在将 blob 与 LED 匹配的过程中，我们围绕可能正确的潜在匹配生成了一组假设。 为了计算准确的姿势，我们需要最少数量的匹配。 我们的算法能够根据我们处理的各种变量概率性地确定最可能的正确匹配。 不正确的映射包含直接导致姿势估计不准确的错误，因此我们需要在每一帧中获得足够准确的匹配。

2.使用多视图优化匹配

为了解决 LED 匹配问题，我们实施了多种在每一帧上运行的方法。 但从广义上讲，它们分为两大类。 第一种是蛮力法led控制器，强制应用解决方案，我们通俗地称之为“蛮力匹配”。 当没有关于控制器位置和方向的先验信息时，我们使用这些方法。 当控制器的位姿从之前的相机图像中获得时，我们可以在更小的窗口中搜索，我们称之为“紧密匹配”。

一开始，管道一次搜索一个 blob。 这需要假设生成 blob 和验证 blob 在同一个中，这意味着必须在一个中检测到至少 4 个 blob 才能成功匹配。 而且，很可能导致倍数之间的匹配结果发生冲突。 为了解决这个问题，我们开发了一种新颖的匹配管道：在评估不同图像中的 LED 斑点对应时，它将利用立体相机校准数据。 这使我们能够依靠每个相机之间的关系来帮助解决不确定性。

这种方法改善了单独没有足够匹配但当所有图像组合在一起时它们具有足够匹配的场景。 最糟糕的情况是当控制器靠近视野边缘、太远、太近或被阻挡时。

这也排除了匹配结果不一致的可能性，因为匹配结果是作为一个整体来评估的，而不是基于个别评估。 这有助于增加控制器可追踪的追踪量，并减少因太靠近耳机或视野边缘而导致的追踪损失，从而获得更流畅的追踪体验。

3.用更少的数据计算

理论上，只要给定一张图像，您至少需要看到三个 LED 才能确定控制器的姿势。 然而led控制器，仅使用三个点会产生多种可能的解决方案，因此我们需要至少四个正确的匹配来稳健地解析姿势。

相机一次只能看到 3 个、2 个甚至 1 个 LED 是很常见的，因此我们设计了一个可以使用其他信息并支持更少 LED 的解算器。 反过来，它包括以下全新的求解器，使我们能够跟踪那些特别具有挑战性的方向：

P2P姿势

P1P姿势

经过广泛的实验，我们发现 P2P 求解器和 P1P 求解器都需要非常准确的先验信息（良好的跟踪状态和准确的预测），因为它们依赖于预测的姿势作为解决问题的严格约束。

但在“粗略匹配”中，先验信息不太可靠，因此我们会注意到控制器不匹配或光管不匹配等问题。 这促使我们开发了一个强大的状态机，使我们能够在各种求解器之间切换，确保我们使用正确的方法来处理 Quest 和 Rift S 每天遇到的各种困难运动。

虽然这些改进对我们帮助很大，但我们仍有更多空间来改进整体体验。

原文链接：

(1) CLK时钟信号

提供给移位寄存器的移位脉冲，每个脉冲都会使数据移入或移出一位。 数据端口上的数据必须与时钟信号协调才能正常传输数据，数据信号的频率必须是时钟信号频率的1/2倍。 不管怎样，当时钟信号出现异常时led控制器，都会使整板显示混乱。

(2) STB锁存信号

移位寄存器中的数据送入锁存器，其数据内容通过驱动电路点亮LED显示。 但由于驱动电路是由EN使能信号控制的，所以其点亮的前提必须是使能打开。 锁存信号还需要与时钟信号配合才能显示完整的图像。 不管怎样，当latch信号出现异常时，整个板子的显示就会乱七八糟。

(3) EN使能信号

整屏亮度控制信号还用于显示屏消隐。 只要调整它的占空比led控制器，就可以控制亮度。 当使能信号异常时，整屏会出现不亮、暗淡或拖尾现象。

(4) 数据信号

提供显示图像所需的数据。 它必须与时钟信号协调才能将数据传输到任何一个显示点。 通常，红色、绿色和蓝色数据信号在显示屏中是分开的。 如果一个数据信号被短路到正极或负极，相应的颜色就会全亮或不亮。 当数据信号暂停时，会显示相应的颜色。 情况不明朗。

(5)ABCD线信号

它仅存在于动态扫描显示中。 ABCD其实是一个二进制数，A是低位。 如果ABCD信号用二进制表示，则控制范围为16行（1111）。 在1/4扫描中，只有AB信号就够了，因为AB信号表示范围是4行（11）。 当线路控制信号异常时，会出现显示错位、高亮或图像重叠等现象。

本文来自网络

更多精彩资讯，敬请登陆金融行业网站()