Cómo funciona el seguimiento de Meta Quest

Cuando mueves la cabeza usando un Meta Quest, la imagen virtual acompaña el gesto casi sin revelar el trabajo que hay detrás. Lo mismo ocurre con los controles: la mano puede acelerar, girar, cruzar delante del cuerpo y desaparecer por un instante del campo de visión, pero el objeto virtual intenta permanecer exactamente donde debe estar.

Esta sensación no proviene de un solo sensor y no depende solo de la luz. Surge de la combinación de cámaras, puntos infrarrojos, giroscopios, acelerómetros, geometría, estadística, construcción de mapas y aprendizaje automático. En unos milisegundos, el sistema necesita averiguar dónde están los auriculares, los controles y, en algunos modos, hasta 26 articulaciones de cada mano.

Este artículo explica cómo ocurrió esta evolución, por qué los primeros sistemas parecían más limitados y cuál es la ciencia que permite a Quest rastrear movimientos en el espacio. Los detalles exactos del software actual son propietarios. Cuando Meta no publica un paso, el texto identifica el principio científico general en lugar de presentar una suposición como hecho.

Primero, ¿qué significa el seguimiento en 6DoF

Un objeto rígido en el espacio puede cambiar de posición en tres ejes y girar alrededor de esos mismos tres ejes. De ahí proviene la expresión Seis grados de libertad, o 6 de profundidad de vida.

avanzar y retirarse;
arriba y abajo;
moverse a la izquierda y a la derecha;
inclinar arriba y abajo;
girar lateralmente;
Inclina hacia un lado.

Seguir la rotación por sí solo te permite observar alrededor de una escena virtual. Seguir la posición y la rotación al mismo tiempo te permite agacharte, esquivar, caminar y acercar las manos a un objeto. Para que la ilusión funcione, las estimaciones deben ser rápidas, estables y consistentes entre auriculares y mandos.

La primera fase: cámaras mirando de fuera hacia dentro

El Oculus Rift comercial, lanzado en 2016, utilizó el sistema Constellation. Sensores externos situados sobre la mesa observaron matrices de LEDs infrarrojos en los controles de visor y táctil. La cámara detectó puntos luminosos dispuestos en un patrón conocido, y el ordenador calculó la posición de ese patrón en el espacio.

El principio es similar a reconocer una constelación en el cielo. Un punto aislado dice poco. Varios puntos a distancias conocidas forman una firma geométrica. Cuando esta firma aparece más grande, más pequeña, inclinada o desplazada en la imagen de la cámara, un algoritmo puede estimar la rotación y traslación del objeto.

El método era preciso, pero generaba fricción. El usuario tenía que instalar sensores, encontrar puertos USB, posicionar el equipo y mantener un área visible. Podían aparecer puntos ciegos cuando el cuerpo bloqueaba la visión o cuando pocos sensores cubrían el entorno.

2019: Quest invierte la dirección de la cámara

Con el Oculus Quest y el Rift S, lanzados en 2019, Meta llevó las cámaras al propio casco. En lugar de sensores externos que observaran al usuario, el dispositivo empezó a observar el entorno y los controles. La empresa llamó al sistema Oculus Insight.

Este cambio se conoce como seguimiento Del revés. Eliminó las estaciones exteriores y facilitó mucho la instalación de la realidad virtual a escala de sala. También trasladó una enorme responsabilidad al ordenador móvil dentro de la pantalla: entender la habitación, localizar el propio casco y encontrar los controles al mismo tiempo, dentro de un presupuesto ajustado de energía y procesamiento.

El vídeo oficial de arriba muestra el resultado actual de esta evolución. El formato se ha aclarado y los controles Touch Plus han perdido el gran anillo visible en generaciones anteriores. La ciencia que hizo esto posible comienza en la formación de la imagen.

Cómo una cámara convierte la luz en posición

Una cámara no recibe directamente la coordenada de un control. Recibe una cuadrícula de píxeles con diferentes intensidades. El mundo tridimensional se proyectó sobre una superficie bidimensional, por lo que se perdió parte de la profundidad.

Para recuperar la pose, el sistema busca coincidencias entre los puntos conocidos del objeto y los puntos observados en la imagen. En visión por ordenador, este tipo de problema se conoce como Perspectiva-n-Point, o PnP. La rotación y la traslación se eligen de tal manera que reduzcan el error entre la posición en la que debería aparecer cada punto y la posición en la que realmente apareció.

En términos simplificados:

El control tiene un patrón conocido de puntos luminosos;
la cámara detecta algunos de estos puntos como pequeños puntos de luz;
la calibración informa la distancia focal, el centro óptico y la distorsión del objetivo;
la geometría proyecta hipótesis tridimensionales de vuelta a los píxeles;
La hipótesis con el menor error de reproyección ayuda a estimar la pose.

Más de una cámara observa el espacio desde diferentes ángulos. Cuando el mismo punto aparece en dos vistas, la triangulación proporciona información de profundidad. Incluso cuando no todos los puntos son visibles, la historia reciente y otros sensores reducen las posibilidades.

Ilustración científica que muestra la formación de imágenes, sensores inerciales, mapa tridimensional y la fusión que acompaña a un controlador y una mano — La ilustración resume la cadena científica. La implementación exacta utilizada por Meta es propietaria y puede variar entre modelos y versiones del sistema.

El IMU detecta el movimiento antes de que la cámara termine de verlo

Dentro del casco y los controles hay una unidad de medición inercial, la IMU. Dos componentes son clave:

o giroscopio mide la velocidad angular;
o Acelerómetro mide la aceleración específica a lo largo de los ejes.

Estos sensores responden muy rápido. Integrando la velocidad angular en un pequeño intervalo, el sistema predice cómo ha cambiado la orientación. Al integrar la aceleración, estima los cambios en velocidad y posición.

El problema es que la integración acumula errores. Una pequeña desviación de calibración añadida miles de veces se convierte en una deriva notable. Si el seguimiento dependiera solo de la IMU, un control detenido podría parecer deslizarse poco a poco.

La cámara tiene el comportamiento complementario. Es más lenta, pero puede observar referencias externas y corregir la deriva. La combinación suele denominarse como Odometría visual-inercial. El principio es sencillo: la IMU predice lo que ocurrió entre los marcos, y la visión compara esa predicción con el mundo observado.

GOLPE: Construye el mapa mientras buscas por ti mismo

Para llevar un control del casco, no basta con localizar los controles. El dispositivo necesita averiguar cómo se movió en un entorno que aún está conociendo.

SLAM significa localización y mapeo simultáneos. El sistema identifica puntos de interés en bordes, esquinas y regiones contrastantes, intenta redescubrirlos en los fotogramas siguientes y construye un mapa disperso de referencias tridimensionales. Al mismo tiempo, estima la trayectoria de las cámaras dentro de este mapa.

Es un problema circular: para mapear la sala necesitas saber dónde está la cámara, pero para saber dónde está la cámara es útil tener un mapa de la sala. Los algoritmos SLAM resuelven las dos estimaciones juntas y refinan el resultado a medida que llegan nuevas observaciones.

Meta describió una tubería móvil capaz de capturar imágenes, encontrar cientos de puntos, asociarlos con fotogramas anteriores y usar trigonometría para posicionarlos en 3D. También destacó la necesidad de calibrar lentes, IMUs y relojes. Si la cámara y el sensor inercial discrepan sobre el instante en que se produjo una medición, incluso una buena medición puede aplicarse al tiempo incorrecto.

Fusión de sensores: ninguna medición tiene que ser correcta por sí sola

Una forma útil de imaginar la fusión es pensar en dos respuestas acompañadas de niveles de confianza.

La IMU dice: "Por aceleración y rotación, probablemente el control ha llegado aquí." La cámara responde: "Los puntos brillantes aparecieron en estos píxeles, así que probablemente estén ahí." Un estimador combina las respuestas considerando el ruido, el retardo y la incertidumbre.

Los filtros de Kalman y los métodos de optimización son herramientas clásicas para este tipo de problema, pero Meta no publica el dibujo completo del estimador actual de Quest. Lo importante es el principio: cada sensor corrige las limitaciones del otro y la incertidumbre forma parte del cálculo.

Luego viene la predicción. La pose utilizada para renderizar una imagen no puede representar solo el instante en que la última cámara capturó un fotograma. Cuando el panel se ilumina, la cabeza se habrá movido un poco. El sistema proyecta la pose al momento futuro en que se mostrará la imagen. Esta predicción ayuda a reducir la sensación de retraso e incomodidad.

La parte de la luz que se siente como magia

En los controles táctiles con anillo, pequeños LEDs emiten luz infrarroja, invisible para los ojos humanos y detectable por cámaras de seguimiento. La forma aparente, la distancia entre los puntos y la forma en que se mueve el conjunto ayudan a determinar dónde está el control.

Pero la cámara no sabe automáticamente qué punto proviene del control. Un árbol de Navidad, una lámpara de araña, reflejos y otras fuentes pueden producir puntos de luz similares. En 2019, ingenieros de Meta publicaron un caso en el que cientos de luces decorativas aumentaron el coste de procesamiento y podían provocar asociaciones falsas.

La solución muestra bien la mezcla de ciencia e ingeniería. El sistema trianguló luces estacionarias, guardó sus posiciones en un mapa 3D y asoció cada referencia con un Covarianza, una representación de incertidumbre. Tras observar una luz lo suficientemente quieta en tiempos, el software comenzó a tratarla como parte del entorno y a excluirla de la búsqueda de control.

Seguían existiendo candidatos falsos. Así que el equipo entrenó una pequeña red neuronal convolucional para ver si el tamaño y la apariencia de un punto de luz tenían sentido para la pose sugerida. La distancia de la cámara, el ángulo de incidencia, la posición en el encuadre y la orientación de la elipse ayudaron a separar los LEDs del control de ruido ambiental.

Este ejemplo corrige una idea común. El aprendizaje automático no ha reemplazado toda la geometría. Se utilizó junto con triangulación, proyección, historia, mapas y estadística para resolver una parte difícil del problema.

¿Por qué demasiado oscuro y demasiada luz se interponen

El casco necesita referencias visuales en el entorno. Una habitación completamente oscura reduce las esquinas y texturas que puede seguir SLAM. Una pared lisa, sin contraste, también ofrece pocos puntos estables.

En el extremo opuesto, la luz solar directa y las fuentes infrarrojas intensas pueden saturar o confundir las cámaras. Las reflexiones cambian con el ángulo, mientras que los objetos en movimiento no sirven como referencias fijas fiables. El sistema debe decidir continuamente qué observaciones pertenecen al mundo estático, cuáles al control y cuáles son solo ruido.

En la práctica, una iluminación interna uniforme y un entorno con contraste visual suelen ayudar. Cubrir las cámaras, usar el dispositivo bajo un sol directo muy fuerte o jugar en la oscuridad aumenta la posibilidad de pérdida temporal de seguimiento.

De Ring a Touch Plus: Donde entra el aprendizaje automático

El Quest 3 y el Quest 3S utilizan los controles Touch Plus sin el anillo exterior de generaciones anteriores. La propia página de comparación de Meta describe el seguimiento actual como Híbrido de visión por ordenador y aprendizaje automático.

Eliminar el anillo mejora la aproximación entre las manos y reduce las colisiones entre los controladores, pero también disminuye la gran estructura que dejaba bien distribuidos los LEDs. Para compensar, el sistema puede combinar las señales visibles, la IMU, la pose reciente y modelos capaces de estimar los movimientos probables de las manos y los controles. Meta no detalla públicamente todos los pesos, frecuencias y estados internos de esta canalización, por lo que no es correcto convertir esta descripción general en una receta exacta para el Quest 3.

Cuando un control se mueve brevemente fuera del campo de visión, la IMU y la predicción mantienen una estimación. Cuanto mayor es el tiempo de oclusión, mayor tiende a ser la incertidumbre. Cuando las cámaras encuentran de nuevo pruebas fiables, la pose se corrige. El reto es hacer la corrección sin un salto visual repentino.

¿Y cuando no hay ningún control?

En 2019, Meta introdujo el seguimiento de manos en el Quest sin guantes ni sensores externos. Las cámaras observan las manos y los modelos de visión por ordenador estiman un esqueleto. La documentación actual informa de 26 articulaciones por mano, con posición, rotación y nivel de confianza.

El vídeo también funciona como una animación práctica del concepto: la imagen de la mano se convierte en una estructura articulada que el software puede utilizar. Gestos como pellizcar, tocar y agarrar surgen de las relaciones entre estas articulaciones.

El método tiene límites físicos. Una mano puede ocultar la otra, los dedos pueden solaparse y los movimientos muy rápidos generan desenfoque. La documentación de Meta recomienda mantener los gestos mirando a las cámaras y reconoce que el seguimiento puede tener más retraso y menos precisión en situaciones rápidas. Por lo tanto, los mandos siguen siendo preferidos en juegos que requieren puntería y retroalimentación háptica precisa.

Una línea temporal de la evolución

2016: Rift y Touch popularizan el seguimiento con sensores externos y constelaciones infrarrojas.
2019: Quest y Rift S llevan las cámaras al casco con Oculus Insight y seguimiento inside-out.
2019: El Quest tiene seguimiento de manos sin hardware adicional.
2020: Quest 2 mejora el rendimiento, la autonomía de control y la estabilidad del sistema de Visión.
2022: Los controles Touch Pro ahora están ubicados con sus propias cámaras, reduciendo la dependencia del campo de visión del casco.
2023: Quest 3 estrena Touch Plus sin los grandes anillos y amplía la mezcla de visión por ordenador, sensores y modelos de aprendizaje automático.
Desde 2024 en adelante: Meta abre Horizon OS a un ecosistema más amplio y sigue desarrollando manos, cuerpo, entorno e interacciones híbridas.

Lo que el sistema realmente sabe sobre el entorno

Para rastrear, el dispositivo necesita producir representaciones internas de puntos, superficies y movimiento. Esto no significa que todas las cámaras de seguimiento funcionen como una grabación común disponible para cualquier aplicación. El acceso de los desarrolladores a las imágenes en bruto está controlado por APIs y permisos específicos, y varía entre modelos y versiones de Horizon OS.

También hay una diferencia entre localizar y comprender. Un mapa de puntos puede ser suficiente para estimar el movimiento sin reconocer que un objeto es un sofá. Las características de realidad mixta añaden profundidad, planos, límites e información semántica para permitir que los objetos digitales interactúen con paredes, suelos y muebles.

Por qué todo parece instantáneo

La respuesta corta es paralelismo. Mientras la cámara captura un nuevo fotograma, la IMU sigue enviando mediciones. Mientras la vista busca puntos, el estimador predice la pose. Mientras la GPU renderiza la escena, el compositor prepara las correcciones finales para la última orientación.

Cada paso funciona con una versión imperfecta del mundo, pero funciona rápido y actualiza la respuesta continuamente. El resultado no es una medición definitiva. Es la mejor estimación disponible para ese instante, acompañada de incertidumbre y corregida en la siguiente tabla.

Esta es la parte más fascinante del rastreo moderno: la Búsqueda no ve el espacio como una persona. Reconstruye el movimiento a partir de la luz proyectada en píxeles, aceleraciones, rotaciones, relaciones geométricas y probabilidades. La sensación de presencia aparece cuando todas estas aproximaciones coinciden lo suficiente como para desaparecer ante nuestros ojos.

Cómo Meta Quest ve tus movimientos: la ciencia del seguimiento

Escuchar el artículo