Como o Meta Quest enxerga seus movimentos: a ciência do rastreamento

Quando você move a cabeça usando um Meta Quest, a imagem virtual acompanha o gesto quase sem denunciar o trabalho que existe por trás. O mesmo acontece com os controles: a mão pode acelerar, girar, cruzar diante do corpo e desaparecer por um instante do campo de visão, mas o objeto virtual tenta continuar exatamente onde deveria estar.

Essa sensação não nasce de um único sensor e também não depende apenas da luz. Ela surge da combinação de câmeras, pontos infravermelhos, giroscópios, acelerômetros, geometria, estatística, construção de mapas e aprendizado de máquina. Em poucos milissegundos, o sistema precisa descobrir onde estão o headset, os controles e, em alguns modos, até 26 articulações de cada mão.

Este artigo explica como essa evolução aconteceu, por que os primeiros sistemas pareciam mais limitados e qual é a ciência que permite ao Quest acompanhar movimentos no espaço. Os detalhes exatos do software atual são proprietários. Quando a Meta não publica uma etapa, o texto identifica o princípio científico geral em vez de apresentar uma suposição como fato.

Primeiro, o que significa rastrear em 6DoF

Um objeto rígido no espaço pode mudar de posição em três eixos e girar em torno desses mesmos três eixos. É daí que vem a expressão seis graus de liberdade, ou 6DoF.

• avançar e recuar;
• subir e descer;
• mover para a esquerda e para a direita;
• inclinar para cima e para baixo;
• girar para os lados;
• inclinar lateralmente.

Rastrear apenas a rotação já permite olhar ao redor de uma cena virtual. Rastrear posição e rotação ao mesmo tempo permite abaixar, desviar, caminhar e levar as mãos até um objeto. Para a ilusão funcionar, as estimativas precisam ser rápidas, estáveis e consistentes entre headset e controles.

A primeira fase: câmeras olhando de fora para dentro

O Oculus Rift comercial, lançado em 2016, usava o sistema Constellation. Sensores externos posicionados na mesa observavam conjuntos de LEDs infravermelhos no headset e nos controles Touch. A câmera via pontos luminosos organizados em um padrão conhecido e o computador calculava a posição daquele padrão no espaço.

O princípio é parecido com reconhecer uma constelação no céu. Um ponto isolado diz pouco. Vários pontos em distâncias conhecidas formam uma assinatura geométrica. Quando essa assinatura aparece maior, menor, inclinada ou deslocada na imagem da câmera, um algoritmo consegue estimar a rotação e a translação do objeto.

O método era preciso, mas trazia atrito. O usuário precisava instalar sensores, encontrar portas USB, posicionar o equipamento e manter uma área visível. Pontos cegos podiam surgir quando o corpo bloqueava a visão ou quando poucos sensores cobriam o ambiente.

2019: o Quest inverte a direção das câmeras

Com o Oculus Quest e o Rift S, lançados em 2019, a Meta levou as câmeras para o próprio headset. Em vez de sensores externos olhando para o usuário, o dispositivo passou a olhar o ambiente e os controles. A empresa chamou o sistema de Oculus Insight.

Essa mudança é conhecida como rastreamento inside-out. Ela eliminou as estações externas e tornou a realidade virtual em escala de ambiente muito mais simples de instalar. Também transferiu uma responsabilidade enorme para o computador móvel dentro do visor: entender o quarto, localizar o próprio headset e encontrar os controles ao mesmo tempo, dentro de um orçamento apertado de energia e processamento.

O vídeo oficial acima mostra o resultado atual dessa evolução. O formato ficou mais leve e os controles Touch Plus perderam o grande anel visível nas gerações anteriores. A ciência que tornou isso possível começa na formação da imagem.

Como uma câmera transforma luz em posição

Uma câmera não recebe diretamente a coordenada de um controle. Ela recebe uma grade de pixels com diferentes intensidades. O mundo tridimensional foi projetado sobre uma superfície bidimensional, portanto parte da profundidade se perdeu.

Para recuperar a pose, o sistema procura correspondências entre pontos conhecidos no objeto e pontos observados na imagem. Em visão computacional, esse tipo de problema é conhecido como Perspective-n-Point, ou PnP. A rotação e a translação são escolhidas de modo a reduzir o erro entre a posição em que cada ponto deveria aparecer e a posição em que ele realmente apareceu.

Em termos simplificados:

1. o controle possui um padrão conhecido de pontos luminosos;
2. a câmera detecta alguns desses pontos como pequenas manchas claras;
3. a calibração informa distância focal, centro óptico e distorção da lente;
4. a geometria projeta hipóteses tridimensionais de volta para os pixels;
5. a hipótese com menor erro de reprojeção ajuda a estimar a pose.

Mais de uma câmera observa o espaço por ângulos diferentes. Quando o mesmo ponto aparece em duas vistas, a triangulação fornece informação de profundidade. Mesmo quando nem todos os pontos estão visíveis, o histórico recente e os outros sensores reduzem as possibilidades.

A IMU sente o movimento antes de a câmera terminar de enxergá-lo

Dentro do headset e dos controles existe uma unidade de medição inercial, a IMU. Dois componentes são fundamentais:

• o giroscópio mede a velocidade angular;
• o acelerômetro mede a aceleração específica ao longo dos eixos.

Esses sensores respondem muito rápido. Integrando a velocidade angular por um pequeno intervalo, o sistema prevê como a orientação mudou. Integrando aceleração, ele estima mudanças de velocidade e posição.

O problema é que integração acumula erro. Um pequeno desvio de calibração somado milhares de vezes vira uma deriva perceptível. Se o rastreamento dependesse somente da IMU, um controle parado poderia parecer deslizar aos poucos.

A câmera tem o comportamento complementar. Ela é mais lenta, mas consegue observar referências externas e corrigir a deriva. A combinação costuma ser chamada de odometria visual-inercial. O princípio é simples: a IMU prevê o que aconteceu entre os quadros e a visão compara essa previsão com o mundo observado.

SLAM: construir o mapa enquanto procura a si mesmo

Para acompanhar o headset, não basta localizar os controles. O dispositivo precisa descobrir como ele próprio se moveu dentro de um ambiente que ainda está conhecendo.

SLAM é a sigla em inglês para localização e mapeamento simultâneos. O sistema identifica pontos de interesse em bordas, cantos e regiões com contraste, tenta reencontrá-los nos quadros seguintes e constrói um mapa esparso de referências tridimensionais. Ao mesmo tempo, estima a trajetória das câmeras dentro desse mapa.

É um problema circular: para mapear o quarto é preciso saber onde a câmera está, mas para saber onde a câmera está é útil ter um mapa do quarto. Algoritmos de SLAM resolvem as duas estimativas em conjunto e refinam o resultado conforme chegam novas observações.

A Meta descreveu um pipeline móvel capaz de capturar imagens, encontrar centenas de pontos, associá-los aos quadros anteriores e usar trigonometria para posicioná-los em 3D. Também destacou a necessidade de calibrar lentes, IMU e relógios. Se a câmera e o sensor inercial discordarem sobre o instante em que uma medida ocorreu, até uma boa medição pode ser aplicada ao momento errado.

Fusão de sensores: nenhuma medida precisa estar certa sozinha

Uma forma útil de imaginar a fusão é pensar em duas respostas acompanhadas de níveis de confiança.

A IMU diz: “pela aceleração e pela rotação, o controle provavelmente chegou aqui”. A câmera responde: “os pontos luminosos apareceram nestes pixels, portanto ele provavelmente está ali”. Um estimador combina as respostas considerando ruído, atraso e incerteza.

Filtros de Kalman e métodos de otimização são ferramentas clássicas para esse tipo de problema, mas a Meta não publica todo o desenho do estimador atual do Quest. O importante é o princípio: cada sensor corrige as limitações do outro e a incerteza faz parte do cálculo.

Depois vem a previsão. A pose usada para renderizar uma imagem não pode representar apenas o instante em que a última câmera capturou um quadro. Até o painel acender, a cabeça já terá se movido um pouco. O sistema projeta a pose para o momento futuro em que a imagem será exibida. Essa previsão ajuda a reduzir a sensação de atraso e o desconforto.

A parte da luz que parece mágica

Nos controles Touch com anel, pequenos LEDs emitem luz infravermelha, invisível aos olhos humanos e detectável pelas câmeras de rastreamento. O formato aparente, a distância entre os pontos e a maneira como o conjunto se desloca ajudam a determinar onde o controle está.

Mas a câmera não sabe automaticamente qual ponto veio do controle. Uma árvore de Natal, um lustre, reflexos e outras fontes podem produzir manchas luminosas parecidas. Em 2019, engenheiros da Meta publicaram um caso em que centenas de luzes decorativas aumentavam o custo de processamento e podiam levar a associações falsas.

A solução mostra bem a mistura de ciência e engenharia. O sistema triangulava luzes estacionárias, guardava suas posições em um mapa 3D e associava a cada referência uma covariância, uma representação da incerteza. Depois de observar uma luz parada vezes suficientes, o software passava a tratá-la como parte do ambiente e a excluí-la da procura pelo controle.

Ainda havia falsos candidatos. Então a equipe treinou uma rede neural convolucional pequena para verificar se o tamanho e a aparência de uma mancha luminosa faziam sentido para a pose sugerida. Distância da câmera, ângulo de incidência, posição no quadro e orientação da elipse ajudavam a separar LEDs do controle de ruído do ambiente.

Esse exemplo corrige uma ideia comum. Aprendizado de máquina não substituiu toda a geometria. Ele foi usado ao lado de triangulação, projeção, histórico, mapas e estatística para resolver uma parte difícil do problema.

Por que escuro demais e luz demais atrapalham

O headset precisa de referências visuais no ambiente. Um quarto totalmente escuro reduz os cantos e texturas que o SLAM consegue acompanhar. Uma parede lisa, sem contraste, também oferece poucos pontos estáveis.

No extremo oposto, luz solar direta e fontes infravermelhas intensas podem saturar ou confundir as câmeras. Reflexos mudam conforme o ângulo, enquanto objetos em movimento não servem como referências fixas confiáveis. O sistema precisa decidir continuamente quais observações pertencem ao mundo estático, quais pertencem ao controle e quais são apenas ruído.

Na prática, uma iluminação interna uniforme e um ambiente com contraste visual costumam ajudar. Cobrir as câmeras, usar o dispositivo sob sol direto muito forte ou jogar no escuro aumenta a chance de perda temporária do rastreamento.

Do anel ao Touch Plus: onde entra o aprendizado de máquina

O Quest 3 e o Quest 3S usam os controles Touch Plus sem o anel externo das gerações anteriores. A própria página de comparação da Meta descreve o rastreamento atual como híbrido de visão computacional e aprendizado de máquina.

Remover o anel melhora a aproximação entre as mãos e reduz colisões entre os controles, mas também diminui a grande estrutura que deixava os LEDs bem distribuídos. Para compensar, o sistema pode combinar os sinais visíveis, a IMU, a pose recente e modelos capazes de estimar movimentos prováveis das mãos e dos controles. A Meta não detalha publicamente todos os pesos, frequências e estados internos desse pipeline, portanto não é correto transformar essa descrição geral em uma receita exata do Quest 3.

Quando um controle sai brevemente do campo de visão, a IMU e a previsão mantêm uma estimativa. Quanto maior o tempo de oclusão, maior tende a ser a incerteza. Quando as câmeras reencontram evidências confiáveis, a pose é corrigida. O desafio é fazer a correção sem um salto visual brusco.

E quando não há controle nenhum?

Em 2019, a Meta apresentou o rastreamento de mãos no Quest sem luvas ou sensores externos. As câmeras observam as mãos e modelos de visão computacional estimam um esqueleto. A documentação atual informa 26 articulações por mão, com posição, rotação e nível de confiança.

O vídeo funciona também como uma animação prática do conceito: a imagem da mão é convertida em uma estrutura articulada que o software pode usar. Gestos como pinçar, tocar e agarrar surgem das relações entre essas articulações.

O método possui limites físicos. Uma mão pode esconder a outra, dedos podem se sobrepor e movimentos muito rápidos geram borrão. A documentação da Meta recomenda manter gestos voltados para as câmeras e reconhece que o rastreamento pode ter mais atraso e menos precisão em situações rápidas. Por isso, controles ainda são preferidos em jogos que exigem mira e resposta tátil precisa.

Uma linha do tempo da evolução

• 2016: Rift e Touch popularizam rastreamento com sensores externos e constelações infravermelhas.
• 2019: Quest e Rift S levam as câmeras para o headset com Oculus Insight e rastreamento inside-out.
• 2019: o Quest recebe rastreamento de mãos sem hardware adicional.
• 2020: Quest 2 melhora desempenho, autonomia dos controles e estabilidade do sistema Insight.
• 2022: os controles Touch Pro passam a se localizar com câmeras próprias, reduzindo a dependência do campo de visão do headset.
• 2023: Quest 3 estreia Touch Plus sem os grandes anéis e amplia a mistura de visão computacional, sensores e modelos de aprendizado de máquina.
• 2024 em diante: a Meta abre o Horizon OS para um ecossistema maior e continua desenvolvendo mãos, corpo, ambiente e interações híbridas.

O que o sistema realmente sabe sobre o ambiente

Para rastrear, o dispositivo precisa produzir representações internas de pontos, superfícies e movimento. Isso não significa que toda câmera de rastreamento funcione como uma gravação comum disponível para qualquer aplicativo. O acesso de desenvolvedores a imagens brutas é controlado por APIs e permissões específicas, e varia entre modelos e versões do Horizon OS.

Há também uma diferença entre localizar e compreender. Um mapa de pontos pode ser suficiente para estimar movimento sem reconhecer que um objeto é um sofá. Recursos de realidade mista acrescentam profundidade, planos, limites e informação semântica para permitir que objetos digitais interajam com paredes, chão e móveis.

Por que tudo isso parece instantâneo

A resposta curta é paralelismo. Enquanto a câmera captura um novo quadro, a IMU continua enviando medidas. Enquanto a visão procura pontos, o estimador prevê a pose. Enquanto a GPU renderiza a cena, o compositor prepara correções finais para a orientação mais recente.

Cada etapa trabalha com uma versão imperfeita do mundo, mas trabalha rápido e atualiza a resposta continuamente. O resultado não é uma medição definitiva. É a melhor estimativa disponível para aquele instante, acompanhada por incerteza e corrigida no quadro seguinte.

Essa é a parte mais fascinante do rastreamento moderno: o Quest não enxerga o espaço como uma pessoa. Ele reconstrói o movimento a partir de luz projetada em pixels, acelerações, rotações, relações geométricas e probabilidades. A sensação de presença aparece quando todas essas aproximações concordam bem o bastante para desaparecer diante dos nossos olhos.

Fontes consultadas

• Meta Horizon OS Developers: tecnologia de rastreamento da cabeça
• Meta Horizon OS Developers: controles e rastreamento de mãos
• Meta Horizon OS Developers: comparação dos dispositivos e rastreamento híbrido CV/ML
• Meta Developer Blog: rastreamento de controles em condições difíceis de iluminação
• Engineering at Meta: fundamentos de SLAM, calibração e sincronização entre câmera e IMU
• Meta: dez anos de evolução do Reality Labs
• Meta: anúncio do Oculus Quest em 2018
• Meta: anúncio do Quest 2 e melhorias do Oculus Insight
• Meta: rastreamento dentro de veículos e o conflito entre câmera e IMU
• OpenCV: cálculo de pose Perspective-n-Point