Optical measurement of virtual reality headset performance

Abstract

Virtuaalitodellisuussilmikoiden päänseurantajärjestelmän suorituskyvyn mittaamista varten kehitettiin mittausmenetelmä ja sulautettu kameramoduuli. Kyse on päästä päähän mittauksesta (engl. end-to-end measurement), jossa robotti liikuttaa silmikkoa ja kamera mittaa sisällön muutoksia näytöllä. Tavoitteena on optisesti mitata päänseurantajärjestelmän tarkkuutta kuvaamalla näytön sisältöä näytön virkistykseen tahdistettuna. Työssä keskityttiin kameramoduulin ja siihen liittyvien konenäköalgoritmien kehittämiseen.

Mittauksessa näytöllä on kolmiulotteinen kohde, jossa on tunnistettavia pisteitä. Paikallistamalla nämä pisteet kuvassa voidaan määrittää grafiikkamoottorin virtuaalisen kameran asento (siirtymä ja kiertymä) ja saada siten selville päänseurantajärjestelmän arvioima asento. Mittaamalla tätä asentoa erilaisten robotilla toistettavien liikkeiden aikana saadaan tietoa seurannan epätarkkuuksista kuten ajautumisesta ja tärinästä.

Asennon arvioimiseksi kehitettiin lineaariseen pienimmän neliösumman sovitukseen perustuva menetelmä pienten asennon muutosten mittaamiseksi. Tätä menetelmää karakterisoitiin kertaamalla sitä OpenCV-konenäkökirjaston epälineaariseen vastaavaan menetelmään. Karakterisointi tehtiin Monte Carlo simulaatioilla, joissa simuloituun mittausdataan lisättiin kohinaa. Simulaatioissa huomattiin, että tasomaisella kohdekuviolla asennon eri komponentit sekoittuvat keskenään. Lisäämällä malliin tason ulkopuoleinen piste saatiin ongelmanasettelua parannettua ja kohinaherkkyyttä pienennettyä. Menetelmälle johdettiin myös virhe-estimaattori. Simulaatioiden lisäksi tehtiin mittauksia robotilla ja HTC Vive -silmikolla.

A measurement method and an embedded camera module were developed for measuring the performance of the tracking system of virtual reality headsets. The measurement setup is an end-to-end one where a robot moves the headset and the camera measures the changes of the display content. The objective is to optically measure the accuracy of the headset’s tracking system by imaging the content on the device’s display, synchronized to the display refresh. The thesis work focused on the development of the smart camera and the related computer vision algorithms.

In the measurement, a three-dimensional target object with detectable points is shown on display. By locating these points in the projected image, the pose (translation and rotation) of the virtual camera can be estimated. From this pose, one can deduce the head pose that is estimated by the headset’s tracking system. By measuring the pose during different motion sequences performed by the robot, one can probe the tracking system for inaccuracies such as drifting and jitter.

A simple pose estimation method based on linear least squares fitting was developed for measuring small pose changes. The method was characterized by Monte Carlo simulation against a non-linear pose estimation method implemented in the OpenCV computer vision library, with noise added to the source data to represent real measurement conditions. It was found that a planar target object caused ambiguities between the pose variables. In the simulations, adding an off-plane point to the target made the problem better conditioned and less sensitive to noise. Error estimates were derived for the new method. In addition to simulations, measurements with the robot and the HTC Vive headset were also performed.