Для создания богатого интерфейса недостаточно просто определить трехмерное положение рук пользователя. Необходимо также уметь распознавать пользовательские жесты – траектории, по которым перемещаются фонарики. В качестве основы алгоритма распознавания жестов используется “$1 Gesture Recognizer Algorithm”, предложенный Jacob O. Wobbrock, Andrew D. Wilson, Yang Li. Данный алгоритм обладает отличной точностью: при использовании единственного шаблона для каждого жеста точность достигает 97%, при использовании трех и более шаблонов точность превышает 99%. Другим важным преимуществом является низкая вычислительная сложность и линейная зависимость от количества базовых фигур. Вместе с тем, данный алгоритм не умеет выделять жест в непрерывном пользовательском вводе, а также работать с трехмерными траекториями.
Выполненная модификация позволила этому алгоритму работать в трехмерном пространстве и осуществлять распознавание жестов в процессе их ввода (т.е. без необходимости как-то обозначать начало и конец жеста). Несмотря на то, что новый алгоритм оказался в несколько раз сложнее, внесенные изменения не повлияли ни на вычислительную сложность, ни на точность распознавания жестов.
Т.к. мы хотим реализовать возможность оперирования виртуальными объектами точно так же, как если бы объект был реален, и поскольку в руках у пользователя находится фонарик, в «виртуальной руке» пользователя тоже должен находиться предмет, с помощью которого и осуществляется воздействие на виртуальную среду. Иными словами, все манипуляции с объектами должны выполняться не непосредственно, а при помощи виртуальных инструментов. Благодаря этому подходу пользователь, основываясь на опыте реальной жизни, знает, какой жест применить, чтобы воспользоваться определенным инструментом, и каких результатов от этого действия следует ожидать. Таким образом, пользователь может взаимодействовать с виртуальной средой без предварительного обучения, либо с минимальным обучением принципам функционирования системы. Также следует отметить, что подобные жесты связаны исключительно с предметами и потому не зависят от национальной культуры человека.