Как шпионят за покупателями? Зачем нужны очки, отслеживающие взгляды

Такие технологии существуют. И со временем они становятся всё сложнее и интереснее. Разработчикам продуктов и маркетологам важно понимать, как покупатели взаимодействуют с товарами: куда смотрят в первую очередь, как двигается их взгляд дальше. Всё это помогает располагать товары так, чтобы посетителям было удобно выбирать. Для изучения поведения покупателей применяют технологии айтрекинга – отслеживания направления взглядов.

Группа разработчиков из ПНИПУ придумала специальный прибор, который следит за тем, на какие витрины обращают внимание покупатели, на каких товарах дольше задерживаются их взгляды, что им интересно. Выглядит устройство как очки, но футуристические. И тут не до шуток – «у кого четыре глаза, тот похож на водолаза». У «очков» три камеры, расположенные таким образом, чтобы уловить малейшее движение зрачков. Также разработчики придумали специальное программное обеспечение, в котором использованы нейросети.

О технологии и о том, как она появилась, рассказал руководитель проекта, программист, аспирант электротехнического факультета политехнического университета Александр Князев.

В чём фишка?

История необычных очков началась, когда Александр вместе с группой студентов отправился в Германию. Молодым людям предстояло год учиться по программе двойного диплома в Анхальтском университете прикладных наук. Обучаться из-за пандемии в итоге пришлось удалённо дома, но из той поездки они привезли идею тех самых очков. Молодые разработчики очень быстро поняли, как можно её одновременно и удешевить, и улучшить. Приехав, приступили к делу. Опытный образец сделали из обычной оправы, прикрепив к ней камеру изолентой. Затем уже изготовили настоящий прибор с полным функционалом и программным обеспечением.

«Наша основная фишка в том, что технология позволяет собирать данные сразу с нескольких очков. Это очень важно, ведь при изучении поведения покупателей обычно маркетологи запускают в зал фокус-группу, которая состоит из нескольких человек. Когда данные поступают с одной пары очков, маркетологу приходится вручную собирать данные с каждого из этой группы. Это отнимает время. Мы сделали так, что информация поступает сразу с нескольких очков. И маркетолог уже видит комбинированные данные – сколько раз и на какую витрину смотрели, надолго ли задерживали на ней внимание, как двигался взгляд и т. д.», – пояснил Александр.

Что под глазом?

Как это работает? На оправе закрепляют три камеры, которые потом по wi-fi передают информацию на сервер. Там происходит обработка и визуализация данных.

«Камеры, расположенные на очках под глазами, смотрят, куда направлен взгляд, вычисляют координаты и проецируют на ту картинку, которую видит человек. Ещё одна камера находится между глаз. Она записывает то, что видит перед собой человек. Нейронная сеть ищет точки интереса и стыкует их. Человек же может наклониться, повернуться – важно скомбинировать их верно. Данные со всех очков сразу соединяются, чтобы маркетолог мог видеть, какое внимание фокус-группа уделяет той или иной витрине», – поясняет руководитель группы разработчиков.

Как обработать так много данных? В этом помогают специальные алгоритмы на основе нейронных сетей, которые оптимизируют процесс обработки изображений, а также многоядерные вычислительные модули. Разработчики создали программное обеспечение как для самих очков, так и для сервера, который производит вычисления. Прибор оказался в 10 раз дешевле существующих аналогов. Сама разработка тоже потребовала вложений. Разработчики представили свою технологию на конкурсе «УМНИК», где получили высокую оценку экспертов и выиграли грант в размере 500 тыс. руб. на два года.

Любопытно, что у технологии есть ещё одно применение, которое поможет не только маркетологам. Её можно адаптировать и для решения других задач. Например, с помощью очков пользователи смогут управлять компьютером без мыши.