Введение

Я хотел бы подробнее обсудить, как можно собрать определенные характеристики глаз, чтобы обучить модель машинного обучения, которую можно использовать для целей идентификации. Ранее в посте я описал пару функций, включая саккаду и внимание, предложенных Райхле Э. Д. [1]. После объединения знаний предметной области из поиска литературы я выбрал некоторые функции для предварительного изучения, в том числе:

  • Саккада: быстрое движение глаза от одной фиксации к другой.
  • Микросаккады: внутрификсационное движение, при котором глаза дрожат во время фиксации.
  • Фиксация: временная неподвижность движения глаз с течением времени.

Вызов

Были выявлены две основные проблемы, связанные с данными взгляда. Во-первых, среда Unity VR, с которой, как мы ожидаем, взаимодействуют пользователи, может различаться в зависимости от того, как она настроена. Чтобы объяснить, координата положения (10,10,10) в Среде 1 не будет идентична положению (10,10,10) в Среде 2. Во-вторых, явные данные взгляда сами по себе могут быть конфиденциальными, особенно когда речь идет о безопасности. задания. Например, мы не хотим знать, на какие части виртуальной клавиатуры просматривал пользователь, чтобы предотвратить кражу личных данных. Эти проблемы могут быть решены с помощью не зависящих от местоположения функций, таких как скорость или время, масштабированные стандартными метриками. Гипотетически, если пользователь делает одинаковое движение глаз в Среде 1 и 2 и каждое из измерений делится на соответствующие стандартные метрики, они будут идентичными. Пока направления движения глаз постоянны, можно также использовать скорость, основанную на векторах. Основываясь на идее, вот некоторые метрики, которые можно использовать для представления функций:

  • Скорость/скорость
  • Направления (E/W/S/N/SE/NE/SW/NW/и т.д.)
  • Время/длительность
  • Макс/мин

Шаги

После того, как функции и методы определены, следующим шагом является выполнение процесса извлечения, преобразования, загрузки (ETL) из встроенного средства отслеживания взгляда, чтобы данные можно было должным образом предварительно обработать для машинного обучения. Перед стартом мы должны определить исходный тип/состояние данных. Вход от устройства отслеживания глаз может иметь максимальную частоту 72–90 Гц (около 11,11–13,89 мс). Разрешение можно регулировать, но оно должно оставаться постоянным для всего набора данных. Для каждого взаимодействия можно получить x и y положений взгляда, когда пользователь совершает движение глаз, и каждая точка взгляда сталкивается с невидимой 2D-поверхностью, расположенной на определенном расстоянии от глаза. Следует отметить задачи, выполняемые пользователями в процессе сбора, поскольку они могут повлиять на качество данных.

Простое вычитание от одной точки к следующей точке последовательности даст информацию о саккаде. Микросаккады немного сложнее, так как они должны собирать только «дрожание», подобное движению, в пределах определенного диапазона движения [2]. Это можно определить во время выполнения задач, требующих от пользователей удерживать взгляд на определенном объекте или точке. Наконец, фиксация может быть получена таким же образом, как и микросаккады, а также время, в течение которого глаз не совершает каких-либо значительных движений [3].

Для получения скорости абсолютное значение измеряемой саккады, микросаккады и фиксации делится на время. Чтобы получить скорость, необходимо включить информацию о местоположении и разделить на время. Точки взгляда можно использовать как векторы для определения направления. Время, затраченное на измерение, может быть измерено с разрешением (количество экземпляров * скорость). Наконец, максимальные или минимальные значения могут быть собраны за определенный период времени [3].

Заключение

Я планирую применить методы и результаты для разработки концепции идентификации/аутентификации на основе отслеживания взгляда. На следующем этапе большая часть процесса может выполняться автоматически с самомасштабированием, поэтому процесс ETL не нужно выполнять вручную.

Справочник

[1] Э. Д. Райхле, «Вычислительные модели чтения: учебник для начинающих», Languistic and Linguistics Compass, vol. 9, нет. 7, стр. 271–284, 2015.

[2] Моделирование и симуляция глазодвигательного поведения глаз для поддержки разработки имплантатов сетчатки, MATLAB & Simulink. [В сети]. Доступно: https://www.mathworks.com/company/newsletters/articles/modeling-and-simulatory-eye-oculomotor-behavior-to-support-retina-implant-development.html.

[3] Статистика движущегося окна, Статистика движущегося окна — документация GSL 2.7. [В сети]. Доступно: https://www.gnu.org/software/gsl/doc/html/movstat.html.