Мы обучили модель CV обнаруживать бюллетени для голосования, используя только синтетические данные для более надежного и безопасного голосования.

Проблема с голосованием

Сейчас ноябрь 2020 года, и Америка голосует.

Люди обсуждают процесс голосования, причем не одобрительно [1]. Поскольку голосование по почте, вероятно, достигнет исторических цифр, наши системы голосования стали более тщательно проверяться. Источником этих опасений является точность и скорость современных методов голосования. Это приводит к недоверию избирателей к технологии голосования: даже если вы идете и голосуете, правильно ли ваш голос подсчитывается?

Мы решили решить проблемы, связанные с бюллетенями с оптическим сканированием. Системы бумажных бюллетеней с оптическим сканированием все еще широко используются для подсчета голосов (см. Рисунок 1 ниже). К сожалению, в настоящее время бюллетени с оптическим сканированием заведомо ненадежны [2]. Когда одна из этих машин выходит из строя, для проверки результатов используется ручной труд (то есть кто-то смотрит на нее).

Наша идея

Наша идея обойти представленные проблемы: простая модель CV (компьютерного зрения) для подсчета бюллетеней с оптическим сканированием. В Zumo Labs мы создаем синтетические данные для обучения моделей CV следующего поколения, и поэтому мы всегда ищем интересные варианты использования моделей CV. В идеальном мире человек проверял бы каждый бюллетень. Но на самом деле это невозможно. Исторически сложилось, что системы визуальных вычислений призваны довести технологию до человеческой точности.

Как инженеры, мы считаем, что чем больше отказоустойчивости в системе, тем лучше ее конструкция. Эта система может использоваться вместе с существующими системами или даже заменять их в будущем.

Подсчет бюллетеней с оптическим сканированием - хороший вариант использования. На модель не должны влиять абляции или проблемы с калибровкой оптического сканера. Что еще более важно: модель, которую мы обучили, можно развернуть на любом устройстве с камерой RGB и, следовательно, не потребует дорогостоящего специального оборудования.

Возможно надежное и безопасное голосование, и вот как мы это сделали.

Эксперимент

Для этого эксперимента мы смоделировали выборы в Bikini Bottom, где Squidward Tentacles сражались с действующим Патриком Старом.

(Обратите внимание, что в этой статье мы просто стремились показать мощность, которой может обладать такая система, без полного завершения цикла того, как будет выглядеть полная система.)

Для модели мы решили использовать Mask R-CNN с магистралью ResNet-FPN. Эта конфигурация модели поступает от Detectron2, который предоставляется Facebook Research и предоставляет образцы конфигураций для популярных архитектур [3]. Мы обучили эту модель с нуля, чтобы выполнять сегментацию экземпляров и обнаружение ограничивающей рамки для двух категорий, Патрика и Сквидварда. Мы полностью обучили эту модель на синтетических данных с ограничивающими рамками и масками сегментации для каждого заполненного бюллетеня.

Данные

Набор данных, который мы использовали, был примерно разделен: половина голосов была за Сквидварда, а половина - за Патрика. Обратите внимание, что мы не учли в этой статье двойное голосование или недействительные бюллетени.

Вы можете заметить различный внешний вид фона: это метод, называемый рандомизацией домена. Рандомизация домена позволяет модели игнорировать фон, чтобы сосредоточиться на том, что имеет значение (т. Е. На бюллетене).

Наши данные были сгенерированы с использованием комбинации популярного программного обеспечения Blender и некоторых внутренних инструментов, исходный код которых мы надеемся открыть в ближайшем будущем (следите за этим!). Этот набор данных доступен на нашем сайте app.zumolabs.ai.

Модельное обучение: неудачи и обучение

Вернемся в нашу подводную деревушку, на полигон нашего эксперимента. После того, как выборы в Бикини Боттом начинаются, избирательная комиссия понимает, что избиратели не поняли, как они должны голосовать. Несведущие избиратели не поняли, что они должны заполнять пузыри, и решили обвести квадраты в бюллетенях.

Снова в лабораторию! Наша текущая модель (обученная выше) не смогла обнаружить эти круги, поскольку она обучалась только на заполненных прямоугольниках. Простое и быстрое решение: мы можем сгенерировать новый пакет синтетических данных, который охватывает этот случай, в рекордно короткие сроки.

Это одно из больших преимуществ синтетических данных: как только обнаружен пограничный случай, легко сгенерировать набор данных и обучить модель решать пограничный случай. Ниже вы можете увидеть, что улучшенная модель способна определять неправильный формат, показывая мощь синтетических данных в решении проблем, с которыми вы еще не сталкивались еще.

На что следует обратить внимание: конфиденциальность

Избиратели хотят, чтобы их голоса были секретными и надежными. Мы живем в мире, где люди более сознательно относятся к своей конфиденциальности и своему цифровому следу. Многие системы резюме обучаются с использованием ранее собранных данных, и часто это вызывает много проблем с конфиденциальностью, поскольку конечные пользователи и компании часто не знают о разветвлениях и проблемах.

Мы обучили вышеуказанные модели на 100% синтетических данных. Это означает, что бюллетени не нужно записывать, чтобы модель могла обучаться на собранных реальных данных. Мы считаем, что модель CV может не только сделать подсчет бюллетеней более надежным процессом, но и, когда модель CV обучена на 100% синтетических данных, модель CV также может обеспечить тайное и безопасное голосование.

Заключительные мысли

Мы надеемся, что к настоящему времени у нас появилось некоторое доверие к тому, как модель компьютерного зрения может быть использована в качестве компонента в процессе голосования. Кроме того, мы надеемся показать, как синтетические данные позволяют нам обучать эти модели адаптироваться к постоянно меняющимся условиям (быстро фиксировать все крайние случаи!) И отбрасывать все проблемы конфиденциальности.

Если у вас есть собственные теории, или вы хотели бы проверить свои догадки с помощью модели, но не имеете обучающих данных, или если вы не согласны с нашими мыслями и выводами о процессе голосования, дайте мне знать по адресу [email protected] ! Хотел бы поболтать.

Спасибо за чтение и сделайте свой голос услышанным в ноябре этого года, проголосовав! [4]

ИСПОЛЬЗОВАННАЯ ЛИТЕРАТУРА:

[1] Пэм Фесслер. Гонка за лекарство (бюллетень): борьба за решение проблем с бюллетенями для заочного голосования. (Октябрь 2020 г.), NPR. (Https://www.npr.org/2020/10/19/924705412/race-for-a-ballot-cure-the-scramble-to-fix-minor-absentee-ballot-problems).

[2] Технология голосования. MIT Election Lab. (Https://electionlab.mit.edu/research/voting-technology).

[3] Детектрон2. (Https://github.com/facebookresearch/detectron2).

[4] Вперед, голосуй! (Https://www.vote.org).