Техническая революция в фотографии | Навстречу AI

Фотография + изображения - хорошее, плохое и… О, дорогая!

Первая часть этой серии из трех частей посвящена 190-летней истории фотографии и ее технической эволюции в результате ранней цифровой трансформации. Часть вторая охватила ряд последних технических достижений в фотографии и компьютерном зрении.

В этой заключительной части серии мы рассмотрим некоторые проблемы, возникающие в связи с новой технологией, усилия по их смягчению и возможные решения, а в завершение - размышления о будущих возможностях.

Многие из технологий, упомянутых во части 2, предоставляют возможности, которые не обязательно являются новыми. Люди годами могут использовать программное обеспечение или аналоговые методы для выполнения многих из тех же задач. Тем не менее, ручная компоновка пикселей требует больших затрат времени и ограничивает вывод. Но по мере того, как машины могут выполнять задачи, которые раньше могли выполнять только люди, в их знаменитом быстром темпе, мы наблюдаем огромный рост производительности как для законных, так и для сомнительных целей. Проблема в значительной степени связана с масштабом, поскольку количество фальшивых изображений стремительно растет вместе с очевидными последствиями для целостности наших СМИ.

Субъективный глаз

Изображения никогда не были буквальным отображением реальности, и в этом заключается проблема обнаружения подделок. Каждому устройству визуального захвата и средству репрезентации присущи свои предубеждения и отклонения от реальности. Каждый из нас видит одно и то же с немного другой точки зрения, отфильтрованной через наше восприятие, физиологию и жизненный опыт. Ансель Адамс был известен тем, что заявил: «Негатив [фильма] сопоставим с партитурой композитора, а печать - с его исполнением. Каждое выступление отличается тонкими особенностями ».

Фотографы берут на себя много вольностей с их изображениями, чтобы прояснить точку зрения, нужно ли просто переэкспонировать или недоэкспонировать изображение для удаления отвлекающих элементов. Даже в эту цифровую эпоху RAW-данные каждой марки камеры будут немного отличаться, и программное обеспечение для визуализации этих данных еще больше влияет на их представление. Более мощные аппаратные и программные алгоритмы собирают увеличивающееся количество данных с высокой точностью, но их выходные данные подвергаются все более мощным инструментам редактирования, которые допускают субъективную интерпретацию.

Ценности также играют роль в этой головоломке. Разница между злонамеренными подделками и художественными правками не всегда ясна, определение, которое может варьироваться от человека к человеку, например, как модная фотография ретушируется для создания более идеального изображения по одним стандартам, но по другим считается нереалистичным и разрушительным изображением красоты. . В связи с этим озабоченность по поводу вывода с новой фронтальной селфи-камеры iPhone и ее тенденции к сглаживанию черт лица была названа Beautygate, хотя Apple заявляет, что результат связан с продвинутыми алгоритмами и Smart HDR. Даже неизмененные изображения могут быть использованы для искажения, если они сопровождаются подписью, подразумевающей контекст, поддерживающий политическую точку зрения.

Мы на пути к…

Достаточно сказать, что образы всегда имели субъективную природу, которую мы научились фильтровать в наших интерпретациях. Но новая технология проверяет пределы нашего доверия и возможностей и компенсирует то, что в прошлом было незначительными отклонениями от реальности. Новая технология может дать совершенно иное и правдоподобное изображение, которое развлекает нас в фильмах, но ужасает в политике и социальной сфере.

Стремясь предотвратить злоупотребления со стороны правительства, обеспокоенность гражданскими свободами и ошибочные результаты, Сан-Франциско запретил использование распознавания лиц городскими агентствами, как и Сомервилль, Массачусетс, и Окленд, Калифорния. На самом деле это технология, которая быстро распространяется. Хотя запрет вызывает споры, он также является дальновидным. Освободив джинна, его трудно вернуть обратно в бутылку, и это далеко не первый случай, когда технологии развиваются быстрее, чем политика. Независимая оценка системы распознавания лиц лондонской полиции определила, что результаты не будут поддержаны в суде, поскольку она обнаружила, что уровень ошибок составляет 81%. Точность, безусловно, улучшится, но мы надеемся, что запреты и вопросы по распознаванию лиц вызовут здоровую политическую дискуссию по его внедрению.

DeepNude, программное обеспечение, позволяющее снимать женскую одежду для получения реалистичных изображений через нейронные сети, ненадолго появилось, пока разработчик не согласился закрыть доступ, осознавая, насколько быстро он распространяется, и признавая его вероятное неправильное использование и нанесение вреда. К сожалению, маловероятно, что это или подобное программное обеспечение исчезло навсегда. Возможности такого рода в медицине могут быть полезны, например, в реконструктивной хирургии, но расстояние между правильным и ненадлежащим или злонамеренным использованием настолько невелико, что иллюстрирует проблему управления программными технологиями.

Спасение от подделки?

Изменение образов не ново. Одним из самых ранних примеров является культовая фотография Авраама Линкольна 1860 года, на которой его голова была помещена на тело другого человека. Сталин был известен тем, что вычеркивал своих врагов из поля зрения.

Но с распространением фальшивых СМИ, включая вмешательство России в президентские выборы в США в 2016 году, увеличение количества порнографических материалов из мести и нападок на личных персонажей, усилия по выявлению подозрительных СМИ усилились. Обнаружение измененных изображений впервые стало предметом более пристального внимания примерно в 2004 году и с тех пор усилилось с использованием различных методологий. Многие компании, включая Facebook, осознавая потенциальный ущерб, риск и некоторую степень ответственности, разрабатывают инструменты для обнаружения подделок изображений и видео. Даже в ранних версиях программного обеспечения для сканирования и Photoshop были инструменты для предотвращения тиражирования бумажных денег.

Adobe и Калифорнийский университет в Беркли разделили начальные усилия по обнаружению измененных лиц. Правительство США развивает платформу обнаружения через подразделение Медиа-криминалистика DARPA. Появляются и другие организации, чтобы защититься от безумия ИИ, например AI Foundation, которая создает Reality Defender, плагин для браузера, предупреждающий пользователей о предполагаемых подделках, и SurfSafe, плагин для Chrome от пары студентов Калифорнийского университета в Беркли, которые сравнивает изображение с более чем 100 надежными сайтами.

The New York Times в партнерстве с IBM Garage экспериментирует с защитой метаданных изображений и видео с помощью технологии блокчейн в The News Provenance Project. Такой подход может позволить читателям определить источник изображения или видео и были ли изменены носители после публикации.

С помощью роботов-полицейских, патрулирующих Интернет, нельзя полностью бороться с подделками. Должна быть некоторая ответственность и ответственность за создание и распространение инструментов производства контента. Архитекторы физических пространств осознают, как структура влияет на характер и качество человеческого взаимодействия и сообщества. Большая часть архитектуры посвящена проектированию зданий и домов для улучшения качества жизни. Сегодня архитекторы и инженеры программного обеспечения могут использовать мощное программное обеспечение с открытым исходным кодом и производить готовые продукты с легким доступом к глобальному распространению практически бесплатно. Нет причин, по которым соображения, относящиеся к физическим пространствам, нельзя применить к программному обеспечению аналогичным образом. Некоторый уровень саморегулирования был бы целесообразным как для общественного блага, так и для предотвращения обременительного внешнего регулирования и лицензирования, с которым сталкиваются другие профессии, которые также оказывают большое влияние на общественное благосостояние - архитекторов, строителей, юристов, медицинских работников. Недавний упор на «эмпатию» как на ценность в дизайне программного обеспечения обнадеживает, но это лишь небольшой шаг вперед.

Предвидеть неправильное использование ценного инструмента может быть непросто. В момент их появления сомнительно, что кто-то мог представить себе, какими Facebook, Twitter и Instagram станут сегодня со всеми их преимуществами и проблемами. Тем не менее, программное обеспечение - это инструмент, и, как и любой другой инструмент, его можно использовать во благо или во зло. При проектировании, разработке и распространении нового программного обеспечения необходимо тщательно обдумывать возможность причинения вреда. А в некоторых случаях может иметь значение автоматический мониторинг используемых инструментов.

Что касается авторинга мультимедиа и контента, один из подходов может заключаться в том, чтобы программное обеспечение контента записывало историю изменений и дат в файл изображения или видео, чтобы перечислить изменения, метаданные, которые могут быть прочитаны инструментами с открытым исходным кодом в качестве средства оценки и проверки. Это не надежный подход, но он может остановить волну и обеспечить определенный уровень прозрачности.

Обнаружение - это игра в кошки-мышки, которой, вероятно, нет конца, поскольку хакеры находят новые способы подорвать ситуацию. Окончательное решение потребует многогранных подходов, сочетающих ответственность авторов, политику, закон, специализированные инструменты и здоровую дозу скептицизма.

Что меня беспокоит?

Гражданское общество зависит от точной информации. Есть веская причина для того, чтобы Первая поправка к Конституции США стала центральным элементом нашего демократического общества, чтобы гарантировать, что у каждого есть право голоса, чтобы выражать правду. С течением времени различные юридические проблемы дополнительно определили границы этого права, установив ограничения на высказывания, которые наносят вред, обманывают или порочат. Тем не менее, внедрение машин, которые работают со скоростью света и в потенциально анонимных онлайн-площадках, представляет собой серьезные проблемы, особенно с поддельными изображениями и видео, которые становятся настолько убедительными. Некоторые считают, что нынешняя политическая поляризация в США и Великобритании, особенно в отношении Брексита, отчасти объясняется внешними силами, манипулирующими информацией в социальных сетях и новостных каналах. В масштабе фейковые новости и изображения становятся очень серьезной проблемой.

Человеческий мозг эволюционировал, чтобы обрабатывать образы на глубоком эмоциональном уровне. Различные исследования демонстрируют влияние утешительных или угрожающих образов на физиологические показатели, такие как частота сердечных сокращений и артериальное давление. Мы предпочитаем украшать стены дома произведениями искусства, так как они влияют на наше настроение и благополучие. Образы очень запоминаются - нам сложно заменить эмоциональный отклик интеллектуальным откликом, например, сомнением в его подлинности.

Научным сообществам и промышленности надлежит прививать чувство социальной ответственности специалистам, занимающимся разработкой программного обеспечения, и осознавать потенциальный ущерб нашей социальной и политической структуре. Статус-кво, позволяющий нашему увлечению технологиями стимулировать их распространение, не обращая внимания на их влияние, во многих отношениях подорвал наше благополучие. В этом отношении поможет создание новых ролей для социального и этического управления, дополняющих те, которые уже сосредоточены на конфиденциальности и безопасности.

Держать глаза подальше

Судя по всему, фотография не умерла, но выглядит довольно яркой. Некоторые из тенденций вызывают беспокойство, и фотографию в целом может быть труднее определить - дисциплина охватывает больше, чем это было в прошлом.

Смартфоны привели к более широкому использованию фотографии для документирования и передачи личного опыта. В эпоху ограничений по времени статические изображения и видео стали де-факто средством быстрой передачи большого количества информации, хотя во многих случаях менее точно, чем слова.

В творческой сфере фотография и визуализация выигрывают от рассмотрения как перформанс. Маршалинг ресурсов, местоположения, времени, редактирования и цели кадра - все это часть представления и обеспечивает контекст для понимания. Момент раскрытия информации больше касается сбора данных, тогда как все, что было до и до публикации включительно, вносит свой вклад в ее значение.

Что дальше с фотографией и фотографией? Взгляд в хрустальный шар предлагает несколько подсказок.

  • Изогнутые датчики изображения приведут к значительному улучшению качества изображения. Они приблизительно соответствуют кривизне объектива, недалеко от коммерческой реализации и обещают решить некоторые проблемы искажения и потери разрешения и света при увеличении расстояния от оси объектива, что обычно наблюдается в углах сегодняшних изображений.
  • Возможность, стоящая за вычислительной фотографией, была использована только что. Обучение и алгоритмы нейронной сети будут продолжать улучшаться, обеспечивая лучшее качество вывода, что также является зависимостью для беспилотных транспортных средств.
  • В будущем мы увидим больше данных, включенных в алгоритмы для создания более интеллектуальных платформ обработки изображений, и новые идеи, выходящие за рамки данных изображений. Объединение изображений с пространственными данными позволит осознать размеры комнат, мест и ландшафта, что дает множество прямых преимуществ, помимо включения дополнительных возможностей, очевидное использование AR и VR.
  • Медицинские приложения открывают большие возможности, особенно когда большие наборы фотографической информации сочетаются с генетическими данными, данными о лечении и результатах, а также другими показателями, такими как результаты лабораторных исследований и существующие изображения, такие как тепловые, КТ и МРТ. Нейронные сети откроют новые ассоциации и индикаторы здоровья и болезней. При продольном применении с течением времени это может дать медицинское понимание на персонализированном уровне и более раннее выявление риска и выявление заболеваний.

Тем из вас, кто следит за вами, спасибо за чтение! Несомненно, наше коллективное воображение и наши знания позволят другим интересным разработкам повлиять не только на медицину, но и на развлечения, искусство, торговлю, дизайн и окружающую среду. Интересные времена. Будьте на связи!