Область искусственного интеллекта, которая разрабатывалась до сих пор, успешно охватила различные секторы и обеспечила потрясающую поддержку и результаты, о которых раньше даже не догадывались. Но в каждой истории героя есть антагонист.
Черные ящики: В науке, вычислительной технике и технике черный ящик - это устройство, система или объект, которые можно рассматривать с точки зрения входных и выходных данных, без каких-либо сведений о его внутренней работе. . Его реализация непрозрачная (черная). Черным ящиком можно назвать практически все: транзистор, алгоритм или человеческий мозг.
Возможно, вы слышали о тестировании черного ящика, которое проводится в процессе разработки программного обеспечения, когда внутренняя структура / дизайн / реализация тестируемого элемента не известны тестировщику, но работа модели проверена.
Базовые алгоритмы, такие как НОК двух чисел, кажутся более простыми, хотя иногда они занимают много времени, и считаются легкими, поскольку понимание и интерпретация работы этих алгоритмов могут быть легко поняты. Но когда дело доходит до глубокого обучения, такого как искусственные нейронные сети, сверточные нейронные сети, рекуррентные нейронные сети и т. Д., Алгоритмы становятся слишком сложными для вычисления человеческим мозгом. Они содержат множество скрытых слоев, которые человек не может легко отследить при переписке с компьютером.
Более того, когда модели глубокого обучения спроектированы и реализованы, они сделаны так, чтобы их было удобно использовать, так что пользователю просто нужно было вводить и получать результат в течение нескольких секунд без каких-либо предварительных знаний о том, как все работает внутри.
Независимо от того, насколько точно модели глубокого обучения могут давать результаты, необязательно, чтобы какое-либо приложение всегда следовало определенным предопределенным правилам. Например, при медицинском исследовании гистологических фигур при идентификации заболевания исследователь должен знать, как модель дает какой-либо результат и на каком основании он делается. «Он действительно знает, что делает? Или это была дикая догадка? ». Нет абсолютно никаких возможностей для каких-либо необычных или исключительных закономерностей, возникающих в каких-либо тестах.
Любой код считается чистым или приятным, если его легко отлаживать. Если для какой-либо данной модели при условии, что входные данные дают ложноположительный результат, можно определить, где машина сделала неправильный шаг, и научить ее лучше. Но поскольку все внутренние процессы скрыты и сложны, это считается «черным ящиком». Все, что вы знаете, - это ввод и вывод.
Признание глубокого обучения в секторе здравоохранения требует подтверждения в других областях, медицинские эксперты, надеются увидеть его успех в других критических областях реальной жизни, например, в автономных автомобилях, роботах и т. Д. Несмотря на большой успех глубокого обучения -основанный метод, достойная теория алгоритмов глубокого обучения все еще отсутствует. Смущение из-за отсутствия этого хорошо известно сообществу машинного обучения. «Черный ящик» может быть еще одной из основных проблем, юридические последствия использования «черного ящика» могут стать препятствием, поскольку эксперт в области здравоохранения не будет полагаться на него. Кто может нести ответственность, если результат пошёл не так?
Разблокирование черного ящика - большая проблема для исследования, и чтобы решить эту проблему, ученые, занимающиеся глубоким обучением, работают над тем, чтобы разблокировать этот пресловутый черный ящик. Одно из решений предполагало разработку инструментария, который показывает визуальные эффекты активации каждого отдельного нейрона. Следовательно, вклад каждого нейрона виден, и любая ошибка может быть обнаружена в ближайшее время.
Недавно, в мае, исследователи из Массачусетского технологического института и других организаций разработали интерактивный инструмент, который впервые позволяет пользователям видеть и контролировать работу автоматизированных систем машинного обучения. Цель состоит в том, чтобы укрепить доверие к этим системам и найти способы их улучшения.
