Пустота машинного обучения

Пустота машинного обучения

Император голый, и теперь некоторые министры говорят об этом вслух.

Решительные критики нейронных сетей/машинного обучения/глубокого обучения (все они здесь называются ML) часто заявляли, что это в корне неверно. Теперь специалисты в этой области начинают это признавать. Рассмотрим две недавние статьи в журнале Quanta. В первом из них Борис Ханин, математик из Техасского университета A&M и приглашенный ученый из Facebook AI Research, говорит следующее: ¹

«[T] лучшее приближение к тому, что мы знаем, состоит в том, что мы почти ничего не знаем о том, как на самом деле работают нейронные сети и какой должна быть действительно проницательная теория» [курсив мой]

Это довольно прямое признание состояния невежества в машинном обучении. Во второй статье Бин Ким, научный сотрудник Google Brain, говорит: ²

«ИИ находится в критическом моменте, когда человечество пытается решить, хороша ли эта технология для нас или нет, [и] если мы не решим эту проблему интерпретируемости… [мы] можем просто отказаться от нее».

Конечно, и Ханин, и Ким, насколько я могу судить, считают, что подход машинного обучения — это правильный способ решения проблем, которые, как он утверждает, он может решить.

Ким также признает, что есть два подхода к цели интерпретируемости и что ее интересы, как и интересы ее работодателей ³, являются денежными ⁴.

Вот Ким:

«Есть две ветви интерпретируемости. Одна ветвь — интерпретируемость для науки… [где] вы рассматриваете нейронную сеть как объект исследования, затем вы… проводите научные эксперименты, чтобы действительно понять кровавые подробности о модели.
«Вторая ветвь интерпретируемости, которая В основном я был сосредоточен на интерпретируемости…. Вам не нужно понимать каждую деталь модели…достаточно, чтобы безопасно использовать инструмент». ² [выделено мной]

Интересы также больше направлены на полезность, чем на открытие истины, а это не то, как работает наука. Например, когда королева Виктория спросила Майкла Фарадея, какая польза от его элементарных экспериментов с электричеством ⁵, он (предположительно) ответил: Какая польза от новорожденного ребенка? Фарадей не мог себе представить ни того, каким вездесущим электричеством станет электричество, ни различных способов, которыми мы будем его использовать, ни способов, которыми мы будем его генерировать. Ньютон не мог предсказать, что мы воспользуемся его теориями для путешествия на Луну, точно так же, как Дарвин не мог предсказать CRISPR, а Алан Тьюринг не предсказал, что Интернет станет средством наблюдения за котятами. Как говорит астрофизик Нил де Грасс Тайсон,

Готов поспорить, что когда Эйнштейн выводил свои уравнения, ни он, ни кто-либо другой не думал Штрих-коды! или Хирургия Лазик! или Рок-концерты! ⁶

История науки — это попытки ученых понять какое-то явление, а затем, иногда, найти способы использовать эти открытия.

В статье Quanta также есть не менее убийственное признание, опять же Бориса Ханина (редактирование в оригинале)

если у вас есть конкретная задача, как узнать, какая архитектура нейронной сети справится с ней лучше всего? Есть несколько общих практических правил.
Однако помимо этих общих рекомендаций инженерам в основном приходится полагаться на экспериментальные данные: они запускают 1000 различных нейронных сетей и просто наблюдают, какая из них выполняет свою работу. .
«На практике этот выбор часто делается путем проб и ошибок, — сказал Ханин. «Это своего рода сложный [способ сделать это], потому что существует бесконечно много вариантов, и никто действительно не знает, какой из них лучший». [мой акцент]

Как веками говорил лингвист и философ Ноам Хомский: в машинном обучении успех определяется как получение справедливой аппроксимации массы хаотических непроанализированных данных, что не приведет к пониманию, которое наука всегда… нацелен на. ⁷

Проблема с использованием технологий черного ящика, таких как машинное обучение, заключается в том, что вы можете быстро потерять из виду, кто за кем гонится, что хорошо иллюстрирует следующий анекдот о коренных американцах, предсказывающих погоду ⁸:

Была осень, и члены индейского племени спросили своего нового вождя, будет ли предстоящая зима холодной или мягкой. Поскольку он был новым вождем в современном обществе и его никогда не учили старым тайнам Природы, он смотрел на небо и понятия не имел, что делать. Чтобы не рисковать, он ответил своему племени, что зима определенно может быть холодной и что они должны заранее собрать дрова, просто чтобы быть готовыми. Итак, участники приступили к сбору дров.
Будучи практичным лидером, он решил, что должен также использовать ресурсы, доступные современному обществу. Он подошел к телефонной будке, позвонил в Национальную метеорологическую службу и спросил: «Будет ли эта зима холодной?»
«На данный момент похоже, что эта зима будет довольно холодной», — сказал синоптик.< br /> Итак, вождь вернулся к своему племени и велел им собрать еще больше дров. Неделю спустя он снова позвонил в Национальную метеорологическую службу и попросил обновить информацию.
«Да, — снова ответил человек из Национальной метеорологической службы, — судя по поступающим данным, эта зима обещает быть холоднее, чем мы ожидали. ” Вождь был удивлен, но снова вернулся к своему племени, сказал им, что зима может быть очень холодной, и попросил собрать все щепки, которые они смогут найти.
Неделю спустя вождь позвонил в Национальный Метеослужба еще раз надеется на новый ответ. «Вы абсолютно уверены, что зима будет очень холодной?»
«Положительно», — ответил мужчина. «Это будет одна из самых холодных зим в истории».
«Правда?» — воскликнул потрясенный Шеф. «Откуда вы можете быть так уверены?»
«Во-первых, — ответил синоптик, — индейцы как сумасшедшие собирают дрова…».

Аналог приведенной выше шутки в реальной жизни был случайно продемонстрирован в 2017 году. Самир Сингх, доцент Калифорнийского университета в Ирвине, рассказал о системе машинного обучения черный ящик, разработанной его студентом, для классификации изображений… как то ли хаски… то ли волк. Кажущаяся точной [система машинного обучения], созданная его учеником, на самом деле просто училась распознавать снег на изображениях: если она обнаруживала снег, она предсказывала волка, а если нет, то предсказывала хаски. ⁹

В прошлом году я сетовал на то, что в ML нет простых примеров. Не то чтобы меня кто-то слушал, но кажется, что теперь некоторые практикующие ОД считают, что простые примеры важны для ОД. В упомянутой выше статье журнала Quanta Magazine¹ обсуждается статья 2018 года, опубликованная Дэвидом Ролником и Максом Тегмарком, математиком из Пенсильванского университета и физиком из Массачусетского технологического института соответственно. В их статье основное внимание уделялось использованию ML «для выполнения простой задачи», потому что «[i] если неглубокая сеть не может даже сделать [что-то простое], тогда мы не должны доверять ей что-либо еще»». Однако обратите внимание, что исследователи больше внимания уделяют стратегиям реализации, чем правильности. Более надежный подход должен сначала попытаться доказать, что метод достигает того, чего он хочет, а затем сосредоточиться на том, чтобы достичь того же быстрее. (Какой смысл в разработке, скажем, автомобиля и оптимизации его впрыска топлива без предварительного подтверждения того, работает ли сам автомобиль? Лучше сначала получить работающую модель, прежде чем ее оптимизировать.)

Лучший пример из истории науки о возможном взгляде не туда — это эксперименты Роберта Бойля, показавшие, что вода превращается в живую материю. Экспериментальная установка была простой и удивительно убедительной. Цитируя Хомского из приведенного выше интервью Atlantic,

«[Вы] берете кучу земли, нагреваете ее, чтобы вся вода ушла. Вы взвешиваете его и кладете [в него] ветку ивы, и льете на нее воду, и измеряете себе количество воды, которую вы влили. землю и нагреть ее, чтобы вся вода ушла — как и прежде. Таким образом, вы показали, что вода может превращаться в [жизнь]. Это эксперимент, это вроде как правильно, но просто ты не знаешь, что тебе следует искать».

Сноски

¹ Кевин Хартнетт, Основы общей теории нейронных сетей, 31 января 2019 г., https://www.quantamagazine.org/foundations-built-for-a-general-theory-of-neural-networks- 20190131.

² Джон Павлус, Новый подход к пониманию того, как думают машины, 10 января 2019 г., https://www.quantamagazine.org/been-kim-is-building-a-translator-for-artificial-intelligence-20190110 /.

³ В 1919 году Верховный суд Мичигана постановил, что государственные корпорации имеют единственную цель — приносить прибыль своим акционерам, а не в интересах [своих] сотрудников или клиентов, https://en. wikipedia.org/wiki/Dodge_v._Ford_Motor_Co.

⁴ Чтобы никто не думал, что Alphabet, материнская компания Google, работодатель Кима, чем-то отличается от других, прочтите следующую статью в журнале New York Times Magazine о том, как выстрел на луну компании Alphabet X, где они побуждают сотрудников закрывать проекты до того, как они станут дорогими. ». См. Конор Догерти, Они обещали нам реактивные ранцы. Они обещали боссам прибыль. 23 июля 2016 г., https://www.nytimes.com/2016/07/24/technology/they-promised-us-jet-packs-they-promised-the-bosses-profit.html.

⁵ Чтобы увидеть некоторые образцы экспериментов, проведенных Фарадеем, см. http://www.rigb.org/christmas-lectures/supercharged-fuelling-the-future/thermodynamics-2016-advent-calendar/15--faradays-frogs.

⁶ Нил де Грасс Тайсон, Наука в Америке, 21 апреля 2017 г. https://www.facebook.com/notes/neil-degrasse-tyson/science-in-america/10155202535296613/.

⁷ Интервью Ноама Хомского с Ярденом Кацем, Где искусственный интеллект пошёл не так, 1 ноября 2012 г., https://www.theatlantic.com/technology/archive/2012/11/noam-chomsky-on-where-artificial- разведка-пошла не так/261637/.

⁸ Энн Посегейт, Шутка о зимней погоде, 28 ноября 2008 г. http://voices.washingtonpost.com/capitalweathergang/2008/11/winter_weather_joke.html.

⁹ Хаски или волк? Использование модели обучения «черный ящик, чтобы избежать ошибок адаптации», 24 августа 2017 г., http://innovation.uci.edu/2017/08/husky-or-wolf-using-a-black-box-learning-model- чтобы-избежать-ошибок-принятия/

¹⁰ https://medium.com/galileo-onwards/the-machine-learning-of-simple-things-e6bca6d5283f.