Это моя первая статья на Medium, и я не оказываю себе никакой пользы, поднимая такую ​​липкую тему, особенно в области машинного обучения, о которой я так мало знаю. Но я подумал, что могу привнести некоторый опыт более 20 лет в бизнес по разработке программного обеспечения для обслуживания клиентов и 14-летний опыт воспитания двоих детей.

Я хотел бы поблагодарить #FASTAI за то, что я смог разработать крошечную нейронную сеть, а затем задать сложные вопросы об алгоритмах ИИ в целом.

Проблема

Недавно я создал свою первую небольшую систему распознавания изображений (благодаря fast.ai Deep Learning Lesson 2), чтобы определять мячи для крикета, отличные от мячей для тенниса. Мы, индийцы, играем в крикет обоими способами, но я подумал, давай посмотрим, смогу ли я научить компьютер определять, что есть что!

Я вошел, соскребал изображения из Google, чтобы получить изображения обеих категорий, и следил за курсом, и да ... Я смог создать систему, которая была на 92% точна на проверке, установленной при классификации теннисного мяча по сравнению с мячом для крикета.

Игра окончена ... или это было ... Я думаю, что это был момент, когда для меня это была игра.

Как хороший менеджер по продукту, достойный его внимания, мне нужно было провести несколько отрицательных тестов, так что вот и поворот.

Я принес изображение цветка, ожидая, что компьютер скажет мне вести себя должным образом и покажет ему изображения шаров для классификации, и надеясь, что он не ударит меня.

Но этого не произошло, и он уверенно предсказал, что это теннисный мяч.

Почему это было так глупо?

Потому что он был таким же тупым, каким был его создатель при создании системы. Я использовал метод классификации, который дает прогноз 0 или 1 и не имеет дело с серыми областями.

Где я раньше видел эту проблему?

Конечно, мои дети, когда они были маленькими, поначалу говорили «я не знаю» гораздо чаще, но когда они стали немного старше, они начали делать дикие догадки, действительно дикие. И как отец, я должен был вмешаться и научить тому, как «знать, что ты чего-то не знаешь, и это нормально».

Как я могу научить этому же свой маленький алгоритм?

Пока я работаю над этим и уверен, что некоторые классные ребята из fast.ai научат меня, как это сделать, я думаю, это вызывает несколько более серьезных вопросов.

Важные вопросы

Сколько раз мы принимаем результаты, данные алгоритмом, как должное, не ставя под сомнение их достоверность, спрашивая, как он был обучен, какова была вероятность и уверенность в его собственном прогнозе, каков был набор данных, насколько он велик, был это предвзято и так далее. Последние два дня я думал об этом и обнаружил, что алгоритмы, на которые мы полагаемся, редко дают нам данные, которые нам нужны, чтобы «судить их мнение».

Если мой сын, когда ему было 4 года, сказал мне, что цветок на самом деле был теннисным мячом, я не возьму его и не начну бить теннисной ракеткой. Почему?

  • Я знал, что это всего лишь 4-летний мальчик и у него не было достаточной подготовки (недостаточно данных)
  • Вероятно, у него не было нужного словарного запаса (опять же недостаточная подготовка)
  • Он прибегал к случайным ответам, когда у него не было высокой уверенности (ошибочный алгоритм).

В моем классификаторе тенниса и мяча для крикета все вышеперечисленные проблемы существуют, но я не могу взглянуть на модель и сделать вывод о ее суждении.

Что мы можем сделать?

Я думаю, что то, как любой, кто смотрит на четырехлетнего ребенка, может относиться к его классификации объектов с долей скепсиса, предсказание ИИ также должно давать достаточно индикаторов о себе.

  • Сколько данных у него было во время обучения?
  • Какие алгоритмы использовались?
  • Насколько он был уверен в этом предсказании?

Что-то типа.

Думаю, это теннисный мяч ... но я еще не специалист. Я был инициализирован на модели imagenet, но мне удалось увидеть только 146 изображений теннисных мячей и мячей для крикета, чтобы изучить их. Также я был обучен с помощью функции softmax, которая не оставляет мне места для определения ваших вероятностей. Так что отнеситесь к моему прогнозу с долей скепсиса ... ура.

И я бы тоже хотел увидеть это в реальном мире.

Неужели я слишком многого жду от умных машин и их «тупого» создателя
(это я)?