В этом блоге я объяснил, как мы строим систему байесовской сети с ограниченными данными или без них, но с хорошим знанием предметной области.

Полную серию блогов см. на https://www.vaktavya.co.in/blog.

В предыдущем блоге этой серии мы увидели, как основанное на фактических данных семейно-ориентированное социальное обеспечение может стать потенциальной альтернативой программно-ориентированной системе социального обеспечения и неэффективной идентификации бенефициаров для предоставления социальных услуг. В этом блоге мы покажем вам, как идея доказательной семейно-ориентированной социальной помощи реализуется с помощью инструмента искусственного интеллекта EasyGov.

В этой части блога мы покажем вам, как идея доказательной семейно-ориентированной социальной помощи реализуется с помощью инструмента искусственного интеллекта EasyGov.

Вы часто путаетесь между выбором начать разработку ИИ на основе плохо доступных данных или сначала собрать правильные данные? Вынуждает ли вас или ваше предприятие отказываться от проектов ИИ перспектива потратить целый год на «сбор и очистку данных» перед созданием какой-либо системы искусственного интеллекта? Вы не одиноки: текущие статистические данные показывают, что, хотя 76 % предприятий стремятся использовать свои данные для извлечения ценности для бизнеса, только 15 % имеют доступ к данным соответствующего типа для достижения этой цели.

Большинство специалистов по данным тратят только 20% своего времени на фактический анализ данных и 80% своего времени на поиск, очистку и реорганизацию огромных объемов данных. Ниже приведены действия с данными, необходимые для начала разработки ИИ:

Нехватка данных стала серьезной проблемой. В настоящее время данные находятся в необработанном виде точно так же, как уголь в первые годы промышленной революции. Томас Ньюкомен в 1712 году изобрел примитивную версию паровой машины, работавшей на угле, примерно за 60 лет до того, как это сделал Джеймс Уатт. Изобретение Ньюкомена было не очень хорошим: по сравнению с машиной Уатта оно было неэффективным и дорогостоящим в эксплуатации. Это означало, что его использовали только на угольных месторождениях, где топлива было достаточно, чтобы преодолеть недостатки машины.

Точно так же по всему миру сотни новичков работают над собственными моделями машинного обучения. Они могут быть революционными, но без данных, которые заставят их работать, они не смогут работать должным образом.

Проблема кажется еще более сложной, когда мы рассматриваем определенные секторы, где трудно собрать и осмыслить значимые данные. В отличие от потребительских интернет-компаний, у которых есть данные от миллиардов пользователей для обучения мощных моделей ИИ, сбор массивных обучающих наборов часто невозможен для других секторов, включая здравоохранение, разработку политики и т. д.

Ниже приведены основные проблемы, связанные с плачевным состоянием текущих запасов данных:

  1. Необходимые данные недоступны: в настоящее время предприятия имеют доступ к большему количеству данных, чем когда-либо прежде. Однако наборы данных, применимые к приложениям ИИ для обучения, действительно редки.
  2. Доступные данные являются статическими. Изменения данных с течением времени делают статические данные излишними.
  3. Доступные данные не очень высокого качества: ожидания, основанные на данных, не могут быть оправданы, если данные не подходят для использования в передовых аналитических системах на базе ИИ.
  4. Блок данных. Данные недоступны.

Актуальная проблема заключается не только в изучении соответствующих данных, но и в том, чтобы сделать наши системы глубокого обучения более эффективными и способными работать с меньшим количеством данных. Точно так же, как Уотт усовершенствовал Steam Engine, поиск «Данных соответствия ИИ» может занять еще 60 лет! Однако мы в EasyGov не могли ждать так долго, поэтому создали свой собственный способ сделать это прямо сейчас!

Альтернативное решение для разработки решений ИИ с существующей сложностью данных может быть достигнуто за счет использования возможностей «экспертных знаний в предметной области» или «человеко-в-контурном» подходе. Искусственный интеллект человека в цикле Использует возможности машин и человеческого интеллекта для создания моделей ИИ на основе машинного обучения. Он основан на человеческом интеллекте, полученном из глубоких знаний предметной области, а не на наборах данных, поэтому люди и ИИ активно усиливают взаимодополняющие преимущества друг друга.

Со временем, когда данные накапливаются, основанные на знаниях предположения заменяются интеллектуальными данными и моделированием базы данных. Таким образом, благодаря такому совместному интеллекту люди и ИИ активно усиливают дополняющие друг друга сильные стороны: лидерство, командную работу, креативность и социальные навыки первых, а также скорость, масштабируемость и качественные возможности вторых. Что, если данные недоступны, наш человеческий интеллект все еще доступен, верно?

Чтобы продемонстрировать эту возможность, давайте предположим случай использования, когда у правительства есть потребность в проведении ремонтных работ в доме правомочным бенефициарам. Основными ограничениями, с которыми они столкнутся при разработке решения, являются ограниченные данные и в основном статические точки данных гражданина.

Для предоставления льгот на ремонт жилья правомочному бенефициару государственное ведомство требует определения правомочных бенефициаров и предоставления соответствующих пособий. Для этого можно предпринять следующие шаги:

ШАГ 1: Определение социально-экономических параметровСамым первым шагом в определении правомочных бенефициаров является определение социально-экономических параметров, таких как стоимость дома, тип дома, удобства, доступные в доме, дом местоположение, доход семьи и т. д.

ШАГ 2: Создание диаграммы профиля проживанияПосле того, как социально-экономические параметры определены, эти параметры дополнительно упорядочиваются для построения структурированного графика профиля. Пример: В этом случае строится диаграмма профиля проживания, и визуальные эффекты выглядят следующим образом:

График помогает построить профиль домохозяйства для семьи, определяя или вычисляя значения, необходимые для определения профиля домохозяйства семьи, что, в свою очередь, поможет вычислениям ИИ рекомендовать ремонт жилья для семьи.

ЭТАП 3. Байесовский сетевой график. Затем наконец создается график путем объединения в сеть всех основных социально-экономических параметров, т. е. слияния других подграфов, которые необходимы для построения полного профиля семьи. . Результатом этого упражнения является логическая диаграмма.

График помогает составить полный профиль домохозяйства для семьи. Он вычисляет все значения, необходимые для определения семьи, включая социальное положение, экономический статус, уровень образования, параметры здоровья, доступные удобства, демографическую информацию и т. д. Вычисление атрибутов помогает нашей системе искусственного интеллекта рекомендовать льготы на основе многомерного представления.

Например:

  1. Вмешательство по ремонту дома зависит не только от жилищного профиля семьи, но также зависит от их экономического и социального профиля.
  2. Точно так же, если правительство хочет распределять стипендии среди детей фермеров, которые заканчивают учебу и заканчивают учебу. Решение будет основываться на:
  3. Возможность наличия выпускника в семье фермера: демографический профиль
  4. Фермеры должны принадлежать к определенному экономическому классу, т.е. не должны быть учениками из богатой семьи: Экономический профиль
  5. У студента должно быть стремление продолжить выпускной, после окончания учебы, т.е. студент должен иметь высокий балл по метрике: Образовательный профиль

Шаг 4. Назначение условного распределения вероятностейПосле того, как структура построена (т.е. узлы и ссылки на графики), сети требуется вероятность распределения, которое будет назначено каждому узлу. Вероятность сделана с нашими экспертными знаниями предметной области. Пример: В этом случае было показано условное вероятностное распределение для профиля основных удобств.

Шаг 5: Рекомендации. Окончательная рекомендация ИИ для бенефициара будет основываться на этих параметрах, связях узлов и распределениях вероятностей.

Например, на приведенной выше диаграмме показаны рекомендуемые пособия для семьи на 2022 год и далее. Система рекомендует пособия в процентах, при этом рекомендация с наибольшей вероятностью является наиболее рекомендуемым государственным вмешательством для семьи.

Существует поговорка: «Сначала вы получаете данные, затем — ИИ». Мы не можем допустить, чтобы недоступность данных стала препятствием для чудес нашего мозга! На нашей иллюстрации мы показали, что использование человеком «глубоких знаний в предметной области» и ограничение данных может не только смягчить задержки в разработке решений ИИ, но и новый горизонт решения человеческого ИИ может помочь в создании надежного и реалистичного решения ИИ.

Пожалуйста, прочтите четвертую часть блога, чтобы понять, как создать более ответственный инструмент ИИ

Первоначально опубликовано на https://www.vaktavya.co.in 25 ноября 2020 г.