Президент Беркли по машинному обучению Брентон Чу и вице-президент по проектам Пиюш Патил усердно работали над совершенствованием своего SLANG. Не этот сленг - это их Система научного искусственного создания повествования, и она делает именно то, что предполагает ее название.
Используя набор данных историй из пяти предложений и порождающую враждебную сеть (тип алгоритма искусственного интеллекта и сокращенно GAN), Брентон и Пиюш надеются обучить свою модель созданию историй из пяти предложений, достаточно реальных, чтобы их нельзя было различить для человека.
«В [GAN] есть два компонента, - сказал Брентон. «Вот генератор и есть дискриминатор. Генератор - это тот, который пытается создать эти примеры историй, а дискриминатор смотрит либо на созданную историю, либо на реальную историю и говорит: «Хорошо, какая из них была создана, а какая написана человеком?» »
Это классический пример теории игр. Генератор пытается обмануть дискриминатор, а дискриминатор пытается не различить генератор. В процессе оба становятся лучше в своих ролях, и взаимное обучение в идеале сходится к тому моменту, когда генератор создает достаточно «реальных» историй.
Итак, конечная цель состоит в том, чтобы генератор превзошел дискриминатор, верно? Не совсем.
«В этом есть небольшой нюанс, - сказал Брентон. «Бывают случаи, когда генератор бьет по дискриминатору, но не дает хороших историй. Такое случается очень часто. Вот что на самом деле происходит сейчас ».
Одна из их самых больших проблем связана с тем, что слова и предложения не имеют хорошего метода представления, в отличие от изображений, которые могут быть представлены в виде числовой сетки, определяющей цветовые каналы. По этой причине GAN уже давно используются для обработки изображений, но не для обработки естественного языка.
«Если у меня действительно нет хорошего представительства, GAN будет сложно правильно работать с этим представительством», - сказал Брентон. «Я сосредотачиваюсь на получении непрерывного векторного представления предложений… потому что предложения намного выразительнее, чем слова».
Тем не менее, Брентон и Пиюш с оптимизмом смотрят на SLANG. Область обработки естественного языка - как и большинство других областей искусственного интеллекта и машинного обучения - находится на начальной стадии, и обе компании рады быть в авангарде расширения ее границ.
«Я думаю, что проблема генерации повествования, которую пытается решить SLANG, - это действительно интересная подзадача генерации естественного языка», - сказал Пиюш. «Требуется компьютер, чтобы изучать довольно сложные лингвистические и семантические конструкции, такие как логическая последовательность, философия разума и, в некоторой степени, творчество».
Брентон соглашается.
«Если [мы] сможем заставить это работать, это покажет, что вы можете использовать GAN для текстовых сообщений», - сказал Брентон. «[Есть] целый мир возможностей».
