Впервые модель возвращает ответы, относящиеся к конкретному документу. Напомним, что генерация с расширенным поиском предназначена именно для поиска и вывода информации из предоставленных документов. Но в предыдущие недели я не следил за качеством выходных данных модели.

Я написал программный тест, чтобы проверить, имеет ли документальная информация приоритет над параметризованными знаниями языковой модели. Отныне, благодаря этому тесту, я буду замечать, значительно ли ухудшилось качество модели.

Генераторы расширенного поиска (RAG) состоят из двух компонентов: языковой модели (параметрические знания) и средства извлечения, которое получает доступ к знаниям из текстов/документов (непараметрические знания). Если мы спросим RAG о выручке известной компании за конкретный год, не предоставив документ, содержащий этот ответ, она, скорее всего, все равно даст правильный ответ. Этого можно добиться, используя знания языковой модели (параметрическая память).

Но для более непонятных знаний мы не можем полагаться на языковую модель и нуждаемся в мощном ретривере, который обращается к документам. Если мы спросим RAG о нишевой теме, модель может «галлюцинировать» ответ, то есть она даст ответ, который кажется логичным, но фактически неверным. Это общая проблема языковых моделей.

Несмотря на то, что фактическая информация успешно извлекается из документов, я заметил, что модель не может правильно идентифицировать такие синонимы, как «доход» и «оборот». Поэтому, когда я задаю вопрос о доходе компании в году X, модель обычно не может найти эту информацию, когда в документах говорится: «У компании был оборот. сильный> Y в год X». Мы надеемся, что точная настройка модели для финансовой области решит эту проблему.

Вы можете следить за этими обновлениями в: Substack Blog Telegram WhatsApp LinkedIn Medium Twitter Calendly

Что произошло с прошлой недели?

Наконец-то я воспользовался предложениями Джо Караджанова о перерывах. У меня было больше свободного времени для работы над докторской диссертацией. задачи на этой неделе, и мне стало легче делать небольшие перерывы на прогулку каждые 15 минут. С этого момента я продолжу более осознанно относиться к своим привычкам делать перерывы, это действительно помогает.

И я позабочусь о том, чтобы дни были полностью свободны от совещаний. На этой неделе четверг был полностью свободен от встреч, а в пятницу у меня было только две встречи. Эти дни были невероятно эффективными.

Что касается досуга, то завтра я отправлюсь в альпинизм на самую высокую гору Германии, Цугшпитце. Мы идем в группе с некоторыми опытными друзьями. У меня нет опыта скалолазания, поэтому я рад пойти со специалистами! Свежий воздух, физическая активность, адреналин и встречи с хорошими друзьями — хороший рецепт для эффективного умственного и интеллектуального восстановления!

Каковы были самые большие препятствия?

Потребовалось некоторое время, чтобы обработать аргументы командной строки в Python, особенно для того, чтобы сделать их пригодными для тестирования.

Кроме того, время выполнения теста на этой неделе увеличилось в разы. Одно обновление кода теперь занимает до 15 минут для запуска всех тестов, отчетов о покрытии и развертываний (в GitLab). На этой неделе я добавил несколько сквозных тестов, которые требуют значительных вычислительных ресурсов. С этого момента я должен тестировать осторожно, тестируя только те модули, которые я недавно изменил. Реализован тестовый хук перед фиксацией, что означает, что полный набор тестов будет продолжать выполняться перед каждой фиксацией. (Коммит — это моментальный снимок версии в программировании. Каждый моментальный снимок версии должен работать правильно, поэтому рекомендуется запускать тесты перед каждым снимком.) Я постараюсь снова снизить общее время выполнения до 5 минут.

Какие цели я достиг?

  • Выполнено: точки входа в интерфейс командной строки. Чтобы сделать модуль более универсальным, я хочу предоставить удобную точку входа в командную строку. Разработчик может указать папку с исходными PDF-файлами и вставить вопрос/запрос, а также запустить программу прямо из оболочки.
  • Выполнено: Подготовить исследовательское предложение к встрече с моими руководителями.

Какие голы я пропустил?

Промах: При генерации ответов из PDF-файлов программное обеспечение должно иметь возможность отслеживать страницы и заголовки (предоставлять контекст для результата). Это важно для пользователей, поскольку им часто приходится вручную проверять правильность сгенерированных ответов.

Я не смог завершить это, потому что у меня не было достаточно времени, чтобы понять, как Huggingface 🤗 модель генерации расширенного поиска обрабатывает контексты и как к ним можно получить доступ вместе с результатом ответа. Придется копаться глубже в реализации модели.

Это была хорошая неделя?

Да. Я не ожидал, что смогу работать над своими задачами с таким небольшим количеством перерывов. Это была самая продуктивная неделя за долгое время. Контекстная задача не была выполнена успешно, но это нормально.

Краткосрочные задачи на ближайшую неделю

  1. Перенесено с прошлой недели: при создании ответов из PDF-файлов программное обеспечение должно иметь возможность отслеживать страницы и заголовки (предоставлять контекст для результата). Это важно для пользователей, поскольку обычно им необходимо вручную проверять правильность сгенерированных ответов.
  2. Начните первую статью, напишите план и определите первоначальные точки публикации.
  3. Провести совещание по исследовательскому предложению с моими руководителями.

О книге «75 шагов к докторской степени. в обработке естественного языка»

Отныне ты будешь свидетелем моей работы. Почувствуй мою кровь, пот и слезы.

С этой серией статей вы станете еженедельным свидетелем того, как продвигается моя диссертация, всего за 75 шагов. Это имеет несколько целей:

1) Заставлять себя двигаться через силу публичного позора!

2) Помощь другим (потенциальным) кандидатам наук. чтобы студенты оставались мотивированными и показывали, что трудные времена — это нормально, когда они проходят через этот процесс.

3) Получение поддержки от сообщества, когда я переживаю трудные времена.

Поделитесь этим со своим кандидатом наук. студенческие друзья: Substack Блог Telegram WhatsApp LinkedIn Medium Twitter Calendly.