В последнее время было много разговоров о некоторых новых формах поведения, которые наблюдаются при обучении LLM на данных в масштабе Интернета. Одним из таких типов поведения, которые делают LLM очень полезными, является «контекстное обучение». Представьте, что вы создаете приложение, которое фильтрует новости на основе предпочтений пользователей. Пользователь решает, что ему хотелось бы видеть только положительные новости, и его интересуют только новости о технологиях. Создание этого..

В последние годы большие языковые модели (LLM) продемонстрировали сильную способность извлекать огромные объемы «глобальных» знаний из своих обучающих данных и продемонстрировали способность быстро адаптироваться к новой информации на основе заданных контекстов или подсказок. Несмотря на их впечатляющие возможности обучения «в контексте», их внутренние механизмы остаются недостаточно изученными…