Глубокое обучение стоит на двух столпах: графических процессорах и больших наборах данных. Таким образом, глубокие сети страдают при обучении с нуля на небольших наборах данных. Это явление известно как переоснащение. В этой статье [1] предлагается эволюция знаний, чтобы уменьшить как переобучение, так и нагрузку на сбор данных. В статье эволюция знаний поддерживается двумя интуитивными представлениями: Dropout и ResNets. Тем не менее, в этой статье представлена ​​еще одна третья..

Этот блог в основном основан на моих выводах из статьи: Knowledge Distilling: A Survey , и я пытаюсь представить свое резюме, которое, надеюсь, будет легче понять. Проблема Огромные модели глубокого обучения с миллиардами параметров очень сложно развернуть на устройствах с ограниченными ресурсами, таких как телефоны и встроенные устройства, или использовать для логического вывода или обслуживания в реальном времени, где типичные требования к задержке составляют миллисекунды (≤500..

Последние достижения и идеи в области сжатия моделей нейронных сетей с помощью Knowledge Distillation Извлечение знаний - это процесс, при котором меньшая / менее сложная модель обучается имитировать поведение более крупной / более сложной модели. В частности, при развертывании моделей NN на мобильных или периферийных устройствах, сокращение и сжатие моделей в целом желательны и часто являются единственным правдоподобным способом развертывания, поскольку память и вычислительный бюджет..

Самоконтролируемое обучение — это интересная область исследований, целью которой является изучение богатых представлений из немаркированных данных без каких-либо аннотаций человеком. Этого можно достичь, творчески сформулировав проблему таким образом, что вы используете части самих данных в качестве меток и пытаетесь это предсказать. Такие постановки называются предтекстовыми задачами. Например, вы можете настроить предварительную задачу, чтобы предсказать цветную версию изображения с..

Как использовать немаркированные данные для задачи с ответами на вопросы с помощью дистилляции знаний Процесс маркировки данных довольно сложен, особенно для таких задач, как машинное чтение (ответы на вопросы). В этом посте я хочу описать один из методов, который мы использовали для адаптации модели ответов на вопросы к конкретной области с использованием ограниченного количества помеченных данных - Извлечение знаний . Оказалось, что мы можем использовать его не только для «сжатия»..

Сегодняшние поисковые системы очень хорошо умеют находить релевантную информацию, но на самом деле нахождение этой информации - это всего лишь первый шаг: ее извлечение , ее синтез и ее применение для создания большего количества осознанные убеждения составляют значительную часть пути приобретения знаний. Логическая агрегация и Деревья убеждений - это попытка Консидра на стадиях синтеза и построения убеждений. В этой статье рассматривается этап дистилляции. Как лучше всего..