Публикации по теме 'evaluation'
Оценка модели машинного обучения
В некоторых статьях уже объяснялось, как создать модель и разделить данные на обучение и тестирование. На этом занятии будут объяснены метрики для оценки модели, созданной в контролируемом обучении. Как известно, в обучении с учителем существует два разных алгоритма: классификация (в основном дискретные значения) и регрессия (в основном непрерывные значения).
Оценка классификационно-логистической регрессии
Существуют некоторые оценочные показатели для модели классификации. И будут..
Предложение новой оценочной метрики
В последнее время я работал с некоторыми библиотеками AutoML, такими как H2O и auto-sklearn, и обе столкнулись с одной и той же проблемой: ранжирование в таблице лидеров с метрикой, не удовлетворяющей потребностям моего проекта.
Одними из наиболее распространенных сегодня показателей оценки являются показатель точности, auc, auprc, f1 и т. д. Библиотеки часто строятся на основе этих показателей, и некоторые, но не все библиотеки предлагают настраиваемый параметр для указания собственной..
Общие показатели для оценки моделей обработки естественного языка (NLP)
Вы не сможете обучить хорошую модель, если у вас нет правильной оценочной метрики, и вы не сможете объяснить свою модель, если не понимаете метрику, которую используете. Итак, вот список общих метрик, которые используются для моделей ML и NLP, а также их определения и общие приложения. Мне всегда было трудно запомнить их по диаграммам и матрицам путаницы, поэтому я подумал, что словесное объяснение могло бы сработать лучше.
Точность Обозначает долю случаев, когда модель делает..
Открытие. Погрузитесь в мир оценки - нельзя и другие соображения.
Автор: Анника Рейнке (а), Мину Д. Тизаби (а) и Кэрол Х. Судре (б, в)
(а) Разд. Компьютерные медицинские вмешательства и платформа визуализации HIP Гельмгольца, Немецкий центр исследования рака (DKFZ)
(b) Центр обработки медицинских изображений и Отдел медицинских исследований Совета по вопросам здоровья на протяжении всей жизни и старения при UCL, Университетский колледж Лондона
(c) Школа биомедицинской инженерии и визуализации, Королевский колледж Лондона
Метрики оценки?..
Активное обучение за кулисами
Как мне оценить результаты активного обучения?
В своих предыдущих постах я описал, что такое активное обучение ( введение в активное обучение и основные подходы ) и как можно реализовать такой пайплайн простым и универсальным образом ( архитектура пайплайна активного обучения ).
Этот пост основан на докладе, который я сделал на Reversim Summit 2021. Я хочу сделать несколько шагов вперед и рассказать о том, как я оцениваю результаты своих моделей активного обучения и как это помогло..
Информированность и отмеченность
Альтернативы отзыву и точность как меры оценки
В недавних усилиях вместо использования отзыва и точности мы использовали осведомленность и отмеченность для измерения способности инструментов анализа безопасности обнаруживать уязвимости в приложениях Android. Вот мой упрощенный взгляд на эти меры.
Предварительные мероприятия
Мы заинтересованы в оценке качества системы M для правильного определения положительных и отрицательных примеров из набора примеров.
Мы начинаем с набора..
MAP (средняя точность) может вас запутать!
Внимание, спойлер: карта НЕ является средним показателем точности.
Можно простить за то, что mAP (средняя средняя точность) буквально означает среднее значение точности. Тем не менее, вы не могли быть дальше от истины!
Позволь мне объяснить.
В компьютерном зрении mAP - это популярная метрика оценки, используемая для обнаружения объектов (т. Е. Локализации и классификации). Локализация определяет местоположение экземпляра (например, координаты ограничивающей рамки), а классификация..
