Нам понадобятся некоторые базовые библиотеки для обработки и визуализации данных, такие как pandas, NumPy и matplotlib. Нам также понадобится sklearn для некоторых вспомогательных функций, таких как train_test_split и precision_score. И, конечно же, нам понадобится сам LightGBM. import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns import sklearn from sklearn.model_selection import train_test_split, KFold from sklearn.metrics import accuracy_score..

Мне нравится быть статистиком, потому что я играю с моделями. Некоторые модели хороши. Некоторые модели не так хороши. В любом случае, Вы должны проверить их, чтобы узнать. Перекрестная проверка K-кратности Основная причина использования k-кратной перекрестной проверки заключается в оценке производительности модели на невидимых данных. Этот алгоритм машинного обучения уменьшает проблемы переобучения, беря случайные разделы данных и итеративно используя разные разделы в..

Перекрестная проверка - неотъемлемая часть машинного обучения. Валидация модели, конечно, не самая захватывающая задача, но создание точных и надежных моделей жизненно важно. В этой статье я расскажу об основах перекрестной проверки (CV), о том, как она сравнивается со случайной выборкой, как (и если) учащемуся ансамбля нужно использовать CV и как мы должны строить модели, когда у нас есть только несколько точек данных. В предыдущем посте я представил надежный процесс разделения данных,..

Модели машинного обучения часто не могут хорошо обобщить данные, на которых они не были обучены. Следовательно, всегда необходимо проверять стабильность вашей модели машинного обучения. Это означает, что нам необходимо обеспечить постоянную эффективность нашей модели. Другими словами, нам нужно проверить, насколько хорошо наша модель работает с невидимыми данными. Основываясь на характеристиках модели на невидимых данных, мы можем сказать, является ли модель переоборудованной,..

После предварительной обработки данных и разработки нашей модели нам необходимо оценить эффективность нашей модели. Учитывая это, матрица неточностей - это метрика оценки, с помощью которой мы можем оценить эффективность нашей модели в машинном обучении. Однако, когда мы выполняем перекрестную проверку (например, перекрестную проверку без исключения, перекрестную проверку в k-кратном размере) для обобщения нашего набора данных на независимые данные, нам может потребоваться сгенерировать..