🍎Анализ корзины рынка🍞- Анализ правил ассоциации с визуализацией

1. Обзор

Введение

Наступила эра, когда компьютер знает о нас лучше, чем мы сами. Наше устройство настолько мощное, что знает, что мы делаем прямо сейчас и что собираемся делать в будущем. Следующее приложение ИИ называется анализом рыночной корзины и широко используется в розничных магазинах, где приложение прогнозирует тесно связанные товары, которые мы, вероятно, купим вместе с приобретенным продуктом.

Сведения о проекте:

В этом проекте мы используем набор данных Продовольственные товары, в котором есть набор данных с 38765 строками заказов на покупку людей из продуктовых магазинов. Набор данных содержит только один CSV-файл.

В приведенном выше наборе данных я проанализировал набор данных с помощью визуализаций и выполнил интеллектуальный анализ правил с помощью априорного алгоритма. Я никогда не понимал и не задавался вопросом, почему эти продукты хранятся близко к супермаркету, думая, что это делается для удобства покупателей, но мало ли я знал, что это имело влияние на бизнес.

Вы также можете получить этот код на моей стене GitHub github page.

Цель этого блокнота

• Получение и очистка данных
• Выполнение анализа A-правила с использованием априорного алгоритма
• Визуализация результатов ассоциации между элементами

2. Импортировать библиотеки

3. Получение данных

groceries=pd.read_csv('../input/groceries-dataset/Groceries_dataset.csv')
print(f'Groceries_dataset.csv : {groceries.shape}')
groceries.head()

Согласно информации набора данных, он имеет следующие особенности:

• Member_number: это похоже на идентификатор клиента, присвоенный клиенту после транзакции покупки.
• Дата: это дата совершения покупки/транзакции.
• itemDescription: название купленного товара.

📌 Важно смотреть на количество ненулевых записей и их типы данных. Часто дата не имеет формата datetime.

groceries.info()

Из информации мы можем определить, что

• У нас нет пустых записей в наборе данных. БАМ!
• Столбец даты является типом данных объекта. маленький бам!

4. Предварительная обработка

Переименование столбца

#Renaming the columns to simple words
groceries.rename(columns = {'Member_number':'id','itemDescription':'item'}, inplace = True)

Информация о дате

6. Свяжите интеллектуальный анализ правил с априорным алгоритмом

Что такое анализ потребительской корзины?

Вы когда-нибудь бродили по супермаркету и задавались вопросом, что все секции и стеллажи спроектированы таким образом, чтобы продукты были связаны друг с другом? как вы можете получить хлеб с маслом в ближайших стеллажах; щетка и зубная паста в одних и тех же стойках. Эти продукты связаны. Если вы покупаете кисть, вероятность того, что вы купите пасту, высока. Это маркетинговая тактика, заставляющая вас наполнять корзину продуктами с соответствующими предметами, тем самым увеличивая доход от продаж. Немногие компании вводят скидку на связанный товар или объединяют оба продукта и продают по более низкой цене, чтобы заставить вас купить товар + связанный с ним товар

Что такое анализ правил ассоциации?

Анализ правил ассоциации – это метод, используемый для выявления связи между товарами, при этом приобретаемые нами товары обозначаются X-›Y

Здесь X — это товар, который мы покупаем, а Y — это товар, который мы, скорее всего, купим (больше похоже на if-›then), это также называется

• X- Предшественник
• Y- следствие

Анализ правил связывания помогает в разработке правил связывания элементов. Эти правила сформированы с помощью трех терминов

1.Поддержка: это означает популярность предмета, если предмет покупают реже, он будет игнорироваться в ассоциации.

2.Надежность. Говорит о вероятности покупки Y при покупке X. Больше похоже на условную вероятность. На самом деле это! Но он не может проверить популярность (частоту) Y, чтобы преодолеть то, что мы получили рост.

3.Подъем. Он сочетает в себе уверенность и поддержку. Подъем больше 1 предполагает, что наличие антецедента увеличивает вероятность того, что в данной транзакции возникнет консеквент. Рост ниже 1 указывает на то, что покупка предшественника снижает вероятность покупки последующего в той же транзакции.

Например, предположим, что есть 100 клиентов, 10 из которых купили молоко, 8 купили масло и 6 купили и то, и другое. Нам нужно проверить ассоциацию купленное молоко =› купленное масло

• поддержка = P (молоко и масло) = 6/100 = 0,06
• уверенность = поддержка/P(масло) = 0,06/0,08 = 0,75
• подъем = уверенность / P (молоко) = 0,75 / 0,10 = 7,5

Что такое априори?

Априорный алгоритм использует частые наборы элементов для получения правил ассоциации, но при условии, что

• Все подмножества частых наборов элементов должны быть частыми
• Точно так же в случае редкого подмножества их родительский набор тоже нечастый. Алгоритм работает таким образом, что устанавливается минимальное значение поддержки, и итерации происходят с частыми наборами элементов. Наборы элементов и подмножества игнорируются, если их поддержка ниже порогового значения, пока не может быть никакого удаления.

Рассчитывается более поздний рост этих выбранных наборов элементов (правил), и если значение ниже порогового значения, правила удаляются, поскольку алгоритму может потребоваться время для компиляции, если мы возьмем все правила

Подготовка данных

Прежде чем продолжить работу с априори, мы должны подготовить данные в формате разреженной матрицы, где товары находятся в столбце, а идентификатор — в качестве индекса. Сначала мы группируем по купленному количеству, а позже кодируем 0 и 1

Применение априори

Здесь мы применяем априорный алгоритм и получаем все часто встречающиеся наборы элементов (с порогом поддержки 70%) и применяем функцию правил ассоциации для получения правил, в которых мы используем метрику роста

Создание динамической функции для настройки правил

7. Визуализация результатов

Результаты в табличной форме не дадут большого представления о нашем алгоритме, поэтому давайте визуализируем правила

Связь между показателями

Инсайты

• Поддержка и уверенность имеют суровую линейную зависимость, а это означает, что с наиболее часто встречающимися элементами связаны некоторые другие элементы.
• Когда дело доходит до подъема, отношения раздавливаются в поддержке, когда они выходят за пределы 0,10, а в доверии отношений нет.
• В отношении предшествующей и последующей поддержки нет линейной зависимости, но она скорее обратная: когда последующая поддержка увеличивается, предшествующая поддержка исчезает — можем ли мы рассматривать это явление как увеличение количества покупаемого масла и уменьшение количества хлеба?

Сетевая диаграмма правил

Здесь мы создаем сетевую диаграмму указанного количества правил, где мы можем видеть антецеденты и последствия, связанные с правилами

Инсайты

• Проще визуализировать с помощью сетевой диаграммы, чем видеть в табличном формате.
• Стрелка, идущая к правилам (желтый кружок), идет от антецедентов, а стрелки, идущие от круга правил, идут к последствиям.

Сила ассоциации с использованием тепловой карты

Мы обнаружили связь элементов, что хорошего, если мы не знаем силу их связи

Инсайты

• У нас тесная взаимосвязь между йогуртом, молоком и овощами.
• Булочки с рулетом тесно связаны с цельным молоком.

8. Заключение

• Модель, построенная с использованием априорных алгоритмов
• Считается, что априорный алгоритм эффективен при применении ассоциативных правил и всегда дает постоянные результаты.

В этом анализе модель не оценивалась с использованием каких-либо тестовых данных, поэтому к оценке следует добавить следующие точки зрения.

• Обнаружение признаков аномалий (редкий предмет) - может помочь в проталкивании этого предмета с сопутствующим предметом
• Баланс важности поддержки и уверенности при подъеме
• Интерпретируемость модели с помощью визуализаций

Пожалуйста, посетите мой блокнот Kaggle, в нем есть все EDA, выполненные с набором данных.