Метод изучения математики, необходимый для «Введения в статистическое обучение»

Нулевой шаг

Всегда начинайте со своего результата. Результатом является понимание математики, которая мне нужна для моей работы в качестве специалиста по данным. Data Science требует знаний в нескольких вещах:

1. Панды
2. Scikit-learn
3. Алгоритмическое моделирование
4. Домен

Я писал о том, почему вам нужно сосредоточиться на алгоритмическом моделировании для науки о данных здесь:

Из приведенного выше поста я выбрал то, что мне нужно было изучить, «Введение в статистическое обучение» (ISL):

Шаг первый

Предпосылкой ISL является регрессия. А Регрессия требует знания статистики, что, в свою очередь, требует знания вероятности. Итак, какой метод мне нужно изучать, чтобы я не тратил слишком много времени с меньшей отдачей, какой метод изучения математики я могу использовать с хорошей рентабельностью в контексте получения полезных навыков в качестве специалиста по данным. Я использую это:

и, следовательно, я заменил свои убеждения:

«Регрессия требует знания статистики»

с участием

«Регрессия требует некоторого базового понимания статистики».

«Статистика требует знания вероятности»

с участием

«Статистика требует некоторого базового понимания вероятности»

Базовое понимание вероятности

Поэтому я начал изучать вероятность из Википедии и выучил ее за несколько часов. Существует две основные вероятностные интерпретации: Физическая и Доказательная. Они также известны как частотный и байесовский подходы.

Частотный подход: связан со случайными физическими процессами, такими как подбрасывание монеты. Если подбросить монетку тысячу раз, то сколько раз выпадет орёл? Будет ли закономерность, если повторить этот эксперимент сто раз? Какова частота выпадения орла и решки?

Эксперимент называется детерминированным, если он дает только один результат. Эксперимент, который дает ровно два взаимоисключающих результата, называется испытанием Бернулли.

Вы можете подумать, что бросание игральной кости — это не испытание Бернулли. Ну, это зависит от того, как вы думаете об этом. Да, у нас есть шесть чисел, но что, если мы подумаем об успехах и неудачах? Что, если мы думаем, что шестерка — это «успех», а все остальное — «неудача». В этом случае возможны только два исхода: шестерка или «не шестерка». Это делает его испытанием Бернулли. Разница в отношении меняет интерпретацию Вероятности :-)

Байесовский подход: интерпретация вероятности, при которой вместо частоты какого-либо явления вероятность интерпретируется как разумное ожидание, представляющее некоторое знание или личное убеждение. Байесовское можно рассматривать как утверждение, истинность или ложность которого неизвестна. Поэтому мы присваиваем эксперименту некоторую априорную вероятность, а затем проверяем/проверяем ее с помощью наблюдаемой вероятности по результатам эксперимента, также известной как апостериорная вероятность (это немного сложнее, но давайте не будем вдаваться в подробности). тот).

Аксиомы и субъекты вероятности

Теория вероятностей трактует это понятие строго математически, выражая его через набор аксиом (также известных как аксиомы Колмогорова). Обычно эти аксиомы формализуют вероятность в терминах:

1. пространство вероятностей
2. Вероятностная мера: присвоение значений от 0 до 1.
3. Совокупность всех возможных результатов, называемая пространством выборки или пространством возможностей, обозначаемая S, например. если мы подбрасываем монету, то исходов всего два: орел и решка. Демонстрационное пространство для этого обычно записывается как {H, T}. Любое указанное подмножество демонстрационного пространства называется событием. В нашем случае у нас есть только два события, голова и хвост. если мы подбросим две монеты вместе, то у нас будет четыре возможных исхода и, следовательно, пространство выборки S = {HH, HT, TH, TT}. В этом случае {HH}, {HH, TT} или любое другое подмножество S является событием.

Центральные предметы теории вероятностей:

1. Случайные переменные
2. Случайные процессы
3. Распределения вероятностей

Мы также можем записать вышеприведенное как:

1. Дискретные и непрерывные случайные величины
2. Распределения вероятностей
3. Стохастические процессы (стохастический — это причудливое слово для случайного)

Хотя невозможно точно предсказать случайные события, всегда есть закономерность. Два основных результата теории вероятностей, описывающих такие закономерности, таковы:

1. Закон больших чисел: согласно этому закону, среднее значение результатов, полученных в результате большого количества испытаний, должно быть близко к некоторому значению (также известному как ожидаемое значение или среднее значение) и будет иметь тенденцию приближаться к этому значению. значение по мере выполнения большего количества испытаний
2. Центральная предельная теорема: когда добавляются независимые случайные переменные (переменные, которые не влияют на вероятность друг друга), их сумма стремится к нормальному распределению (гауссова кривая), даже если сами исходные переменные нормально не распределяется.

Посмотрите на картинку выше, это график вероятности того, какое число выпадет при броске игральной кости. На кубике шесть значений, и все они имеют одинаковую вероятность выпадения. Теперь посмотрите на этот график внизу:

n = 5 означает, что у нас есть 5 игральных костей, и мы бросаем их все вместе, а затем складываем полученные числа, а затем наносим сумму на график. Посмотрите, сколько раз мы получаем 17 или 18. Мы получаем колоколообразный график. Вот так выглядит нормальное распределение.

Понимание нотации

Понимание математических формул и обозначений всегда было для меня крепким орешком. Я так и не смог выучить его за 16 лет обучения. Теперь я собираюсь использовать другой подход здесь. Вероятность начинается с множеств, и для понимания множеств вы можете изучить эту очень простую и понятную страницу в Википедии:

и какой смысл изучать математическую концепцию, а затем не знать, как использовать ее с языком программирования. Перейдите к этому прекрасному введению в наборы в Python от Майка Дрисколла:

https://www.blog.pythonlibrary.org/2020/04/28/python-101-learning-about-sets/

Эпилог

На это у меня ушло полтора дня не только на то, чтобы понять, но и на то, чтобы записать и отредактировать этот пост. Если вы думаете, что речь шла не только о математике, а о вероятности, то вы ошибаетесь. То, что я продемонстрировал здесь, — это подход, метод изучения математики для науки о данных, метод, который весьма эффективен. Я выбрал вероятность только потому, что мне нужно было показать вам пример моего подхода, а я только начал его изучать, и вы можете видеть, как я продвигаюсь в этом 90-дневном обучающем соревновании MOOC’athlon. Метод состоит из:

1. Зная свой результат
2. Почему вам нужен этот результат
3. Измените свои убеждения о том, как много вам нужно узнать
4. Выяснение рентабельности инвестиций в вопрос «сколько учиться» в контексте вашей карьеры в целом.
5. Выполнение небольших 1–2-дневных действий, чем 4–6 недель МООК

Отсюда вы можете пойти дальше, чтобы изучить другие темы тем же методом, например, Распределение вероятностей, Центральная предельная теорема, Функция массы вероятности, а затем перейти к статистике. Помните, не будьте жесткими в своем подходе. Если один не работает, то вы пробуете другой. Если мой метод обучения вам не подходит, попробуйте чужой. Если и это не сработает, то идите и меняйте тоже. Просто продолжайте пытаться взломать, и однажды дверь откроется, и вы начнете находить смысл в этой сложности. Суть в том, чтобы никогда не сдаваться и всегда предпринимать крошечные действия, чтобы двигаться вперед.

К вашему сведению, соревнование MOOC’athlon было начато Рассулом-Ишамом Калфаном (кандидатом в докторантуру) (также проверьте MIT Challenge от Скотта Х. Янга). Основываясь на этих двух задачах, я начал этот 90-дневный курс Learning MOOC’athlon: