Вступление

О чем эта статья?

В этой статье я поделюсь эклектичной коллекцией вопросов для собеседований, которые помогут вам в подготовке к собеседованию по машинному обучению. Это полезно для тех, кто заинтересован в одной или нескольких из следующих должностей в группе машинного обучения ведущей компании (Google, Facebook, IBM, Amazon, Microsoft и т. Д.):

  1. Инженер-исследователь
  2. Инженер-программист
  3. Постдокторант-исследователь
  4. Научный сотрудник
  5. Специалист по данным

Со временем я буду добавлять новые вопросы в этот список. Первоначально этот проект начинался как репозиторий GitHub, который можно найти здесь. Я постоянно пополняю репозиторий новыми вопросами.

Зачем это нужно?

Это будет полезно тем, кто:

  • Заинтересованы в подготовке к собеседованию по машинному обучению
  • Однако подготовка к собеседованию по машинному обучению теряется среди множества ресурсов и хочет расставить приоритеты, чему учиться.
  • Хотите отточить свои навыки, задав несколько возможных вопросов на собеседовании.

Чему я должен научиться?

Ожидается, что кто-то, подающий заявку на любую из указанных выше должностей, будет знать основы следующих общих тем:

  • Информатика
  • Линейная алгебра
  • Статистика и вероятность
  • Машинное обучение

Все это довольно широкие темы, и в разделах, посвященных им в этой статье, перечислены конкретные вопросы, связанные с некоторыми из этих тем. Обратите внимание, что от вас можно ожидать более глубоких знаний по одной или нескольким из вышеперечисленных тем в зависимости от конкретной должности, на которую вы проходите собеседование. Это поднимает наш следующий вопрос.

Что от меня ждут на собеседовании?

Инженер-исследователь или инженер-программист: если вы подаете заявку на любую из этих должностей в группе машинного обучения, вы должны знать основы четырех вышеуказанных тем с упором на информатику и машинное обучение. Кроме того, некоторые проекты по машинному обучению в GitHub будут полезны для демонстрации как ваших знаний, так и навыков программирования.

Постдокторант и научный сотрудник: помимо основ, вы должны очень хорошо знать хотя бы одну область машинного обучения. Вы должны были опубликовать несколько статей в этой области. Это продемонстрирует ваш авторитет в данной теме. Поскольку вы подаете заявку на эту должность, вы уже знаете, что это будет в вашем случае.

Специалист по данным: если вас интересует должность специалиста по данным, то после изучения основ, пожалуйста, уделите больше внимания статистике и вероятности.

Список вопросов

Теперь, когда у вас есть общее представление о собеседовании по машинному обучению, давайте не будем тратить время на то, чтобы поделиться списком вопросов, организованных по темам (в произвольном порядке).

Линейная алгебра

  1. Что такое вещание в связи с линейной алгеброй?
  2. Что такое скаляры, векторы, матрицы и тензоры?
  3. Что такое произведение Адамара двух матриц?
  4. Что такое обратная матрица?
  5. Если существует обратная матрица, как ее вычислить?
  6. Что такое определитель квадратной матрицы? Как рассчитывается? Какая связь определителя с собственными значениями?
  7. Обсудите диапазон и линейную зависимость.
  8. Что такое Ax = b? Когда Ax = b имеет уникальное решение?
  9. В Ax = b, что происходит, когда A толстый или высокий?
  10. Когда существует инверсия A?
  11. Что есть норма? Что такое бесконечная норма L1, L2 и L?
  12. Каким условиям должна удовлетворять норма?
  13. Почему квадрат нормы L2 предпочтительнее в ML, чем просто норма L2?
  14. Когда норма L1 предпочтительнее нормы L2?
  15. Можно ли определить количество ненулевых элементов в векторе как норму L0? Если нет, то почему?
  16. Что такое норма Фробениуса?
  17. Что такое диагональная матрица?
  18. Почему умножение на диагональную матрицу является дешевым в вычислительном отношении? Чем отличается умножение для квадратной и неквадратной диагональной матрицы?
  19. При каких условиях существует обратная диагональной матрице?
  20. Что такое симметричная матрица?
  21. Что такое единичный вектор?
  22. Когда два вектора x и y ортогональны?
  23. При R ^ n каково максимально возможное количество ортогональных векторов с ненулевой нормой?
  24. Когда два вектора x и y ортонормированы?
  25. Что такое ортогональная матрица? Почему предпочтительнее с вычислительной точки зрения?
  26. Что такое собственное разложение, собственные векторы и собственные значения?
  27. Как найти собственные значения матрицы?
  28. Напишите формулу собственного разложения матрицы. Если матрица действительно симметрична, как это изменится?
  29. Гарантируется ли уникальность собственного разложения? Если нет, то как это представить?
  30. Что такое положительно определенные, отрицательно определенные, положительно полуопределенные и отрицательные полуопределенные матрицы?
  31. Что такое декомпозиция по сингулярным значениям? Почему мы это используем? Почему бы просто не использовать ЭД?
  32. Учитывая матрицу A, как вы рассчитаете ее разложение по сингулярным значениям?
  33. Что такое особые значения, левые и правые особые числа?
  34. Какая связь разложения по сингулярным числам A с функциями от A?
  35. Почему сингулярные числа всегда неотрицательны?
  36. Что такое псевдообратное уравнение Мура-Пенроуза и как его вычислить?
  37. Если мы сделаем псевдообратное преобразование Мура-Пенроуза на Ax = b, какое решение предоставим, если A является жиром? Более того, какое решение предоставляется, если A высокий?
  38. Какие матрицы можно разложить с помощью ЭД?
  39. Какие матрицы можно разложить с помощью СВД?
  40. Что такое след матрицы?
  41. Как записать норму Фробениуса матрицы A в терминах следа?
  42. Почему след умножения матриц инвариантен к циклическим перестановкам?
  43. Что такое след скаляра?
  44. Записать норму Фробениуса матрицы в терминах следа?

Численная оптимизация

  1. Что такое переполнение и переполнение?
  2. Как решить проблему потери значимости или переполнения для функции softmax или функции log softmax?
  3. Что такое плохая физическая подготовка?
  4. Что такое номер условия?
  5. Что такое grad, div и curl?
  6. Что такое критические или стационарные точки в многомерном пространстве?
  7. Зачем делать градиентный спуск, если вы хотите минимизировать функцию?
  8. Что такое линейный поиск?
  9. Что такое восхождение на холм?
  10. Что такое матрица Якоби?
  11. Что такое кривизна?
  12. Что такое матрица Гессе?

Основы теории вероятностей и информации

  1. Сравните «вероятностную вероятность» с «байесовской вероятностью»?
  2. Что такое случайная величина?
  3. Что такое вероятностное распределение?
  4. Что такое функция массы вероятности?
  5. Что такое функция плотности вероятности?
  6. Что такое совместное распределение вероятностей?
  7. Каковы условия того, чтобы функция была функцией массы вероятности?
  8. Каковы условия того, чтобы функция была функцией плотности вероятности?
  9. Что такое предельная вероятность? Учитывая совместную функцию вероятности, как вы ее рассчитаете?
  10. Что такое условная вероятность? Учитывая совместную функцию вероятности, как вы ее рассчитаете?
  11. Сформулируйте цепное правило условных вероятностей.
  12. Каковы условия независимости и условной независимости двух случайных величин?
  13. Что такое ожидание, дисперсия и ковариация?
  14. Сравните ковариацию и независимость.
  15. Какова ковариация вектора случайных величин?
  16. Что такое распределение Бернулли? Вычислить математическое ожидание и дисперсию случайной величины, которая соответствует распределению Бернулли?
  17. Что такое мультинуллиевое распределение?
  18. Что такое нормальное распределение?
  19. Почему нормальное распределение является выбором по умолчанию для априорного над набором действительных чисел?
  20. Что такое центральная предельная теорема?
  21. Что такое экспоненциальное распределение и распределение Лапласа?
  22. Что такое распределение Дирака и эмпирическое распределение?
  23. Что такое смесь дистрибутивов?
  24. Назовите два распространенных примера смешения дистрибутивов? (Эмпирическая и гауссовская смесь)
  25. Является ли модель гауссовой смеси универсальным аппроксиматором плотностей?
  26. Напишите формулы для функции логистики и softplus.
  27. Напишите формулы правила Байеса.
  28. Что вы подразумеваете под нулевой мерой и почти везде?
  29. Если две случайные величины связаны детерминированным образом, как связаны PDF-файлы?
  30. Определите самоинформацию. Какие у него единицы?
  31. Что такое энтропия Шеннона и дифференциальная энтропия?
  32. Что такое дивергенция Кульбака-Лейблера (КЛ)?
  33. Можно ли использовать расхождение KL в качестве меры расстояния?
  34. Определите кросс-энтропию.
  35. Что такое структурированные вероятностные модели или графические модели?
  36. Что такое направленные и неориентированные модели в контексте структурированных вероятностных моделей? Как они представлены? Что такое клики в неориентированных структурированных вероятностных моделях?

Доверительный интервал

  1. Что такое среднее значение генеральной совокупности и среднее значение выборки?
  2. Что такое стандартное отклонение генеральной совокупности и стандартное отклонение выборки?
  3. Почему население с.д. имеет N степеней свободы, в то время как образец s.d. имеет N-1 степеней свободы? Другими словами, почему 1 / N внутри root для pop. s.d. и 1 / (N-1) внутри корня для образца s.d.?
  4. По какой формуле рассчитывается s.d. выборочного среднего?
  5. Что такое доверительный интервал?
  6. Что такое стандартная ошибка?

Теория обучения

  1. Опишите предвзятость и расхождение с примерами.
  2. Что такое минимизация эмпирического риска?
  3. Что такое Unionbound и неравенство Хёффдинга?
  4. Напишите формулы для ошибки обучения и ошибки обобщения. Укажите на различия.
  5. Сформулируйте теорему о равномерной сходимости и выведите ее.
  6. Какова оценка выборочной сложности теоремы о равномерной сходимости?
  7. Какова оценка погрешности теоремы о равномерной сходимости?
  8. Что такое теорема о компромиссе смещения и дисперсии?
  9. Можете ли вы получить оценку размера обучающей выборки на основе компромисса смещения и дисперсии?
  10. Что такое размер VC?
  11. От чего зависит размер обучающей выборки для конечного и бесконечного набора гипотез? Сравнивать и противопоставлять.
  12. Каков размер VC для n-мерного линейного классификатора?
  13. Каким образом размер VC SVM ограничен, хотя он проецируется в бесконечное измерение?
  14. Учитывая, что минимизация эмпирического риска является NP-сложной проблемой, как работает логистическая регрессия и потери SVM?

Выбор модели и функций

  1. Зачем нужны методы выбора модели?
  2. Как найти компромисс между смещением и дисперсией?
  3. Какие различные атрибуты можно выбрать методами выбора модели?
  4. Почему требуется перекрестная проверка?
  5. Опишите различные методы перекрестной проверки.
  6. Что такое перекрестная проверка удержания? В чем его достоинства и недостатки?
  7. Что такое k-кратная перекрестная проверка? В чем его достоинства и недостатки?
  8. Что такое перекрестная проверка с исключением по одному? В чем его достоинства и недостатки?
  9. Почему требуется выбор функции?
  10. Опишите некоторые методы выбора функций.
  11. Что такое метод прямого выбора функции? В чем его достоинства и недостатки?
  12. Что такое метод обратного выбора функции? В чем его достоинства и недостатки?
  13. Что такое метод выбора функции фильтра и опишите два из них?
  14. Что такое взаимная информация и расхождение KL?
  15. Опишите дивергенцию KL интуитивно.

Проклятие размерности

  1. Опишите проклятие размерности на примерах.
  2. Что такое локальное постоянство или плавность априори или регуляризации?

Универсальное приближение нейронных сетей

  1. Сформулируйте универсальную аппроксимационную теорему? Какой метод используется, чтобы доказать это?
  2. Что такое функция, измеримая по Борелю?
  3. Учитывая универсальную аппроксимационную теорему, почему многослойный персептрон (MLP) не может по-прежнему достигать сколь угодно малой положительной ошибки?

Мотивация к глубокому обучению

  1. В чем математическая мотивация глубокого обучения по сравнению со стандартными методами машинного обучения?
  2. В стандартном машинном обучении и глубоком обучении, как порядок количества выборок связан с порядком регионов, которые могут быть распознаны в функциональном пространстве?
  3. Каковы причины выбора глубокой модели вместо мелкой?
  4. Как Deep Learning борется с проклятием размерности?

Машина опорных векторов

  1. Как можно получить функцию оптимизации SVM из функции оптимизации логистической регрессии?
  2. Что такое классификатор большой маржи?
  3. Почему SVM является примером классификатора большой маржи?
  4. SVM является крупным классификатором маржи, влияют ли на него выбросы?
  5. Какова роль C в SVM?
  6. Каков угол между границей решения и тета в SVM?
  7. Какова математическая интуиция классификатора большой маржи?
  8. Что такое ядро ​​в SVM? Почему мы используем ядра в SVM?
  9. Что такое функция подобия в SVM? Почему он так назван?
  10. Как ориентиры изначально выбираются в SVM? Сколько и где?
  11. Можем ли мы применить трюк с ядром к логистической регрессии? Почему тогда это не используется на практике?
  12. В чем разница между логистической регрессией и SVM без ядра?
  13. Как параметр SVM C влияет на компромисс смещения / дисперсии?
  14. Как параметр ядра SVM sigma² влияет на компромисс смещения / дисперсии?
  15. Можно ли использовать какую-либо функцию подобия для SVM?
  16. Логистическая регрессия против SVM: когда использовать какой?

Байесовское машинное обучение

  1. В чем разница между «байесовским» и «частотным» подходом к машинному обучению?
  2. Сравните и сопоставьте максимальное правдоподобие и максимальную апостериорную оценку.
  3. Как байесовские методы делают автоматический выбор признаков?
  4. Что вы имеете в виду под байесовской регуляризацией?
  5. Когда вы будете использовать байесовские методы вместо частотных методов?

Регуляризация

  1. Что такое регуляризация L1?
  2. Что такое регуляризация L2?
  3. Сравните регуляризацию L1 и L2.
  4. Почему регуляризация L1 приводит к разреженным моделям?
  5. Что такое отсев?
  6. Как вы реализуете отсев во время прямого и обратного прохода?

Оценка систем машинного обучения

  1. Что такое точность, чувствительность, специфичность, ROC?
  2. Что такое точность и отзыв?
  3. Опишите t-тест в контексте машинного обучения.

Кластеризация

  1. Опишите алгоритм k-средних.
  2. Что такое функция искажения? Выпуклый он или невыпуклый?
  3. Подскажите про сходимость функции искажения.
  4. Тема: EM алгоритм
  5. Что такое модель гауссовой смеси?
  6. Опишите алгоритм EM интуитивно.
  7. Каковы два шага алгоритма EM
  8. Сравните модель гауссовой смеси и гауссовский дискриминантный анализ.

Уменьшение размерности

  1. Зачем нужны техники уменьшения размерности?
  2. Что нам нужно PCA и для чего он нужен?
  3. В чем разница между логистической регрессией и PCA?
  4. Какие два этапа предварительной обработки необходимо выполнить перед выполнением PCA?

Основы обработки естественного языка

  1. Что такое WORD2VEC?
  2. Что такое t-SNE? Почему мы используем PCA вместо t-SNE?
  3. Что такое сэмплированный softmax?
  4. Почему сложно обучить RNN с помощью SGD?
  5. Как вы решаете проблему взрывных градиентов?
  6. В чем проблема исчезающих градиентов?
  7. Как решить проблему исчезающих градиентов?
  8. Объясните ячейку памяти LSTM.
  9. Какой тип регуляризации используется в LSTM?
  10. Что такое поиск луча?
  11. Как автоматически подписать изображение?

Некоторые основные вопросы

  1. Можете ли вы сформулировать определение обучения, данное Томом Митчеллом, и обсудить Т, П и Э?
  2. С какими типами задач можно встретиться в машинном обучении?
  3. Что такое контролируемое, неконтролируемое, частично контролируемое, самостоятельное, многоэкземплярное обучение и обучение с подкреплением?
  4. Примерно как можно преобразовать обучение с учителем в обучение без учителя и наоборот?
  5. Рассмотрим линейную регрессию. Что такое T, P и E?
  6. Выведите нормальное уравнение для линейной регрессии.
  7. Что вы подразумеваете под аффинным преобразованием? Обсудите аффинное и линейное преобразование.
  8. Обсудите ошибку обучения, ошибку теста, ошибку обобщения, переоснащение и недообучение.
  9. Сравните репрезентативную и эффективную вместимость модели.
  10. Обсудите размер VC.
  11. Что такое непараметрические модели? Что такое непараметрическое обучение?
  12. Какая идеальная модель? Что такое байесовская ошибка? Каковы источники байесовской ошибки?
  13. Что такое теорема об отсутствии бесплатного обеда в связи с машинным обучением?
  14. Что такое регуляризация? Интуитивно, что делает регуляризация во время процедуры оптимизации?
  15. Что такое снижение веса? Что это добавлено?
  16. Что такое гиперпараметр? Как выбрать, какие настройки будут гиперпараметрами, а какие будут изучены?
  17. Зачем нужен набор для проверки?
  18. Какие существуют типы перекрестной проверки? Когда вы используете какой?
  19. Что такое оценка в баллах и оценка функций в контексте машинного обучения? Какая между ними связь?
  20. Какова максимальная вероятность вектора параметров $ theta $? Откуда бревно?
  21. Докажите, что для линейной регрессии MSE может быть получена из максимального правдоподобия при правильных предположениях.
  22. Почему оценка максимального правдоподобия является предпочтительной в машинном обучении?
  23. При каких условиях оценка максимального правдоподобия гарантирует согласованность?
  24. Что такое кросс-энтропия потерь?
  25. В чем разница между функцией потерь, функцией стоимости и целевой функцией?

Оптимизационные процедуры

  1. В чем разница между проблемой оптимизации и проблемой машинного обучения?
  2. Как проблему обучения можно превратить в проблему оптимизации?
  3. Что такое минимизация эмпирического риска? Почему термин эмпирический? Почему мы редко используем его в контексте глубокого обучения?
  4. Назовите несколько типичных функций потерь, используемых для регрессии. Сравнивать и противопоставлять.
  5. Что такое функция потерь 0–1? Почему нельзя использовать функцию потерь 0–1 или ошибку классификации в качестве функции потерь для оптимизации глубокой нейронной сети?

Последовательное моделирование

  1. Напишите уравнение, описывающее динамическую систему. Вы можете его развернуть? Теперь, можете ли вы использовать это для описания RNN?
  2. От чего зависит размер развернутого графа?
  3. В чем преимущества развернутого графа?
  4. Что представляет собой вывод скрытого слоя RNN в любой произвольный момент t?
  5. Является ли вывод скрытых слоев RNN без потерь? Если нет, то почему?
  6. RNN используются для различных задач. Какие задачи сложнее других с точки зрения RNN?
  7. Обсудите несколько примеров важных шаблонов проектирования классических RNN.
  8. Напишите уравнения для классической RNN, в которой скрытый слой имеет повторение. Как бы вы в этом случае определили убыток? С какими проблемами вы можете столкнуться во время тренировки?
  9. Что такое обратное распространение во времени?
  10. Рассмотрим RNN, у которого есть только выход для повторения скрытого слоя. Каковы его преимущества или недостатки по сравнению с RNN, у которого есть только скрытые до скрытого повторения?
  11. Что заставляет Учитель? Сравните и сравните с BPTT.
  12. В чем недостаток строгой техники форсирования учителем? Как это решить?
  13. Объясните феномен исчезающего / увеличивающегося градиента для рекуррентных нейронных сетей.
  14. Почему мы не видим феномена исчезающего / увеличивающегося градиента в сетях с прямой связью?
  15. В чем ключевое отличие архитектуры LSTM / GRU от традиционных RNN?
  16. В чем разница между LSTM и GRU?
  17. Объясните отсечение градиента.
  18. Adam и RMSProp регулируют размер градиентов на основе ранее замеченных градиентов. Выполняют ли они обрезку градиента по своей сути? Если нет, то почему?
  19. Обсудите RNN в контексте байесовского машинного обучения.
  20. Можем ли мы выполнить пакетную нормализацию в RNN? Если нет, то какая альтернатива?

Автоэнкодеры

  1. Что такое автоэнкодер? Что это «автоматическое кодирование»?
  2. Для чего традиционно использовались автоэнкодеры? Почему произошло возрождение автоэнкодеров для генеративного моделирования?
  3. Что такое рециркуляция?
  4. Какие функции потерь используются в автоэнкодерах?
  5. Что такое линейный автоэнкодер? Может ли это быть оптимальным (самая низкая ошибка восстановления обучения)? Если да, то на каких условиях?
  6. В чем разница между автоэнкодерами и PCA?
  7. Как влияет размер скрытого слоя в автоэнкодерах?
  8. Что такое неполный автоэнкодер? Почему это обычно используется?
  9. Что такое линейный автоэнкодер? Обсудите его эквивалентность с PCA. Какой лучше в реконструкции?
  10. С какими проблемами может столкнуться нелинейный неполный автоэнкодер?
  11. Что такое автокодеры с избыточным кодом? С какими проблемами они могут столкнуться? Изменится ли сценарий для линейных автокодировщиков с избыточным кодом?
  12. Обсудите важность регуляризации в контексте автоэнкодеров.
  13. Почему генеративные автоэнкодеры не требуют регуляризации?
  14. Что такое редкие автоэнкодеры?
  15. Что такое автоэнкодер с шумоподавлением? В чем его преимущества? Как это решает проблему с переизбытком?
  16. Что такое подбор очков? Обсудите его связь с DAE.
  17. Есть ли связь между автоэнкодерами и RBM?
  18. Что такое многообразное обучение? Как шумоподавляющие и сужающие автокодеры оснащены для разнообразного обучения?
  19. Что такое сжимающий автокодировщик? Обсудите его преимущества. Как это решает проблему с переизбытком?
  20. Почему так назван сужающийся автоэнкодер?
  21. Каковы практические проблемы с CAE? Как с ними бороться?
  22. Что такое составной автоэнкодер? Что такое глубокий автоэнкодер? Сравнивать и противопоставлять.
  23. Сравните качество восстановления глубокого автоэнкодера и PCA.
  24. Что такое прогнозирующая разреженная декомпозиция?
  25. Обсудите некоторые применения автоэнкодеров.

Репрезентативное обучение

  1. Что такое репрезентативное обучение? Почему это полезно?
  2. Какая связь между репрезентативным обучением и глубоким обучением?
  3. Что такое однократное и нулевое обучение (NMT от Google)? Приведите примеры.
  4. Какие компромиссы необходимо учитывать при обучении репрезентации?
  5. Что такое жадный послойный неконтролируемый предварительный тренинг (GLUP)? Почему жадный? Почему послойно? Почему без присмотра? Почему предварительная подготовка?
  6. Каковы были цели вышеупомянутой техники? (проблема глубокого обучения и инициализация)
  7. Почему работает предварительная подготовка без учителя?
  8. Когда работает обучение без присмотра? При каких обстоятельствах?
  9. Почему неконтролируемое предварительное обучение может действовать как регуляризатор?
  10. В чем недостатки предварительного обучения без учителя по сравнению с другими формами обучения без учителя?
  11. Как вы контролируете регуляризирующий эффект предварительной тренировки без учителя?
  12. Как выбрать гиперпараметры каждого этапа GLUP?

Методы Монте-Карло

  1. Что такое детерминированные алгоритмы?
  2. Что такое алгоритмы Лас-Вегаса?
  3. Что такое детерминированные приближенные алгоритмы?
  4. Что такое алгоритмы Монте-Карло?

Я буду продолжать добавлять вопросы как в этот список, так и в мой репозиторий GitHub. Более того, я планирую добавить ответы и на эти вопросы.

Заявление об ограничении ответственности: мнения, выраженные в этом сообщении, являются моими личными, индивидуальными и уникальными взглядами, а не точкой зрения моего работодателя.