Зачем использовать скрытую марковскую модель по сравнению с марковской моделью в алгоритме Баума-Уэлча

Итак, я пытаюсь построить алгоритм Баума-Уэлча, чтобы маркировать части речи для практики. Однако я запутался в использовании скрытой марковской модели по сравнению с марковской моделью. Так как кажется, что вы теряете контекст, переходя из состояния в состояние. Поскольку вывод последнего состояния не учитывается при переходе к следующему состоянию. Просто для экономии памяти?

edit: добавлен пример для ясности

Например, если два состояния, A и B, выводят 0 или 1, будет 4 перехода состояния и 2 возможности наблюдения для каждого состояния, которые можно превратить в 8 переходов, если вы смешаете каждую пару входящих переходов с вероятностями наблюдения ее состояния. . Но я зависаю, почему бы изначально не обучить машину с четырьмя состояниями {(A,1),(B,1),(A,2),(B,2)} с 16 переходами. Я новичок в nlp, поэтому мне интересно, не знаю ли я о какой-то алгоритмической избыточности, которую трудно увидеть без сложной математики.

Поскольку кажется, что теряется информация о том, какими будут переходы, когда последний A был 1 против 2. Но мне интересно, может ли алгоритмам обучения не понадобиться эта информация.

https://en.wikipedia.org/wiki/Baum%E2%80%93Welch_algorithm

Спасибо за информацию.


nlp algorithm hidden-markov-models markov
person I. Cantrell    schedule 08.05.2017    source источник
comment
Если исходная модель с двумя состояниями является подмножеством модели с четырьмя состояниями, так что для любого набора параметров модели с двумя состояниями существует способ установить параметры модели с четырьмя состояниями, которые заставят ее вести себя точно так же, как две модели. модель с двумя состояниями, то единственная проблема заключается в том, что если реальность ведет себя в соответствии с моделью с двумя состояниями, вам потребуется больше данных, чтобы соответствовать модели с четырьмя состояниями с той же точностью. Вы можете использовать перекрестную проверку или en.wikipedia.org/wiki/Likelihood-ratio_test. чтобы узнать, помогают ли дополнительные параметры модели с четырьмя состояниями.   -  person mcdowella    schedule 09.05.2017

Ответы (1)


arrow_upward
1
arrow_downward

Это нужно не только для экономии памяти, но и для предоставления лучшей модели того, что происходит на самом деле. В случае с текстом вы считаете, что существует базовая грамматика, которая говорит, что это слово используется как существительное, а это слово используется как глагол, но вы не получаете ярлыков, говорящих об этом, и это не так. t всегда очевидно из данных. Например. - Глядя на то, что я только что набрал, лучше - это прилагательное в «лучшей модели», но если я использую переполнение стека, чтобы улучшить себя, я только что использовал лучше как глагол. Итак, является ли «лучше» прилагательным или глаголом, это скрытое состояние, и реалистичная модель отразит это.

Скрытые марковские модели также достаточно гибки, поэтому, если у вас действительно нет никакого скрытого состояния, вы можете создать вырожденную разновидность скрытой марковской модели, которая отражает это. Например, если каждое скрытое состояние может давать только один возможный результат, и никакие два скрытых состояния не могут давать одинаковый результат, то у вас есть скрытая марковская модель, в которой вы всегда можете предсказать так называемое скрытое состояние на основе вывода и наоборот. наоборот Будет очень легко подобрать параметры этого, но, вероятно, он не будет так хорош в моделировании реальности, как правильная скрытая марковская модель.

person mcdowella    schedule 09.05.2017
comment
Извините, не совсем понятно, я добавил пример для ясности. Но я имел в виду, почему бы не объединить скрытые состояния с выходными состояниями, чтобы во время обучения создать четыре разных состояния, чтобы переход от (A,1) к (B,1) и (A,2) к (B,1) не будут одинаковыми, и (A,1) и (A,2) будут отдельными состояниями. Со скрытыми состояниями A и B и наблюдениями 1 и 2. - person I. Cantrell; 09.05.2017
comment
Думаю, я добавил комментарий к вашему измененному вопросу, чтобы как можно лучше ответить на что-то подобное. - person mcdowella; 09.05.2017