Я изучаю модели исправления орфографии и пытаюсь найти некоторые показатели оценки. Если вы считаете ложноотрицательные результаты попыткой исправить уже правильное слово, а ложноположительные результаты — отсутствующей ошибкой, то вы можете вычислить точность, полноту и точность. Однако эти метрики ничего не говорят о качестве модели исправления (независимо от того, успешно ли она исправила неверное слово в том, что пользователь хотел ввести) и оценивают только возможности проверки правописания, а не корректирующие возможности.
Каковы некоторые оценки модели исправления орфографии?
Ответы (1)
Во многих языках самое сложное — выбрать правильную замену среди множества кандидатов. Например, должно ли lck быть lack, lick, lock, ick или luck? (Вне контекста, конечно, не скажешь!)
Таким образом, метрика, которую вы ищете, — это количество точных исправлений. Ошибки, которые вы не пытались исправить, и правильные слова, которые вы неправильно заменили, будут заглушены ошибками, которые вы нашли, но не исправили точно, хотя вы все равно можете подсчитывать эти случаи отдельно.
Если ваш алгоритм ранжирования кандидатов на исправление является автономным, вы можете значительно ускорить процесс, оценив его изолированно.
person
tripleee
schedule
29.06.2016
Чтобы я мог измерить процент ошибок, которые были успешно исправлены? Что бы я назвал ложноотрицательным и ложноположительным, чтобы измерить качество исправлений?
- person Jonathan; 30.06.2016
Ложноотрицательные и ложноположительные результаты здесь не имеют особого смысла, ИМХО; они являются измерением классификации, а не измерением коррекции. Быстрое гугление обнаружило Оценка качества обслуживания при исправлении орфографии с использованием расхождения Кульбака-Лейблера (Varol & Bayrak 2011), но я не могу сразу сказать, полезно ли это. (Я заметил пунктуационную ошибку в их аннотации, хи-хи.)
- person tripleee; 01.07.2016
Если вы хотите втиснуть это в модель FP/FN, возможно, расценивайте как ложноотрицательные ошибки, которые система не пыталась исправить, и как ложноположительные любые исправления, которые не дали правильного результата. Таким образом, истинные негативы — это правильно написанные слова, которые не были изменены, а истинные позитивы — это успешные исправления. (Это переворачивает ваше значение положительного и отрицательного, но для меня это имеет больше смысла.)
- person tripleee; 01.07.2016
Думаю, я мог бы поместить его в модель FP/FN, но мне кажется, что это дало бы результаты, которые не очень репрезентативны для корректора. Может быть, сделать общую точность и точность исправления слов с ошибками?
- person Jonathan; 03.07.2016
В долгосрочной перспективе одно число или пара чисел могут оказаться бесполезными, особенно если они не являются стандартной мерой. Разделение на точность обнаружения ошибок и точность генерации кандидатов на исправление может быть правильным решением.
- person tripleee; 03.07.2016
Возможно, я мог бы использовать модель FP/FN для расчета точности, прецизионности и полноты для обнаружения ошибок, а также точности самих исправлений?
- person Jonathan; 04.07.2016
Что-то в этом роде, да.
- person tripleee; 05.07.2016
