Итак, у нас есть шпаргалка по XSS для проверки нашей фильтрации XSS, но кроме пример доброкачественной страницы Я не могу найти никакого зла или искаженные тестовые данные, чтобы убедиться, что мой код UTF-8 может обрабатывать некорректные данные.
Где я могу найти хорошие ... плохие данные для тестирования? Или что такое хитрая последовательность символов?
Ознакомьтесь с стресс-тестом декодера UTF-8 Маркуса Куна.
См. Также Как файлу с китайскими иероглифами известно, сколько байтов использовать на символ? - несомненно, есть и другие вопросы SO это тоже поможет.
В UTF-8 вы получаете следующие типы байтов:
Binary Hex Comments
0xxxxxxx 0x00..0x7F Only byte of a 1-byte character encoding
10xxxxxx 0x80..0xBF Continuation bytes (1-3 continuation bytes)
110xxxxx 0xC0..0xDF First byte of a 2-byte character encoding
1110xxxx 0xE0..0xEF First byte of a 3-byte character encoding
11110xxx 0xF0..0xF4 First byte of a 4-byte character encoding
(Последняя строка выглядит так, как будто она должна читать 0xF0..0xF7; однако 21-битный диапазон Unicode (U + 0000 - U + 10FFFF) означает, что максимальное допустимое значение - 0xF4; значения 0xF5..0xF7 не могут встречаться в действительный UTF-8.)
Проверка того, является ли определенная последовательность байтов допустимой для UTF-8, означает, что вам нужно подумать о:
В допустимом UTF-8 байты 0xF5..0xFF не могут встречаться.
Есть несколько возможных представлений для некоторых персонажей. Например, символ Юникода U + 0000 (ASCII NUL) может быть представлен следующим образом:
0x00
0xC0 0x80
0xE0 0x80 0x80
0xF0 0x80 0x80 0x80
Однако в стандарте Unicode четко указано, что последние три альтернативы неприемлемы, поскольку они не являются минимальными. Так получилось, что байты 0xC0 и 0xC1 никогда не могут появиться в допустимом UTF-8, потому что единственные символы, которые могут быть закодированы ими, минимально закодированы как однобайтовые символы в диапазоне 0x00..0x7F.
В базовой многоязычной плоскости (BMP) значения Unicode U + D800 - U + DFFF зарезервированы для суррогатов UTF-16 и не могут отображаться в кодировке действительного UTF-8. Если бы они были действительны в UTF-8 (что, я подчеркиваю, нет), то суррогаты были бы закодированы:
Итак, ваши данные BAD должны содержать образцы, нарушающие эти различные предписания.
Обратите внимание, что метка порядка байтов (BOM) U + FEFF, также известная как неразрывный пробел нулевой ширины (ZWNBSP), не может отображаться незакодированной в UTF-8 - байты 0xFF и 0xFE не разрешены в допустимом UTF-8. Закодированный ZWNBSP может отображаться в файле UTF-8 как 0xEF 0xBB 0xBF, но спецификация полностью излишняя в UTF-8.
В Юникоде также есть несимволы. U + FFFE и U + FFFF - два таких несимвола (и последние две кодовые точки в каждой плоскости, U + 1FFFE, U + 1FFFF, U + 2FFFE, U + 2FFFF, ... U + 10FFFE, U + 10FFFF - другие ). Обычно они не должны появляться в данных Unicode для обмена данными, но могут появляться при частном использовании. См. Ссылку на часто задаваемые вопросы по Unicode для получения множества грязных подробностей, включая довольно сложную историю несимволов в Unicode. (Исправление № 9: Разъяснение о несимволах, выпущенное в январе 2013 г., делает то, что его название предполагает, что поясняет значение не-символов.)
Вы можете использовать этот удобный онлайн-инструмент от Джеффри Бергамини, чтобы преобразовать любой текст в действительно странный UTF8 строка гомоглифов.
Типичный
Lorem ipsum dolor sit amet, conctetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua.
стать таким:
Ḽơᶉëᶆ ȋṕšᶙṁ ḍỡḽǭᵳ ʂǐť ӓṁệẗ, ĉṓɲṩḙċťᶒțûɾ ấɖḯƥĭṩčįɳġ ḝłįʈ, șếᶑ ᶁⱺ ẽḭŭŝḿꝋď ṫĕᶆᶈṓɍ ỉñḉīḑȋᵭṵńť ṷŧ ḹẩḇőꝛế éȶ đꝍꞎôꝛȇ ᵯáꞡᶇā ąⱡîɋṹẵ.
Статья Википедии о UTF-8 содержит хорошее резюме того, какие последовательности байтов допустимы / недействителен. Еще одна статья, которую стоит прочитать - W3C I18N FAQ: Multilingual Forms .
С верхней части моей головы:
0xff и 0xfe
Одиночные байты старшего разряда
Многобайтовое представление младших байтовых символов - хороший способ перебросить нули после ранних проверок
Метки порядка байтов - вы собираетесь их игнорировать?
