Путеводитель по Unicode для пустышки

Это хорошее начало: Абсолютный минимум, который каждый разработчик ПО обязательно должен знать о Unicode и наборах символов ( Никаких оправданий!)

Если вам нужно действительно краткое введение: Unicode за 5 минут

Или, если вам нужны однострочники:

• Unicode: сопоставление символов с целыми числами ("кодовыми точками") в диапазоне от 0 до 1 114 111; охватывает почти все используемые письменные языки
• UTF7: кодирование кодовых точек в поток байтов со сброшенным старшим битом; вообще не использовать
• UTF8: кодирование кодовых точек в поток байтов, где каждый символ может занимать один, два, три или четыре байта для представления; должен быть вашим основным выбором кодировки
• UTF16: кодирование кодовых точек в поток слов (16-битные единицы), где каждый символ может занимать одно или два слова (два или четыре байта) для представления
• UTF32: кодирование кодовых точек в виде потока 32-битных единиц, где каждый символ занимает ровно одну единицу (четыре байта); иногда используется для внутреннего представления
• Кодовые страницы: система в DOS и Windows, в которой символы назначаются целым числам и соответствующей кодировке; каждый охватывает только подмножество языков. Обратите внимание, что эти назначения обычно отличаются от назначений Unicode.
• ASCII: очень распространенное назначение символов целым числам и прямое кодирование в байты (все старшие биты очищены); назначение - это подмножество Unicode, а кодировка - подмножество UTF-8.
• ANSI: орган по стандартизации.
• Windows 1252: широко используемая кодовая страница; он похож на ISO-8859-1 или Latin-1, но не то же самое, и их часто путают.

Почему тебе не все равно? Потому что, не зная используемого набора символов и кодировки, вы на самом деле не знаете, какие символы представляет данный поток байтов. Например, байт 0xDE может кодировать

• Þ (ЛАТИНСКАЯ ЗАГЛАВНАЯ БУКВА ТОРН)
• fi (ЛАТИНСКАЯ МАЛАЯ ЛИГАТУРА FI)
• ή (СТРОЧНАЯ ГРЕЧЕСКАЯ БУКВА ЭТА С ТОНОСОМ)
• или 13 других символов, в зависимости от используемой кодировки и набора символов.

Помимо статьи Джоэла, на которую часто ссылаются, у меня есть собственная статья, в которой рассматривается это с .NET-ориентированной точки зрения, просто для разнообразия...

Вот, прочитайте это замечательное объяснение от самого Джоэла.

Абсолютный минимум, который каждый разработчик программного обеспечения обязательно должен знать о Unicode и наборах символов (без оправданий!)< /а>

Да, у меня есть некоторое представление, но оно может быть неправильным, однако это помогло мне понять это.

Давайте просто возьмем текст. Он хранится в оперативной памяти компьютера в виде последовательности байтов, а кодовая страница — это просто таблица сопоставления между байтами и символами, которые мы с вами читаем. Итак, что-то вроде блокнота приходит со своей кодовой страницей и переводит байты на ваш экран, и вы видите кучу мусора, перевернутые вопросительные знаки и т. д. Это не означает, что ваши данные искажены, просто приложение, считывающее байты, не использует правильный кодовая страница. Некоторые приложения лучше других определяют правильную кодовую страницу для использования, и некоторые потоки байтов в памяти содержат спецификацию, которая обозначает метку порядка байтов, и это может объявить правильную кодовую страницу для использования.

UTF7, 8 16 и т. д. — это просто разные кодовые страницы, использующие разные форматы.

Один и тот же файл, хранящийся в виде байтов с использованием разных кодовых страниц, будет иметь другой размер файла, поскольку байты хранятся по-разному.

Они также не очень отличаются от Windows 1252, поскольку это просто еще одна кодовая страница.

Для лучшего умного ответа попробуйте одну из ссылок.

Другие уже указали достаточно хорошие ссылки для начала. Я привожу не настоящее руководство для чайников, а несколько указателей со страницы Консорциума Unicode. Вы найдете еще несколько важных причин использования разных кодировок на страницах Консорциума Unicode.

Часто задаваемые вопросы по Unicode — достаточно хорошее место, чтобы ответить на некоторые (не все) ваши вопросы.

Более краткий ответ о том, почему Unicode существует, представлен в разделе для новичков на веб-сайте Unicode себя:

Что касается технических причин использования UTF-8, UTF-16 или UTF-32, то ответ заключается в Техническое введение в Unicode:

UTF-8 популярен для HTML и подобных протоколов. UTF-8 — это способ преобразования всех символов Unicode в кодировку байтов переменной длины. Его преимущества заключаются в том, что символы Unicode, соответствующие знакомому набору ASCII, имеют те же значения байтов, что и ASCII, и что символы Unicode, преобразованные в UTF-8, могут использоваться с большей частью существующего программного обеспечения без обширной перезаписи программного обеспечения.

UTF-16 популярен во многих средах, где необходимо сбалансировать эффективный доступ к символам с экономичным использованием памяти. Он достаточно компактен, и все часто используемые символы помещаются в одну 16-битную кодовую единицу, в то время как все остальные символы доступны через пары 16-битных кодовых единиц.

UTF-32 популярен там, где объем памяти не важен, но желателен доступ к символам с фиксированной шириной и единым кодом. Каждый символ Unicode кодируется в одной 32-битной кодовой единице при использовании UTF-32.

Все три формы кодирования требуют максимум 4 байта (или 32 бита) данных для каждого символа.

Общее эмпирическое правило состоит в том, чтобы использовать UTF-8, когда преобладающие языки, поддерживаемые вашим приложением, говорят к западу от реки Инд, UTF-16 для противоположного (восточнее Инда) и UTF-32, когда вы беспокоитесь об использовании символов с равномерным хранением.

Кстати, UTF-7 не является стандартом Unicode и был разработан в первую очередь для использования в почтовых приложениях.