Как отличить двоичные файлы от текстовых?

Программа для работы с электронными таблицами, которую моя компания выпускает, читает ряд двоичных файловых форматов, а также текстовые файлы.

Сначала мы смотрим на первые несколько байтов узнаваемого нами магического числа. Если мы не распознаем магическое число какого-либо из двоичных типов, которые мы читаем, мы смотрим вплоть до первых 2 Кбайт файла, чтобы увидеть, выглядит ли он UTF-8, UTF-16 или текстовый файл, закодированный на текущей кодовой странице хоста, работающего система. Если он не проходит ни один из этих тестов, мы предполагаем, что это не тот файл, с которым мы можем иметь дело, и генерируем соответствующее исключение.

Вы можете использовать команду file. Он выполняет ряд тестов с файлом (man file), чтобы определить, является ли он двоичным или текстовым. Вы можете посмотреть / позаимствовать его исходный код, если вам нужно это сделать из C.

file README
README: ASCII English text, with very long lines

file /bin/bash
/bin/bash: ELF 32-bit LSB executable, Intel 80386, version 1 (SYSV), for GNU/Linux 2.2.5, dynamically linked (uses shared libs), stripped

Вы можете определить MIME-тип файла с помощью

file --mime FILENAME

Сокращение - file -i в Linux и file -I (заглавная i) в macOS (см. Комментарии).

Если он начинается с text/, это текст, в противном случае - двоичный. Единственное исключение - приложения XML. Вы можете сопоставить их, ища +xml в конце типа файла.

Что ж, если вы просто просматриваете весь файл, посмотрите, можно ли распечатать каждый символ с помощью isprint(c). С Unicode все становится немного сложнее.

Чтобы отличить текстовый файл в Юникоде, MSDN предлагает отличный совет относительно что делать.

Суть в том, чтобы сначала проверить до первых четырех байтов:

EF BB BF     UTF-8 
FF FE        UTF-16, little endian 
FE FF        UTF-16, big endian 
FF FE 00 00  UTF-32, little endian 
00 00 FE FF  UTF-32, big-endian 

Это расскажет вам кодировку. Затем вы захотите использовать iswprint(c) для остальных символов в текстовом файле. Для UTF-8 и UTF-16 вам необходимо проанализировать данные вручную, поскольку один символ может быть представлен переменным количеством байтов. Кроме того, если вы действительно анальный, вы захотите использовать вариант локали iswprint, если он доступен на вашей платформе.

Чтобы перечислить имена текстовых файлов в текущем каталоге / подкаталогах:

$ grep -rIl ''

Двоичные файлы:

$ grep -rIL ''

Чтобы проверить конкретный файл, немного измените команду:

$ grep -qI '' FILE

тогда статус выхода «0» будет означать, что файл представляет собой текст; '1' - двоичный. Мог проверить:

$ echo $?

Perl имеет неплохую эвристику. Используйте оператор -B для проверки двоичного кода (и его противоположность -T для проверки текста). Вот оболочка - однострочный список текстовых файлов:

$ find . -type f -print0 | perl -0nE 'say if -f and -s _ and -T _'

(Обратите внимание, что символы подчеркивания без предшествующего доллара верны (RTFM).)

Это старая тема, но, возможно, кому-то это пригодится. Если вам нужно решить в сценарии, является ли что-то файлом, вы можете просто сделать вот так:

if file -i $1 | grep -q text;
then 
.
.
fi

Это получит тип файла, и с помощью "тихой" команды grep вы сможете решить, является ли это текстом.

Вы можете использовать libmagic, который является библиотечной версией командной строки Unix file.

Есть обертки для многих языков:

• Python
• .NET
• Nodejs
• Рубин
• Перейти

Большинство программ, которые пытаются определить разницу, используют эвристику, например, исследуют первые n байтов файла и проверяют, подходят ли эти байты все как «текст» или нет ( т.е. все ли они попадают в диапазон печатаемых символов ASCII). Для лучшего понимания в UNIX-подобных системах всегда есть команда file.

Одна простая проверка - есть ли в нем \0 символов. В текстовых файлах их нет.

Как указывалось ранее, операционные системы * nix имеют эту возможность в команде file. Эта команда использует файл конфигурации, который определяет магические числа, содержащиеся во многих популярных файловых структурах.

Этот файл, называемый magic, исторически хранился в / etc, хотя в некоторых дистрибутивах он может находиться в / usr / share. Волшебный файл определяет смещения значений, которые, как известно, существуют в файле, и затем может исследовать эти местоположения, чтобы определить тип файла.

Структуру и описание волшебного файла можно найти, обратившись к соответствующей странице руководства (man magic)

Что касается реализации, ее можно найти в file.c сам, однако соответствующая часть команды файла, которая определяет, является ли это читаемый текст или нет, следующая

/* Make sure we are dealing with ascii text before looking for tokens */
    for (i = 0; i < nbytes - 1; i++) {
        if (!isascii(buf[i]) ||
            (iscntrl(buf[i]) && !isspace(buf[i]) &&
             buf[i] != '\b' && buf[i] != '\032' && buf[i] != '\033'
            )
           )
            return 0;   /* not all ASCII */
    }