Лучший способ хранить большие текстовые файлы с возможностью поиска

Существует множество различных систем поиска документов с открытым исходным кодом, которые созданы именно для того, что вы пытаетесь сделать. Solr, Elastic Search, Xapian, Whoosh, Haystack (сделано для Django) и другие. Есть и другие посты на S.O. и в других местах, которые касаются преимуществ использования одного по сравнению с другим, но ваши требования достаточно просты, чтобы любое из них было более чем хорошим (и легко масштабируется с минимальными усилиями, если ваш проект взлетит, что всегда приятно знать). Так что посмотрите на их примеры и посмотрите, какой из них кажется вам наиболее интуитивным. Solr, пожалуй, самый популярный и единственный, с которым я работал, но Elastic Search использует тот же популярный бэкенд Lucene, и, по-видимому, его гораздо проще настроить и использовать. работает, так что я бы начал там.

Что касается фактической реализации, вы захотите проиндексировать каждый стих как отдельный «документ», если вы хотите вернуть один стих (или просто номер стиха). Поисковая система ранжирует результаты на основе релевантности (обычно с использованием алгоритма tf/idf, если вам это интересно).

Я бы обработал курсив и красный текст, включив в текст какую-то разметку (т. е. заключив фразу в одиночные звездочки для курсива и двойные звездочки для красного), а затем сообщив анализатору, что эти символы следует игнорировать. тем не менее, более простой способ в структуре, которую вы в конечном итоге выберете, так что отнеситесь к этому с недоверием. Запросы, охватывающие требование нескольких стихов, более сложны, но ответ, вероятно, будет включать в себя индексирование каждой целой главы как документа вместо (или, может быть, в дополнение к? Я должен подумать об этом больше) каждого стиха.

Предостережение: если вы не знакомы с поисковым индексированием, даже что-то вроде Elastic Search, разработанное как plug-and-play, вероятно, все равно потребует некоторого времени и усилий для настройки, поэтому, если вам абсолютно нужно чтобы быстро все это запустить и запустить, и вы уже знакомы с MySQL, я полагаю, что это может сработать (он выполняет полнотекстовый поиск). Но это, безусловно, не лучший инструмент для работы, поэтому, если это проект, в который вы инвестировали, вы поблагодарите себя позже, если немного потрудитесь, чтобы изучить одну из этих поисковых платформ. Это может быть излишним с точки зрения количества текста, с которым вы имеете дело, как указывали другие, но он будет чрезвычайно гибким в том, как вы можете искать этот текст, который кажется вам тем, что вы хотите. Например, добавление других требований позже было бы очень простым (например, вы могли бы разрешить людям ограничивать свой поиск только совпадениями в красном тексте).