На данный момент я просматриваю большое количество предопределенных сайтов в поисках очень небольшого количества конкретных документов, представляющих интерес. Важно отметить, что я не сканирую эти сайты, чтобы создать свою собственную поисковую систему: она предназначена специально для поиска документов.
У всех основных поисковых систем есть API, за который я не против заплатить, но они, похоже, сосредоточены на использовании своего API для создания собственной поисковой системы.
Например: Yahoo BOSS TOS на http://info.yahoo.com/legal/us/yahoo/boss/tou/ . B.1(a) гласит: «Вам разрешается использовать Услуги только с целью включения и отображения результатов Услуг как части продукта поиска, развернутого в вашем предложении». Поэтому я могу использовать его только для своей собственной поисковой системы.
У Google есть только система пользовательского поиска, что опять же не то, что мне нужно.
API Bing кажется ближе к тому, что мне нужно, но тогда его TOS требует не удалять определенные фрагменты информации и т. Д. Но опять же, мне не требуется использовать его только для реализации моей собственной поисковой системы (из того, что я вижу) .
Я слишком много читаю об этом или существует поисковая система, которая позволяет мне использовать результаты их обхода определенных сайтов вместо моих собственных для моего продукта? Опять же, сами результаты поиска не являются моим продуктом: это то, что я делаю с данными в документах.
Спасибо за любые советы.
