Пилюцен и многопроцессорность

Я использую pylucene для создания индекса, который будет использоваться в многопроцессорной программе Python.

Когда я пытаюсь выполнить поиск в индексе, выполнение блокируется, когда я использую методы QueryParser.parse или IndexSearcher.search.

Блокировка происходит не постоянно и происходит с отдельными поисками в первые секунды выполнения.

Что я делаю неправильно? Каков наилучший способ использования многопроцессорности и пилуцена? Спасибо


person Veiga    schedule 25.03.2015    source источник


Ответы (1)


Я нашел проблему.

Программа блокируется, когда я импортирую модуль nltk. Это произошло только при многопроцессном выполнении.

Я предполагаю, что nltk также использует библиотеки java, и они возятся с jcc.

person Veiga    schedule 26.03.2015
comment
Довольно специфическая проблема, которая, вероятно, не повлияет на многие другие, но имеет +1, если вы вернетесь и ответите на вопрос! - person Rejected; 26.03.2015