Оптимизация gensim (компилятор C и BLAS) в Window 7

Я хочу оптимизировать gensim для запуска doc2vec в Window7

[1] Компилятор C

Я установил gensim, следуя этой инструкции: https://radimrehurek.com/gensim/install.html

pip install --upgrade gensim

Однако на этой странице (https://radimrehurek.com/gensim/models/doc2vec.html), это говорит о том, что компилятор C необходим перед установкой gensim.

Перед установкой gensim убедитесь, что у вас есть компилятор C, чтобы использовать оптимизированное (скомпилированное) обучение doc2vec (ускорение в 70 раз [блог]).

  1. Должен ли я что-то сделать перед использованием pip?

[2] BLAS

В руководстве https://github.com/RaRe-Technologies/gensim/blob/develop/docs/notebooks/doc2vec-lee.ipynb говорится, что

Время тренироваться

Если используется библиотека BLAS, это не должно занять более 3 секунд. Если библиотека BLAS не используется, это должно занять не более 2 минут, поэтому используйте BLAS, если вы цените свое время.

Кажется, мне нужно установить BLAS для оптимизации, но я понятия не имею, что такое BLAS, и есть небольшие и сложные руководства по установке BLAS для окна.

  1. Какую библиотеку BLAS мне следует установить для запуска gensim в Window?
  2. Если я установлю библиотеку BLAS, будет ли она автоматически связана с кодом Python при запуске gensim doc2vec? или я должен что-то сделать, чтобы связать это с кодом doc2vec?

python-2.7 gensim word2vec doc2vec blas
person Kjyong    schedule 31.10.2017    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Оптимизированный код gensim нуждается не только в BLAS, но и в собственных скомпилированных библиотеках, основанных на коде Cython.

По возможности такую ​​работу следует выполнять в UNIX-подобных системах (Linux / MacOS), потому что именно там большинство библиотек с открытым исходным кодом разрабатывается, тестируется и используется больше всего. Таким образом, вы будете ближе к системным конфигурациям основных разработчиков и более широкому сообществу пользователей - это означает, что инструкции по установке по умолчанию с большей вероятностью будут «просто работать», и любые проблемы, с которыми вы столкнетесь, с большей вероятностью будут иметь существующие ответы в доступных местах.

Но если вы застряли в ловушке, используя Windows, «conda» дистрибутив Python обычно хорошо справляется с установкой оптимизированных версий ключевых библиотек в Windows, поэтому он может быть хорошим выбором. Мне особенно нравится начинать с варианта 'miniconda', так что только те пакеты, которые мне явно нужны, установлен в среде.

инструкции по установке Miniconda и руководство по началу работы вполне хороши. Как правило, находясь в conda среде, вы можете conda install PACKAGENAME для основных базовых пакетов, таких как numpy или scipy, и по-прежнему выбирать pip install PACKAGENAME для всего, что не находится в репозиториях conda или не является актуальным в репозиториях conda. (Иногда имеет смысл получить gensim из pip, даже если в противном случае используется среда на основе conda.)

person gojomo    schedule 01.11.2017