Как удалить стоп-слова с помощью nltk или python

Вы также можете установить diff, например:

list(set(nltk.regexp_tokenize(sentence, pattern, gaps=True)) - set(nltk.corpus.stopwords.words('english')))

Чтобы исключить все типы стоп-слов, включая стоп-слова nltk, вы можете сделать что-то вроде этого:

from stop_words import get_stop_words
from nltk.corpus import stopwords

stop_words = list(get_stop_words('en'))         #About 900 stopwords
nltk_words = list(stopwords.words('english')) #About 150 stopwords
stop_words.extend(nltk_words)

output = [w for w in word_list if not w in stop_words]

Я полагаю, у вас есть список слов (word_list), из которых вы хотите удалить стоп-слова. Вы можете сделать что-то вроде этого:

filtered_word_list = word_list[:] #make a copy of the word_list
for word in word_list: # iterate over word_list
  if word in stopwords.words('english'): 
    filtered_word_list.remove(word) # remove word from filtered_word_list if it is a stopword

Для этого есть очень простой и легкий пакет Python stop-words.

Сначала установите пакет, используя: pip install stop-words

Затем вы можете удалить свои слова в одной строке, используя понимание списка:

from stop_words import get_stop_words

filtered_words = [word for word in dataset if word not in get_stop_words('english')]

Этот пакет очень легкий для загрузки (в отличие от nltk), работает как для Python 2, так и для Python 3, и в нем есть стоп-слова для многих других языков, таких как:

    Arabic
    Bulgarian
    Catalan
    Czech
    Danish
    Dutch
    English
    Finnish
    French
    German
    Hungarian
    Indonesian
    Italian
    Norwegian
    Polish
    Portuguese
    Romanian
    Russian
    Spanish
    Swedish
    Turkish
    Ukrainian

Используйте библиотеку textcleaner для удаления стоп-слов из ваших данных.

Перейдите по этой ссылке: https://yugantm.github.io/textcleaner/documentation.html#remove_stpwrds

Выполните следующие шаги, чтобы сделать это с этой библиотекой.

pip install textcleaner

После установки:

import textcleaner as tc
data = tc.document(<file_name>) 
#you can also pass list of sentences to the document class constructor.
data.remove_stpwrds() #inplace is set to False by default

Используйте приведенный выше код для удаления стоп-слов.

Вот мой взгляд на это, если вы хотите сразу получить ответ в виде строки (вместо списка отфильтрованных слов):

STOPWORDS = set(stopwords.words('english'))
text =  ' '.join([word for word in text.split() if word not in STOPWORDS]) # delete stopwords from text

вы можете использовать эту функцию, вы должны заметить, что вам нужно опустить все слова

from nltk.corpus import stopwords

def remove_stopwords(word_list):
        processed_word_list = []
        for word in word_list:
            word = word.lower() # in case they arenet all lower cased
            if word not in stopwords.words("english"):
                processed_word_list.append(word)
        return processed_word_list

с помощью фильтра:

from nltk.corpus import stopwords
# ...  
filtered_words = list(filter(lambda word: word not in stopwords.words('english'), word_list))

Хотя вопрос немного устарел, вот новая библиотека, о которой стоит упомянуть, которая может выполнять дополнительные задачи.

В некоторых случаях вы не хотите удалять только стоп-слова. Скорее, вы хотели бы найти стоп-слова в текстовых данных и сохранить их в списке, чтобы вы могли найти шум в данных и сделать их более интерактивными.

Библиотека называется 'textfeatures'. Вы можете использовать его следующим образом:

! pip install textfeatures
import textfeatures as tf
import pandas as pd

Например, предположим, что у вас есть следующий набор строк:

texts = [
    "blue car and blue window",
    "black crow in the window",
    "i see my reflection in the window"]

df = pd.DataFrame(texts) # Convert to a dataframe
df.columns = ['text'] # give a name to the column
df

Теперь вызовите функцию stopwords() и передайте нужные параметры:

tf.stopwords(df,"text","stopwords") # extract stop words
df[["text","stopwords"]].head() # give names to columns

Результат будет:

    text                                 stopwords
0   blue car and blue window             [and]
1   black crow in the window             [in, the]
2   i see my reflection in the window    [i, my, in, the]

Как видите, в последнем столбце есть стоп-слова, включенные в этот документ (запись).

Если ваши данные хранятся как Pandas DataFrame, вы можете использовать remove_stopwords из textero, которые используют список стоп-слов NLTK с помощью по умолчанию.

import pandas as pd
import texthero as hero
df['text_without_stopwords'] = hero.remove_stopwords(df['text'])

Я покажу вам пример. Сначала я извлекаю текстовые данные из фрейма данных (twitter_df) для дальнейшей обработки следующим образом.

     from nltk.tokenize import word_tokenize
     tweetText = twitter_df['text']

Затем для токенизации я использую следующий метод

     from nltk.tokenize import word_tokenize
     tweetText = tweetText.apply(word_tokenize)

Затем, чтобы удалить стоп-слова,

     from nltk.corpus import stopwords
     nltk.download('stopwords')

     stop_words = set(stopwords.words('english'))
     tweetText = tweetText.apply(lambda x:[word for word in x if word not in stop_words])
     tweetText.head()

Я думаю, это поможет вам