Предварительная обработка текста и моделирование темы с помощью пакета text2vec

Обновленный ответ на ваш комментарий:

Первый вопрос: Здесь уже был дан ответ на вопрос о замене синонимов: Заменить слов в text2vec эффективно. В частности, проверьте ответ count. Шаблоны и замены могут быть нграммами (словосочетаниями). Обратите внимание, что второй ответ Дмитрий Селиванов использует word_tokenizer() и не охватывает случай замены ngram в представленной форме .

Есть ли причина, по которой вам нужно заменить синонимы перед удалением стоп-слова? Обычно такой порядок не должен вызывать проблем; или у вас есть пример, в котором переключение порядка дает существенно разные результаты? Если вы действительно хотите заменить синонимы после удаления стоп-слова, я думаю, вам придется применить такие изменения к dtm при использовании text2vec. Если вы это сделаете, вам необходимо разрешить ngram в вашем dtm с минимальной длиной ngram, включенной в ваши синонимы. В качестве одного из вариантов я предоставил обходной путь в приведенном ниже коде. Обратите внимание, что разрешение более высоких ngram в вашем dtm создает шум, который может или не может влиять на ваши последующие задачи (вы, вероятно, можете сократить большую часть шума на этапе словарного запаса). Поэтому замена ngrams на более ранние кажется лучшим решением.

Второй вопрос: вы можете проверить пакет (и исходный код) пакета textmineR, который поможет вам выбрать наилучшее количество тем, или также ответ на этот вопрос Топовые модели: перекрестная проверка с логическим правдоподобием или недоумением. Что касается обработки априорных значений, я еще не выяснил, как разные пакеты, например, text2vec (алгоритм WarpLDA), lda (алгоритм свернутой выборки Гиббса и другие) или topicmodels ('стандартный' алгоритм выборки Гиббса и вариационный алгоритм максимизации ожидания) обрабатывают их. значения в деталях. В качестве отправной точки вы можете взглянуть на подробную документацию topicmodels, в главе «2.2. Оценка» рассказывается, как оцениваются параметры альфа и бета, которые определены в «2.1 Спецификация модели».

В целях обучения обратите внимание, что ваш код вызывал ошибки в двух точках, которые я исправил: (1) вам нужно использовать правильное имя для стоп-слов в create_vocabulary(), стоп-слова вместо стоп-слов, так как вы определили имя поэтому (2) вам не нужен vocabulary =... в определении модели lda - может быть, вы используете старую версию text2vec?

library(text2vec) 
library(reshape2)
library(stringi)

#function proposed by @count
mgsub <- function(pattern,replacement,x) {
  if (length(pattern) != length(replacement)){
    stop("Pattern not equal to Replacment")
  } 
  for (v in 1:length(pattern)) {
    x  <- gsub(pattern[v],replacement[v],x, perl = TRUE)
  }
  return(x )
}

docs <- c("the coffee is warm",
          "the coffee is cold",
          "the coffee is hot",
          "the coffee is boiling like lava",
          "the coffee is frozen",
          "the coffee is perfect",
          "the coffee is warm almost hot"
)

synonyms <- data.frame(mainword = c("warm", "cold")
                       ,syn1 = c("hot", "frozen")
                       ,syn2 = c("boiling like lava", "")
                       ,stringsAsFactors = FALSE)

synonyms[synonyms == ""] <- NA

synonyms <- reshape2::melt(synonyms
                           ,id.vars = "mainword"
                           ,value.name = "synonym"
                           ,na.rm = TRUE)

synonyms <- synonyms[, c("mainword", "synonym")]


prep_fun <- tolower
tok_fun <- word_tokenizer
tokens <- docs %>% 
  #here is where you might replace synonyms directly in the docs
  #{ mgsub(synonyms[,"synonym"], synonyms[,"mainword"], . ) } %>%
  prep_fun %>% 
  tok_fun
it <- itoken(tokens, 
             progressbar = FALSE)

v <- create_vocabulary(it,
                       sep_ngram = "_",
                       ngram = c(ngram_min = 1L
                                 #allow for ngrams in dtm
                                 ,ngram_max = max(stri_count_fixed(unlist(synonyms), " "))
                                 )
)

vectorizer <- vocab_vectorizer(v)
dtm <- create_dtm(it, vectorizer)

#ngrams in dtm
colnames(dtm)

#ensure that ngrams in synonym replacement table have the same format as ngrams in dtm
synonyms <- apply(synonyms, 2, function(x) gsub(" ", "_", x))

colnames(dtm) <- mgsub(synonyms[,"synonym"], synonyms[,"mainword"], colnames(dtm))


#only zeros/ones in dtm since none of the docs specified in my example
#contains duplicate terms
dim(dtm)
#7 24
max(dtm)
#1

#workaround to aggregate colnames in dtm
#I think there is no function `colsum` that allows grouping
#therefore, a workaround based on rowsum
#not elegant because you have to transpose two times, 
#convert to matrix and reconvert to sparse matrix
dtm <- 
  Matrix::Matrix(
    t(
      rowsum(t(as.matrix(dtm)), group = colnames(dtm))
    )
    , sparse = T)


#synonyms in columns replaced
dim(dtm)
#7 20
max(dtm)
#2