Следуя многочисленным руководствам по созданию biGram с использованием пакетов 'tm' и 'RWeka', я был разочарован тем, что в tdm возвращались только 1-Gram. . Путем долгих проб и ошибок я обнаружил, что надлежащее функционирование достигается с помощью «VCorpus», но не с использованием «Corpus». Кстати, я почти уверен, что это работало с «Корпусом» ~ 1 месяц назад, но сейчас это не так.
R (3.3.3), RTools (3.4), RStudio (1.0.136) и все пакеты (tm 0.7-1, RWeka 0.4-31) обновлены до последней версии.
Я был бы признателен за любое понимание того, что это не будет работать с Корпусом, и есть ли у других такая же проблема.
#A Reproducible example
#
#Weka bi-gram test
#
library(tm)
library(RWeka)
someCleanText <- c("Congress shall make no law respecting an establishment of",
"religion, or prohibiting the free exercise thereof or",
"abridging the freedom of speech or of the press or the",
"right of the people peaceably to assemble and to petition",
"the Government for a redress of grievances")
aCorpus <- Corpus(VectorSource(someCleanText)) #With this, only 1-Grams are created
#aCorpus <- VCorpus(VectorSource(someCleanText)) #With this, biGrams are created as desired
BigramTokenizer <- function(x) NGramTokenizer(x, Weka_control(min=2, max=2))
aTDM <- TermDocumentMatrix(aCorpus, control=list(tokenize=BigramTokenizer))
print(aTDM$dimnames$Terms)
Результат с «Корпусом»
[1] "congress" "establishment" "law" "make"
[5] "respecting" "shall" "exercise" "free"
[9] "prohibiting" "religion" "the" "thereof"
[13] "abridging" "freedom" "press" "speech"
[17] "and" "assemble" "peaceably" "people"
[21] "petition" "right" "for" "government"
[25] "grievances" "redress"
Результат с «VCorpus»
[1] "a redress" "abridging the" "an establishment" "and to"
[5] "assemble and" "congress shall" "establishment of" "exercise thereof"
[9] "for a" "free exercise" "freedom of" "government for"
[13] "law respecting" "make no" "no law" "of grievances"
[17] "of speech" "of the" "or of" "or prohibiting"
[21] "or the" "peaceably to" "people peaceably" "press or"
[25] "prohibiting the" "redress of" "religion or" "respecting an"
[29] "right of" "shall make" "speech or" "the free"
[33] "the freedom" "the government" "the people" "the press"
[37] "thereof or" "to assemble" "to petition"
R
,RWeka
,RStudio
все использовали текущую версию на момент написания этой статьи. - person hongsy   schedule 08.06.2017sessionInfo()
для нас? - person hongsy   schedule 01.08.2017