Как рассчитать читаемость в R с пакетом tm

Вы получаете сообщение об ошибке, потому что koRpus функции не могут работать с corpus объектом. Лучше создать kRp.tagged объект, а затем применить к нему все koRpus функции. Здесь я покажу, как это сделать, используя ovid данные пакета tm.

Я использую list.files, чтобы получить список исходных файлов. Вам просто нужно указать правильный путь к исходным текстовым файлам.

ll.files <- list.files(path = system.file("texts", "txt", 
                                    package = "tm"),
                 full.names=T)

Затем я создаю список объектов kRp.tagged, используя tokenize, который является теггером по умолчанию, заданным с пакетом koRpus (рекомендуется использовать TreeTagger, но вам необходимо его установить)

ll.tagged <- lapply(ll.files, tokenize, lang="en") ## tm_map is just a wrapper of `lapply`

Когда у меня есть список «помеченных» объектов, я могу применить к нему формулу удобочитаемости. Поскольку flesch.kincaid является оболочкой для readability, я буду применять непосредственно последнее:

ll.readability <- lapply(ll.tagged,readability)          ## readability
ll.freqanalysis <- lapply(ll.tagged,kRp.freq.analysis)   ## Conduct a frequency analysis
ll.hyphen <- lapply(ll.tagged,hyphen)                    ## word hyphenation

и т.д., .... все это создает список объектов S4. Слот desc обеспечивает легкий доступ к этому списку:

lapply(lapply(ll.readability ,slot,'desc'),              ## I apply desc to get a list
         '[',c('sentences','words','syllables'))[[1]]    ## I subset to get some indexes
[[1]]
[[1]]$sentences
[1] 10

[[1]]$words
[1] 90

[[1]]$syllables
all  s1  s2  s3  s4 
196  25  32  25   8 

Вы можете, например, использовать слот hyphen, чтобы получить фрейм данных с двумя столбцами, словом (слова с переносом) и слогом (количество слогов). здесь, используя lattice, я привязываю все data.frames, чтобы построить dotplot для каждого документа.

library(lattice)
ll.words.syl <- lapply(ll.hyphen,slot,'hyphen')     ## get the list of data.frame
ll.words.syl <- lapply(seq_along(ll.words.syl),      ## add a  column to distinguish docs
       function(i)cbind(ll.words.syl[[i]],group=i))
dat.words.syl <- do.call(rbind,ll.words.syl)
dotplot(word~syll|group,dat.words.syl,
        scales=list(y=list(relation ='free')))

Мне очень жаль, что пакет koRpus еще не так гладко взаимодействует с пакетом tm. Я много месяцев думал о способах перевода между двумя классами объектов, но еще не нашел действительно удовлетворительного решения. Если у вас есть идеи для этого, не стесняйтесь обращаться ко мне.

Однако я хотел бы сослаться на метод summary() для объектов удобочитаемости, созданных koRpus, который возвращает сжатый data.frame соответствующих результатов. Это, вероятно, намного проще, чем альтернативный обход довольно сложных объектов S4 ;-) Вы также можете попробовать summary(x, flat=TRUE).

@agstudy: Хороший график :-) Чтобы сэкономить время, вы должны запустить hyphen() перед readability(), чтобы вы могли повторно использовать результаты с помощью аргумента «дефис». Или вы можете просто получить доступ к слоту «дефис» в readability() результатах. При необходимости он автоматически расставит дефис и сохранит результаты. Вызов дефиса вручную должен быть необходим только в том случае, если вам нужно изменить вывод hyphen() перед следующими шагами. Могу добавить, что 0,05–1 намного быстрее, чем его предшественники.

Начиная с qdap версии 1.1.0 qdap имеет количество функций, чтобы быть более совместимым с tm упаковка. Вот способ решения вашей проблемы, используя тот же Corpus, который вы предоставляете (обратите внимание, что Fry изначально был графической мерой, и qdap сохраняет это; также с помощью вашего корпуса и случайной выборки Фрай предположил, что ваш образец Corpus недостаточно велик для расчета Фрай идет):

library(qdap)
with(tm_corpus2df(d), flesch_kincaid(text, docs))

##   docs word.count sentence.count syllable.count FK_grd.lvl FK_read.ease
## 1   s1         33              1             54       16.6       34.904
## 2   s2         49              1             75       21.6       27.610

with(tm_corpus2df(d), fry(text, docs))

## To plot it
qheat(with(tm_corpus2df(d), flesch_kincaid(text, docs)), values=TRUE, high="red")