Подсчитать количество вхождений слов из списка во фрейме данных в R

Я бы очистил твиты df, чтобы преобразовать их в нижний регистр, удалить стоп-слова, знаки препинания и т. д. (сначала очистите твиты, иначе вы получите «собака» и «собака» как два разных слова.

    x <- c("Heute oft gelesen: Hörmann: «Lieber die Fair-Play-Medaille» als Platz eins t.co/w75t1O3zWQ t.co/fQJ2eUbGLf",
"Lokalsport: Wallbaum versteigert Olympia-Kalender t.co/uH5HnJTwUE",
"Die „politischen Spiele“ sind hiermit eröffnet: t.co/EWSnRmNHlw via @de_sputnik")
wordlist <- c("Olympia", "hiermit", "Die")

Затем я бы создал sapply версию tolower и разобрал по пробелам. Затем я бы сгладил его, используя unlist, чтобы это был один вектор вместо списка, а затем безымянный, чтобы его было немного легче читать.

wordvec <- unname(unlist(sapply(x, function(z) str_split(tolower(z), " "))))

 [1] "heute"                   "oft"                     "gelesen:"                "hörmann:"                "«lieber"                
 [6] "die"                     "fair-play-medaille»"     "als"                     "platz"                   "eins"                   
[11] "t.co/w75t1o3zwq" "t.co/fqj2eubglf" "lokalsport:"             "wallbaum"                "versteigert"            
[16] "olympia-kalender"        "t.co/uh5hnjtwue" "die"                     "\u0084politischen"       "spiele\u0093"           
[21] "sind"                    "hiermit"                 "eröffnet:"               "t.co/ewsnrmnhlw" "via"                    
[26] "@de_sputnik"  

Я думаю, что это все еще довольно грязно. Я бы поискал какие-нибудь решения для очистки текста, такие как удаление специальных символов или использование grepl или что-то в этом роде, чтобы удалить http.

Чтобы отфильтровать список, чтобы он содержал только ваши слова, попробуйте:

wordvec[wordvec %in% tolower(wordlist)]
[1] "die"     "die"     "hiermit"

И тогда вы можете использовать table

table(wordvec[wordvec %in% tolower(wordlist)])

die hiermit 
  2       1 

вы можете сделать эту последнюю часть в обратном порядке, если хотите, но я бы сосредоточился на очистке текстов, чтобы удалить специальные символы, и просто немного почистил текст.

Вот как я бы сделал это, используя sapply. Функция проверяет, содержит ли data 3 последовательных сочетания букв, и подсчитывает количество.

library(tidyverse)
library(stringi)

1000 случайно созданных строк длиной 100 букв

data <- replicate(100, sample(letters, size = 1000, replace = TRUE))%>%
        data.frame()%>%
        unite("string" , colnames(.) , sep = "", remove = TRUE)%>%
        .$string

head(data)
[1] "uggwaevptdbhhnmvunkcgdssgmulvyxxhnavbxxotwvkvvlycjeftmjufymwzofrhepraqfjlfslynkvbyommaawrvaoscuytfws"
[2] "vftwusfmkzwougqqupeeelcyaefkcxmrqphajcnerfiitttizmpjucohkvsawwiqolkvuofnuarmkriojlnnuvkcreekirfdpsil"
[3] "kbtkrlogalroiulppghcosrpqnryldiuigtsfopsldmcrmnwcwxlhtukvzsujkhqnillzmgwytpneigogvnsxtjgzuuhbjpdvtab"
[4] "cuzqynmbidfwubiuozuhudfqpynnfmkplnyetxxfzvobafmkggiqncykhvmmdrexvxdvtkljppudeiykxsapvpxbbheikydcagey"
[5] "qktsojaevqdegrqunbganigcnvkuxbydepgevcwqqkyekezjddbzqvepodyugwloauxygzgxnwlrjzkyvuihqdfxptwrpsvsdpzf"
[6] "ssfsgxhkankqbrzborfnnvcvqjaykicocxuydzelnuyfljjrhytzgndrktzfglhsuimwjqvvvtvqjsdlnwcbhfdfbsbgdmvfyjef"  

Ссылка на проверку data

three_consec_letters = expand.grid(letters, letters, letters)%>%
                       unite("consec", colnames(.), sep = "", remove = TRUE)%>%
                       .$consec

head(three_consec_letters)
[1] "aaa" "baa" "caa" "daa" "eaa" "faa"

Проверить и суммировать, если three_consec_letters находится в длинных строках

counts = sapply(three_consec_letters, function(x) stri_detect_fixed(data, x)%>%sum())

Результаты

head(counts)
aaa baa caa daa eaa faa 
  5   6   6   4   0   3 

Надеюсь это поможет.