Часто задаваемые вопросы о разметке структуры данных R

(Это относится к пункту 3.)

Вы можете преобразовать файл texinfo в XML

wget http://cran.r-project.org/doc/FAQ/R-FAQ.texi
makeinfo --xml R-FAQ.texi 

а затем прочитайте его с пакетом XML.

library(XML)
doc <- xmlParse("R-FAQ.xml")
r <- xpathSApply( doc, "//node", function(u) {
  list(list(
    title    = xpathSApply(u, "nodename", xmlValue),
    contents = as(u, "character")
  ))
} )
free(doc)

Но гораздо проще преобразовать его в текст.

makeinfo --plaintext R-FAQ.texi > R-FAQ.txt

и анализировать результат вручную.

doc <- readLines("R-FAQ.txt")

# Split the document into questions
# i.e., around lines like ****** or ======.
i <- grep("[*=]{5}", doc) - 1
i <- c(1,i)
j <- rep(seq_along(i)[-length(i)], diff(i))
stopifnot(length(j) == length(doc))
faq <- split(doc, j)

# Clean the result: since the questions 
# are in the subsections, we can discard the sections.
faq <- faq[ sapply(faq, function(u) length(grep("[*]", u[2])) == 0) ]

# Use the result
cat(faq[[ sample(seq_along(faq),1) ]], sep="\n")

Я немного не понимаю ваших целей. Кажется, вы хотите, чтобы вся документация, связанная с R, была преобразована в какой-то формат, которым может манипулировать R, предположительно, чтобы можно было написать подпрограммы R для лучшего извлечения информации из документации.

Здесь, кажется, есть три предположения.

1) Эти различные форматы документов (файлы texinfo, RD и т. д.) будет легко преобразовать в некую стандартную форму с (подчеркиваю) некоторой неявной единой структурой и семантикой.
Потому что, если вы не можете сопоставить их все с единая структура, вам придется писать отдельные инструменты R для каждого типа и, возможно, для каждого отдельного документа, и тогда работа инструмента после преобразования будет подавлять преимущества.

2) что R является подходящим языком для написания таких инструментов обработки документов; подозреваю, что вы немного предвзято относитесь к R, потому что вы работаете в R и не хотите думать о том, чтобы «покинуть» среду разработки, чтобы получить информацию о работе с R лучше. Я не эксперт по R, но я думаю, что R — это в основном числовой язык и не предлагает никакой специальной помощи для обработки строк, распознавания образов, синтаксического анализа или вывода на естественном языке, все из которых, как я ожидаю, сыграют важную роль. в извлечении информации из преобразованных документов, которые в значительной степени содержат естественный язык. Я не предлагаю конкретный альтернативный язык (Пролог ??), но вам может быть лучше, если вы преуспеете в преобразовании в нормальную форму (задача 1), чтобы тщательно выбрать целевой язык для обработки.

3) Что вы действительно можете извлечь полезную информацию из этих структур. Библиотечное дело было тем, что пытался продвигать 20-й век; теперь мы все занимаемся методами «Поиск информации» и «Слияние данных». Но на самом деле рассуждения о неофициальных документах отбили большинство попыток сделать это. Не существует очевидных систем, которые организуют необработанный текст и извлекают из него глубокую ценность (очевидным исключением является система IBM Watson, победившая в Jeopardy, но даже в этом случае неясно, что Watson «знает»; хотите ли вы, чтобы Watson ответил на вопрос: Должен ли хирург вскрыть вас ножом?», независимо от того, сколько сырого текста вы ему дали) Дело в том, что вы можете преуспеть в преобразовании данных, но неясно, что вы можете успешно с ними сделать.

Все это говорит о том, что большинство систем разметки текста имеют структуру разметки и необработанный текст. Можно «разобрать» их в древовидные структуры (или графоподобные структуры, если вы предполагаете, что некоторые вещи являются надежными перекрестными ссылками; в texinfo они, безусловно, есть). XML широко используется в качестве носителя для таких анализируемых структур, и, будучи способным представлять произвольные деревья или графы, он ... хорошо ... для захвата таких деревьев или графов. [Затем люди продвигают RDF, OWL или какую-либо другую систему кодирования знаний, использующую XML, но это не решает проблемы; вы выбираете каноническую цель, независимую от R]. Так что вам действительно нужно что-то, что будет читать различные размеченные структуры (texinfo, файлы RD) и выдавать XML или эквивалентные деревья/графы. Здесь я думаю, что вы обречены на создание отдельных O(N) синтаксических анализаторов для покрытия всех N стилей разметки; как иначе инструмент узнает, что такое разметка значения (следовательно, синтаксический анализ)? (Вы можете представить себе систему, которая могла бы читать размеченные документы при наличии описания разметки, но даже это O(N): кто-то все равно должен описать разметку). Один из этих синтаксических анализов относится к этой единой нотации, затем вы можете использовать легко построенный синтаксический анализатор R для чтения XML (при условии, что он еще не существует), или, если R не является правильным ответом, проанализировать его с любым правильным ответом .

Существуют инструменты, помогающие создавать синтаксические анализаторы и деревья синтаксического анализа для произвольных языков (и даже трансляторы деревьев синтаксического анализа в другие формы). ANTLR — один; его использует достаточное количество людей, так что вы даже можете случайно найти парсер texinfo, который кто-то уже построил. Наш набор инструментов для реинжиниринга программного обеспечения DMS — еще один; DMS после синтаксического анализа экспортирует XML-документ с деревом синтаксического анализа напрямую (но это не обязательно будет в том единообразном представлении, которое вам идеально нужно). Эти инструменты, скорее всего, облегчат чтение разметки и представление ее в XML.

Но я думаю, что ваша настоящая проблема будет заключаться в том, чтобы решить, что вы хотите извлечь/сделать, а затем найти способ сделать это. Если у вас нет четкого представления о том, как сделать последнее, выполнение всех предварительных синтаксических анализаторов просто кажется большой работой с неясной отдачей. Возможно, у вас есть более простая цель («управлять и расширять», но за этими словами можно многое скрыть), но она более достижима.