Загрузка данных с помощью RSQLite, в котором указаны значения в кавычках

Используйте read.csv.sql из пакета sqldf с аргументом filter и предоставьте любую утилиту, которая удаляет двойные кавычки или переводит их в пробелы.

Вопрос не дает полностью воспроизводимого минимального примера, но я привел его ниже. Если вы используете read.csv.sql для выбора подмножества строк или столбцов, просто добавьте для этого соответствующий аргумент sql.

Сначала настройте тестовые входные данные, а затем попробуйте любое из однострочных решений, показанных ниже. Предполагая Windows, убедитесь, что утилита tr (находится в дистрибутиве Rtools R) или сторонняя утилита csvfix (найденная здесь, а для Linux также см. this) или утилиту vbscript trquote2space.vbs ( см. примечание в конце) находится на вашем пути:

library(sqldf)
cat('a,b\n"1","2"\n', file = "tmp.csv")

# 1 - corrected from FAQ
read.csv.sql("tmp.csv", filter = "tr.exe -d '^\"'")

# 2 - similar but does not require Windows cmd quoting
read.csv.sql("tmp.csv", filter = "tr -d \\42")

# 3 - using csvfix utility (which must be installed first)
read.csv.sql("tmp.csv", filter = "csvfix echo -smq")

# 4 - using trquote2space.vbs utility as per Note at end
read.csv.sql("tmp.csv", filter = "cscript /nologo trquote2space.vbs")

любой из которых дает:

  a b
1 1 2

Вы также можете использовать любой другой подходящий язык или утилиту. Например, можно использовать ваше предложение Powershell, хотя я подозреваю, что специальные утилиты, такие как tr и csvfix, будут работать быстрее.

Первое решение выше исправлено из FAQ. (Он действительно работал в то время, когда часто задаваемые вопросы были написаны много лет назад, но при тестировании его сейчас в Windows 10, похоже, требуется указанное изменение, или, возможно, уценка не сохранилась без изменений после перехода от Google Code, где он изначально находился, к github, который использует немного другой вариант уценки.)

Для Linux tr доступен изначально, хотя цитирование отличается от Windows и может даже зависеть от оболочки. csvfix также доступен в Linux, но его необходимо установить. Показанный выше пример csvfix будет одинаково работать в Windows и Linux. vbscript явно специфичен для Windows.

Примечание. sqldf поставляется с утилитой mini-tr, написанной на vbscript. Если вы измените соответствующие строки на:

Dim sSearch  : sSearch  = chr(34)
Dim sReplace : sReplace = " "

и измените имя на trquote2space.vbs, тогда у вас будет специальная утилита Windows для замены двойных кавычек на пробелы.

Импортер CSV в пакете RSQLite является производным от оболочки sqlite3, которая сама по себе не поддерживает цитируемые значения при импорте файлов CSV (Как импортировать загрузку файла .sql или .csv в SQLite?, doc < / а>). Вы можете использовать readr::read_delim_chunked():

callback <- function(data) {
  name <- "ONS_PD"
  exists <- dbExistsTable(con, name)
  dbWriteTable(con, name, data, append = exists)
}

readr::read_delim_chunked(ONSPD_path, callback, ...)

Честно говоря, я не смог найти ничего, что могло бы решить эту проблему. Документация sqldf сообщает: «Итак, одно ограничение с файлами .csv заключается в том, что кавычки не считаются специальными в файлах, поэтому запятая в поле данных, например« Смит, Джеймс », будет рассматриваться как разделитель полей, а кавычки будут вводиться как часть данных, которая, вероятно, не соответствует назначению "

Итак, похоже, что решения нет, насколько я знаю.

Один из возможных субоптимальных подходов (кроме очевидного поиска и замены в текстовом редакторе) - использовать такие команды SQL.

dbSendQuery(db_connection,"UPDATE ONS_PD SET pcd = REPLACE(pcd, '\"', '')")