Spark Tachyon: Как удалить файл?

В Scala в качестве эксперимента я создаю файл последовательности на Tachyon с помощью Spark и считываю его обратно. Я хочу удалить файл из Tachyon также с помощью сценария Spark.

val rdd =  sc.parallelize(Array(("a",2), ("b",3), ("c",1)))
rdd.saveAsSequenceFile("tachyon://127.0.0.1:19998/files/123.sf2")
val rdd2 = sc.sequenceFile[String,Int]("tachyon://127.0.0.1:19998/files/123.sf2")

Я не очень хорошо понимаю язык Scala и не могу найти ссылку на манипулирование путями к файлам. Я нашел способ как-то использовать Java в Scala, чтобы сделать это, но я не могу заставить его работать с помощью Tachyon.

import java.io._
new File("tachyon://127.0.0.1:19998/files/123.sf2").delete()

apache-spark scala alluxio
person bjjer    schedule 19.07.2014    source источник
comment
У меня была похожая проблема, когда я пытался очистить путь к файлу после его использования, удалив все файлы, которые я создал. Но почему-то отказался удалять все файлы. Оказывается, он отказывался удалять файл, если он использовался другим процессом или программой. Это может быть ваша проблема здесь   -  person Electric Coffee    schedule 19.07.2014
comment
Вам нужно использовать Tachyon API.   -  person BAR    schedule 25.10.2015

Ответы (1)


arrow_upward
-1
arrow_downward

Существуют разные подходы, например:

  • Интерфейс командной строки:

    ./bin/tachyon tfs rm filePath

Дополнительная информация: http://tachyon-project.org/Command-Line-Interface.html

  • API:

    TachyonFS sTachyonClient = TachyonFS.get(args[0]);
sTachyonClient.delete(filePath, true);

Дополнительная информация: https://github.com/amplab/tachyon/blob/master/core/src/main/java/tachyon/examples/BasicOperations.java

person sltz    schedule 21.07.2014