У меня есть кластер Spark, работающий на Hadoop в режиме YARN. Я настроил сервер Livy для взаимодействия и отправки искровых заданий клиента в искровый кластер. Я загрузил файл данных вместе с банкой из java-программы в Livy, который загружается в папку .livySessions в HDFS.
LivyClient client = new LivyClientBuilder(true).setURI(new URI("http://191.111.123.11:8998")).build();
client.uploadFile(new File("/C:/HAL/kmeans_data.txt")).get();
Object str = client.uploadJar(new File("/C:/Users/msingh/livy-spring-app-1.3.6.RELEASE.jar")).get();
Как мне настроить мою программу для чтения файла данных из текущего сеанса Livy для выполнения.
