Невозможно отправить зависимости Python в Spark на EMR через Livy

Я поискал и просмотрел множество статей в Интернете и, наконец, нашел возможное решение в:

Кажется, я не могу получить --py -файлы на Spark для работы

Я последовал за ответом, получившим наибольшее количество голосов в этой ссылке, но он не работает для меня. Этой теме уже 3 года, и я думаю, мне следует задать новый вопрос.

Вот что я сделал в этом ответе:

1. Построить мои зависимости Python в .zip:

pip install -t dependencies -r requirements.txt
cd dependencies
zip -r ../dependencies.zip .

А затем загрузите его с другими файлами Python в мое ведро s3.

2. В my_job.py добавьте следующую строку, чтобы добавить мой python dependencies.zip в PYTHONPATH:

sc.addPyFile("dependencies.zip")

Обратите внимание, что эта строка добавлена ​​в самом начале моего кода на Python.

3. Отправить мою работу Spark. Ну, в ссылке он использовал spark-submit, в моем случае я использую curl через Apache Livy после ssh для моего мастера AWS EMR:

curl -X POST --data '{"file": "s3://my-bucket/src/my_job.py", "pyFiles": ["s3://my-bucket/src/global_settings.py", "s3://my-bucket/src/sys_init.py", "s3://my-bucket/src/dependencies.zip"]}' -H "Content-Type: application/json" http://ec2-1-23-456-789.compute-1.amazonaws.com:8998/batches

Теперь из журнала Ливи я получил исключение Java:

java.io.FileNotFoundException: File file:/dependencies.zip does not exist

Полная трассировка ошибки выглядит так:

Traceback (most recent call last):
  File "/mnt/tmp/spark-bfbaa559-69b8-48cb-9287-c30f73ab6d4a/my_job.py", line 1, in <module>
    from global_settings import *
  File "/mnt/tmp/spark-bfbaa559-69b8-48cb-9287-c30f73ab6d4a/global_settings.py", line 28, in <module>
    sc.addFile('dependencies.zip')
  File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/context.py", line 898, in addFile
  File "/usr/lib/spark/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 1257, in __call__
  File "/usr/lib/spark/python/lib/py4j-0.10.7-src.zip/py4j/protocol.py", line 328, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o53.addFile.
: java.io.FileNotFoundException: File file:/dependencies.zip does not exist
    at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:640)
    at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:866)
    at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:630)
    at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:452)
    at org.apache.spark.SparkContext.addFile(SparkContext.scala:1544)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
    at py4j.Gateway.invoke(Gateway.java:282)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:238)
    at java.lang.Thread.run(Thread.java:748)

Совершенно не понимаю, почему Spark не может найти dependencies.zip, в то время как он может узнать два других файла python global_settings.py и sys_init.py.

Также обратите внимание, что dependencies.zip составляет 48 МБ. Имеет ли значение размер файла? Я не думаю, что для AWS EMR проблема чтения 48-мегабайтного файла с AWS S3. Они находятся в одном регионе и в одном VPC.

И мой файл requirements.txt:

pandas
sqlalchemy
boto3

Пожалуйста помоги. Спасибо.