Google Cloud Data Fusion - подготовка Dataproc внезапно останавливается без сообщения об ошибке

Я предполагаю, что это может быть связано с проблемой квот кластера данных. Когда конвейер запускается в объединении облачных данных, профиль по умолчанию запускает кластер данных с x количеством рабочих узлов. Некоторое время по умолчанию использовалось 10. Это может быть источником проблемы для данного сбоя, но для подтверждения этого может потребоваться дополнительная информация.

@Safiyur пара вопросов,

1. Не могли бы вы сказать мне, когда был запущен этот экземпляр?
2. Чтобы проверить, перед запуском конвейера вы можете настроить профиль так, чтобы он имел 3 рабочих узла. Это необходимо, чтобы убедиться, что это даже причина сбоя (Настроить -> Конфигурация вычислений -> Настроить)
3. Не могли бы вы также проверить главные журналы службы, чтобы увидеть (Cloud Data Fusion -> System Admin), есть ли какие-либо ошибки, связанные с запуском конвейера?
4. Не могли бы вы указать, какие правила брандмауэра вы добавили? (Это основано на документах

Примечание.

Во время работы конвейера операция внезапно останавливается без каких-либо сообщений об ошибках в журналах.

Исходя из этого, я предполагаю, что это журналы конвейера, о которых вы говорите.