Доступ к Hue в Cloudera Docker QuickStart

Я установил быстрый запуск cloudera с помощью докера на основе инструкций, приведенных здесь.

https://blog.cloudera.com/blog/2015/12/docker-is-the-new-quickstart-option-for-apache-hadoop-and-cloudera/

docker run --privileged=true --hostname=quickstart.cloudera -p 7180 -p 8888 -t -i 9f3ab06c7554 /usr/bin/docker-quickstart

Вы можете видеть, что я делаю -p 7180 и -p 8888 для сопоставления портов.

когда контейнер успешно загрузился. Я увидел, что запуск службы hue завершился неудачно. но я запустил его вручную, используя sudo service hue restart, и он показал ОК.

Теперь я побежал

/home/cloudera/cloudera-manager --express --force

эта команда выполнена успешно. Я получил сообщение о подключении к CM с помощью http://cloudera.quickstart:7180.

Теперь на моем хост-компьютере я сделал docker-machine env default и увидел результат.

export DOCKER_TLS_VERIFY="1"
export DOCKER_HOST="tcp://192.168.99.100:2376"
export DOCKER_CERT_PATH="/Users/abhishek.srivastava/.docker/machine/machines/default"
export DOCKER_MACHINE_NAME="default"

Теперь в моем браузере на хост-компьютере я сделал

http://192.168.99.100:7180
http://192.168.99.100:8888
http://quickstart.cloudera:7180
http://quickstart.cloudera:8888

но все не удается подключиться ни к одной странице. Поэтому даже после переадресации портов... Я не могу получить доступ ни к диспетчеру cloudera, ни к пользовательскому интерфейсу HUE с хост-компьютера.

Я использую ОСХ.

Я также зашел в пользовательский интерфейс диспетчера виртуальных ящиков и выбрал виртуальную машину по умолчанию. Я зашел в настройки -> сеть -> переадресация портов. и сделал следующие записи

введите описание изображения здесь

но все же я не могу получить доступ к диспетчеру cloudera и HUE....


docker hadoop cloudera cloudera-quickstart-vm
person Knows Not Much    schedule 21.12.2015    source источник
comment
Из моих ответов вы понимаете, что нет никаких реальных преимуществ в использовании образа быстрого запуска Docker на Mac или Windows? Он все еще виртуализирован, и вам нужно исправить все проблемы с памятью и сетью, связанные с этим.   -  person OneCricketeer    schedule 21.12.2015
comment
Редактирует ли docker-machine файл hosts, чтобы вы могли получить к нему доступ через имя хоста? В любом случае, попробуйте использовать сопоставление портов в вашей команде docker. Например -p 7180:7180   -  person OneCricketeer    schedule 31.12.2015

Ответы (6)


arrow_upward
6
arrow_downward

Когда вы запускаете докер с использованием -p 7180 и -p 8888, он выделяет случайный порт на вашем хосте Windows. Однако если вы используете -p 7180:7180 и -p 8888:8888, предполагая, что эти порты на хосте свободны, он сопоставит их напрямую.

В противном случае вы можете выполнить docker ps, и он покажет вам, на какие порты он сопоставил 7180 и 8888. Затем в вашем хост-браузере вы можете ввести

http://192.168.99.100:<docker-allocated-port>

вместо

http://192.168.99.100:7180

Если все это на вашей локальной машине, вам не нужна переадресация портов.

person AndrewSP    schedule 07.04.2016

arrow_upward
5
arrow_downward

Поскольку вы используете докер-машину внутри виртуальной машины, вам нужно открыть порт в VirtualBox.

Вы можете сделать это с помощью кнопки «Переадресация портов» на панели сетевого адаптера в VirtualBox.

Настройки > Сеть > Дополнительно > Переадресация портов

Вы должны увидеть, что порт SSH уже перенаправляется для докера. Просто добавьте любые дополнительные порты, подобные этому.

И вот списки всех используемых портов CDH. Конечно, вам не нужны все из них. Я бы предложил хотя бы Cloudera Manager (7180), пользовательский интерфейс namenode и datanode (50070 и 50075) и серверы заданий, такие как mapreduce (8088,8042 и 10020) или spark (18080 и 18081). И я лично им не пользуюсь, но Hue 8888.

person OneCricketeer    schedule 21.12.2015
comment
Вы знаете, какие порты мне нужно открыть и как? - person Knows Not Much; 26.12.2015
comment
на самом деле это не сработало для меня. Я снова обновляю свой вопрос, чтобы выделить шаги, которые я предпринял. - person Knows Not Much; 28.12.2015
comment
Хм. Возможно, этот порт не отображается в Dockerfile. Я не могу найти это, хотя - person OneCricketeer; 28.12.2015

arrow_upward
2
arrow_downward

Такая же проблема случилась со мной. Я смог успешно запустить оттенок после увеличения количества процессоров в VirtualBox. Я также увеличил объем оперативной памяти ранее. Первоначальный ЦП, который у меня был, был 1, изменен на 3

Скриншот настроек процессора виртуального бокса ->Нажмите здесь

person Ronald Teo    schedule 25.04.2016

arrow_upward
2
arrow_downward

Я столкнулся с той же проблемой здесь и решил ее теперь, основываясь на комментариях и сообщениях выше. Есть две проблемы, упомянутые выше:

  1. #P2# <блочная цитата> #P3# #P4#

  2. Не удается получить доступ к Hue с моего хост-компьютера. Судя по исходному сообщению, попробуйте docker run --privileged=true --hostname=quickstart.cloudera -p 7180:7180 -p 8888:8888 -t -i 9f3ab06c7554 /usr/bin/docker-quickstart, чтобы решить эту проблему.

person Ding Wei    schedule 14.06.2016

arrow_upward
2
arrow_downward

Перезапустить Hue после поднятия контейнера

Увеличьте память докера до 8 ГБ, если можете. В противном случае установите его не менее 4 ГБ. Пусть оттенок не работает при запуске контейнера. После этого подключитесь к контейнеру докеров и получите доступ к его оболочке, чтобы выполнить следующую команду:

Чтобы остановить сервер Hue:

$ sudo service hue stop

Чтобы запустить сервер Hue:

$ sudo сервис оттенок старт

person deo    schedule 01.10.2016
comment
Это сработало для меня при выделении 6 ГБ и перезапуске службы Hue. Только методом проб и ошибок. - person deo; 01.10.2016

arrow_upward
1
arrow_downward

Я просто пытался сам запустить докер быстрого запуска Cloudera, и оказалось, что это помогает:

http://127.0.0.1:8888

Обратите внимание на http, а не https, и что я использую 127.0.0.1 (или localhost). Обратите внимание, что это предполагает, что внутренний порт 8888 сопоставлен с вашим портом 8888.

Предположим, проверка докеров дает что-то вроде

            "8888/tcp": [
                {
                    "HostIp": "0.0.0.0",
                    "HostPort": "32769"
                }

Тогда вы хотели бы

http://127.0.0.1:32769

person Dennis Jaheruddin    schedule 07.01.2019