Публикуются ли Amazon настройки Hadoop по умолчанию (core-site.xml, yarn-site.xml и т. д.)? Я видел опубликованные некоторые параметры, но не общие конфигурации по умолчанию.
Конфигурации Amazon Elastic Mapreduce по умолчанию
Ответы (1)
вы найдете конфигурацию по умолчанию на странице документации amazon emr по ссылке ниже http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/TaskConfiguration_H2.html
Есть способ найти конфигурацию для задания, которое вызывается. Вы можете посетить S3 Location, где сохраняются журналы. Там вы найдете j-yourjoblogsfilelocation/jobs/job_1403597560615_0001_conf.xml. _conf.xml содержит всю конфигурацию, которая передается в задание. Это конфигурация по умолчанию, если мы не перезапишем их. Так что это будет отличаться в зависимости от выбранной нами конфигурации коробки. например конфигурации памяти могут отличаться
person
Sandesh Deshmane
schedule
24.06.2014
Спасибо, Сандеш. Я видел их, но они неполные. Существует несколько сотен конфигураций Hadoop по умолчанию, и я могу найти только около 15 задокументированных конфигураций AWS EMR.
- person chuckfinley; 24.06.2014
Есть способ найти конфигурацию для задания, которое вызывается. Вы можете посетить S3 Location, где сохраняются журналы. Там вы найдете j-yourjoblogsfilelocation/jobs/job_1403597560615_0001_conf.xml. _conf.xml содержит всю конфигурацию, которая передается в задание. Это конфигурация по умолчанию, если мы не перезапишем их. Так что это будет отличаться в зависимости от выбранной нами конфигурации коробки. например, конфигурации памяти могут быть разными. Надеюсь, это поможет.
- person Sandesh Deshmane; 25.06.2014
m1.small(насколько я помню, он бесплатный) и получить конфигурацию из/home/hadoop/conf. - person mr0re1 schedule 21.06.2014