Вопросы по теме 'pyhive'

Может ли python получать вывод консоли улья?
Потому что я использую python для управления etl-потоком данных улья, а pyhive — для подключения улья и выполнения HQL. Я хочу получить больше информации от улья, например вывод выполнения сеанса tez или вывод исключения ошибки java в улье. Как мне...
37 просмотров
schedule 18.01.2023

Запросы сложных типов данных куста, таких как struct в SQL LAB Superset
Я использовал superset для запроса внешней таблицы через hive. В этой таблице есть столбцы, которые в основном содержат сложные типы данных, такие как struct . Как мне написать запрос в SQL LAB, который делает что-то вроде ниже? SELECT...
529 просмотров
schedule 01.05.2022

Как получить недавно созданные разделы в таблице Hive?
У меня есть таблица под названием EMPLOYEE со столбцами ID, NAME, DESIGNATION, CITY, COUNTRY, CONTINENT. С 3-уровневым разделением на КОНТИНЕНТ, СТРАНА, ГОРОД. Теперь мне нужно знать недавно созданные разделы, скажем, после определенной метки...
704 просмотров

Ошибка: нет модуля с именем «ttypes»
Я пытаюсь подключить python к улью на Windows 7 (64-разрядная версия) с версией python 3.6. Я создал среду в анаконде и установил эти пакеты: чистый засл (0.4.0) Пихайв (0.5.1) бережливость (0.11.0) бережливость-сасл (0.3.0) Код...
1986 просмотров
schedule 17.07.2023

Создание таблицы с PyHive и SqlAlchemy
Я пытаюсь создать таблицу в базе данных Hive с помощью SqlAlchemy ORM. Моя настройка - Python 3.6 с PyHive==0.6.1 и SQLAlchemy==1.2.11 (с их относительными зависимостями) и Hive 1.1.0-cdh5.15.1 . Мой подход следующий: from sqlalchemy...
7045 просмотров
schedule 16.03.2022

PyHive игнорирует конфигурацию Hive
Я периодически получаю сообщение об ошибке DAG не удалось выполнить из-за VERTEX_FAILURE. при выполнении запросов Hive через PyHive. По этой причине Hive работает в кластере EMR, где hive.vectorized.execution.enabled имеет значение...
558 просмотров
schedule 21.10.2023

Как подключиться к импале с помощью impyla или к улью с помощью pyhive?
Я пытаюсь подключиться к импале с помощью импилы с помощью этого кода: from impala.dbapi import connect conn = connect(host='host_name.com', port=21050, user='usr', password='pass', use_ssl=True, auth_mechanism='LDAP') cursor = conn.cursor()...
904 просмотров
schedule 06.09.2022

Как указать максимальное количество ядер, которые будут выделены для запроса в улье?
Я выполняю несколько запросов в улье. У меня есть кластер Hadoop с 6 узлами. Общее количество ядер в кластере равно 21. Мне нужно выделить только 2 ядра для процесса python, чтобы остальные доступные ядра использовались другим основным процессом....
929 просмотров
schedule 25.09.2023