Вопросы по теме 'pyhive'
Может ли python получать вывод консоли улья?
Потому что я использую python для управления etl-потоком данных улья, а pyhive — для подключения улья и выполнения HQL. Я хочу получить больше информации от улья, например вывод выполнения сеанса tez или вывод исключения ошибки java в улье. Как мне...
37 просмотров
schedule
18.01.2023
Запросы сложных типов данных куста, таких как struct в SQL LAB Superset
Я использовал superset для запроса внешней таблицы через hive. В этой таблице есть столбцы, которые в основном содержат сложные типы данных, такие как struct . Как мне написать запрос в SQL LAB, который делает что-то вроде ниже?
SELECT...
529 просмотров
schedule
01.05.2022
Как получить недавно созданные разделы в таблице Hive?
У меня есть таблица под названием EMPLOYEE со столбцами ID, NAME, DESIGNATION, CITY, COUNTRY, CONTINENT. С 3-уровневым разделением на КОНТИНЕНТ, СТРАНА, ГОРОД. Теперь мне нужно знать недавно созданные разделы, скажем, после определенной метки...
704 просмотров
schedule
27.10.2022
Ошибка: нет модуля с именем «ttypes»
Я пытаюсь подключить python к улью на Windows 7 (64-разрядная версия) с версией python 3.6.
Я создал среду в анаконде и установил эти пакеты:
чистый засл (0.4.0)
Пихайв (0.5.1)
бережливость (0.11.0)
бережливость-сасл (0.3.0)
Код...
1986 просмотров
schedule
17.07.2023
Создание таблицы с PyHive и SqlAlchemy
Я пытаюсь создать таблицу в базе данных Hive с помощью SqlAlchemy ORM. Моя настройка - Python 3.6 с PyHive==0.6.1 и SQLAlchemy==1.2.11 (с их относительными зависимостями) и Hive 1.1.0-cdh5.15.1 .
Мой подход следующий:
from sqlalchemy...
7045 просмотров
schedule
16.03.2022
PyHive игнорирует конфигурацию Hive
Я периодически получаю сообщение об ошибке
DAG не удалось выполнить из-за VERTEX_FAILURE.
при выполнении запросов Hive через PyHive. По этой причине Hive работает в кластере EMR, где hive.vectorized.execution.enabled имеет значение...
558 просмотров
schedule
21.10.2023
Как подключиться к импале с помощью impyla или к улью с помощью pyhive?
Я пытаюсь подключиться к импале с помощью импилы с помощью этого кода:
from impala.dbapi import connect
conn = connect(host='host_name.com', port=21050, user='usr', password='pass', use_ssl=True, auth_mechanism='LDAP')
cursor = conn.cursor()...
904 просмотров
schedule
06.09.2022
Как указать максимальное количество ядер, которые будут выделены для запроса в улье?
Я выполняю несколько запросов в улье. У меня есть кластер Hadoop с 6 узлами. Общее количество ядер в кластере равно 21.
Мне нужно выделить только 2 ядра для процесса python, чтобы остальные доступные ядра использовались другим основным процессом....
929 просмотров
schedule
25.09.2023