Я хочу получить информацию обо всех базах данных и связанных с ними таблицах и столбцах. Очевидно, я могу сделать это из метамагазина. Но у меня нет к нему доступа. Итак, есть ли другой способ вместо того, чтобы запрашивать каждую базу данных по...

У меня есть таблица под названием EMPLOYEE со столбцами ID, NAME, DESIGNATION, CITY, COUNTRY, CONTINENT. С 3-уровневым разделением на КОНТИНЕНТ, СТРАНА, ГОРОД. Теперь мне нужно знать недавно созданные разделы, скажем, после определенной метки...

Я хочу использовать org.apache.hadoop.hive для работы с хранилищем метаданных. Улей (1.1) и hadoop (версия 2.6) были установлены на сервере Linux. На моем компьютере установлена ​​ОС Windows. Здесь я пытаюсь создать Hive conf. import...

В качестве примера рассмотрим, что у меня есть данные обо всех произошедших крупных спортивных событиях. Схема приведена ниже. Имя события, Дата, Месяц, Год, Город Это данные, которые физически структурированы в HDFS по году, дате, месяцу....

У меня есть таблица в улье, DDL которой выглядит следующим образом: CREATE TABLE test(id string) PARTITIONED BY (data_updated string,batch_id string,country string,state string); data_updated=NO/batch_id=102/country='1'/state='A';...

Я пытаюсь настроить postgresql db в качестве внешнего хранилища метаданных Hive для AWS EMR. Я пробовал разместить его как на EC2, так и на RDS. Я уже пробовал шаги, указанные здесь . Но это не проходит, EMR не работает на этапе подготовки...

Я больше не могу сохранять таблицу в базу данных куста с помощью хранилища метаданных. Я вижу таблицы в искре с использованием spark.sql , но я не вижу тех же таблиц в базе данных улья. Я пробовал это, но он не хранит таблицу в улье. Как я могу...

Я пытаюсь подключиться к Hive-metastore из приложения Spark, но каждый раз он застревает при попытке подключения и вылетает из-за тайм-аута: INFO metastore:376 - Trying to connect to metastore with URI thrift://hive-metastore:9083 WARN...

Это продолжение предыдущего вопроса, который я задал: Можно ли изменить метаданные столбца, который находится в многораздельной таблице в Hive? Вопрос: Можно ли изменить метаданные существующего столбца во ВНЕШНЕЙ таблице, которая...

Я использую Spark sql для блоков данных, который использует хранилище метаданных Hive, и я пытаюсь настроить задание / запрос, который использует довольно много столбцов (20+). Время, необходимое для выполнения проверок валидации хранилища...

У меня есть два типа кластеров prestosql: на экземплярах aws и на Kubernetes. У Prestosql на K8s есть странная проблема с запросами EXPLAIN, поскольку это занимает много времени ~ 2-3 минуты по сравнению с 2-3 секундами в экземпляре. Запрос...

По сути, мне нужны метаданные запросов, которые выполнялись в улье за ​​один день. Я просмотрел метаданные, которые предоставляет hive в MySql. Но не удалось найти какую-либо таблицу, в которой хранится информация, связанная с запросом.

Я пытаюсь настроить внешнее хранилище метаданных улья для Databricks, используя следующий сценарий инициализации: dbutils.fs.put( "/databricks/scripts/external-metastore.sh", """#!/bin/sh |# Loads environment variables to...