Вопросы по теме 'hive-partitions'
Могу ли я переместить данные из одного раздела улья в другой раздел той же таблицы
Мой раздел основан на году / месяце / дате. Использование SimpleDateFormat для недели года создало неправильный раздел. Данные для даты 2017-31-12 были перенесены на 2018-31-12 с использованием YYYY в формате даты.
SimpleDateFormat sdf = new...
2317 просмотров
schedule
09.01.2023
Может ли улей метастор виртуально разделить данные на основе значения столбца без физического изменения структуры каталогов?
В качестве примера рассмотрим, что у меня есть данные обо всех произошедших крупных спортивных событиях. Схема приведена ниже.
Имя события, Дата, Месяц, Год, Город
Это данные, которые физически структурированы в HDFS по году, дате, месяцу....
84 просмотров
schedule
20.03.2022
установить расположение раздела в запросе динамического раздела «Вставить перезапись» в кусте
Я создал таблицу кустов с базовым местоположением, указывающим на местоположение AWS S3. Однако я хочу создать раздел в кластере HDFS, используя запрос «Вставить перезапись».
Шаги ниже:
-- Create intermediate table
create table test_int_ash
(...
1484 просмотров
schedule
07.11.2023
Что происходит с запросом пользователя, когда я обмениваюсь разделами в Hive?
Каково взаимодействие с пользователем при обмене разделами в Apache Hive? Является ли он атомарным или дискретным и состоит из нескольких шагов, таких как:
partition rename
data copy
old partition drop
table repair
?
187 просмотров
schedule
06.06.2024
Как разделить таблицу по месяцам и дням в улье
Я создал таблицу с:
CREATE EXTERNAL TABLE extab (
vendorID string,
orderID string ,
ordertime string
)
location '/common_folder/data'
Затем я создал раздел по месяцам и дням
CREATE EXTERNAL TABLE part_extab(
endorID string,
orderID...
1130 просмотров
schedule
18.04.2023
Как разбить таблицу по всем значениям?
У меня есть внешняя таблица, теперь я хочу добавить в нее разделы. У меня 224 уникальных идентификатора города, и я хочу просто написать alter table my_table add partition (cityid) location /path; , но улей жалуется, говоря, что я ничего не...
302 просмотров
schedule
03.05.2022
pyspark - получение последней секции из логики секционированных столбцов Hive
Я новичок в pySpark. Я пытаюсь получить последний раздел (раздел даты) таблицы улья, используя PySpark-dataframes, и делаю это, как показано ниже. Но я уверен, что есть лучший способ сделать это, используя функции фрейма данных (а не написав SQL)....
3710 просмотров
schedule
19.03.2024
Как сделать так, чтобы результат запроса разделялся на вход?
Я новичок в улье, поэтому основной вопрос: как мне создать запрос, чтобы результат этого запроса был разделен определенным образом?
Например:
CREATE TABLE IF NOT EXISTS tbl_x (
x SMALLINT,
y FLOAT)
PARTITIONED BY (id SMALLINT)
ROW FORMAT...
104 просмотров
schedule
15.01.2023
Как вставить / скопировать данные одного раздела в несколько разделов улья?
У меня есть данные day='2019-01-01' в моей таблице улья, я хочу скопировать те же данные на весь январь-2019 месяц. (т.е. в '2019-01-02' , _3 _..._ 4_)
Я пытаюсь подписаться, но данные вставляются только в «2019-01-02», а не в «2019-01-03»....
926 просмотров
schedule
19.07.2023
невозможно получить доступ к таблице кустов в импале
Невозможно получить доступ к таблице кустов в Impala, в которой есть раздел, созданный в столбце даты. Данные вставляются с использованием параметра столбца динамического раздела. Теперь тип данных даты не поддерживается в импале. что я должен...
289 просмотров
schedule
04.12.2022
Hive не использует разделы в запросе
У меня есть представление, которое позволяет извлекать самые свежие данные для таблицы истории Hive. Таблица истории разбита по дням. Представление работает очень просто - в нем есть подзапрос, который устанавливает максимальную дату в поле даты...
385 просмотров
schedule
14.04.2022
получить последние данные из таблицы кустов с несколькими столбцами разделов
У меня есть таблица улья со структурой ниже
ID string,
Value string,
year int,
month int,
day int,
hour int,
minute int
Эта таблица обновляется каждые 15 минут и разбита на столбцы год / месяц / день / час / минута. Ниже приведены примеры...
855 просмотров
schedule
15.08.2022
Hive sql - между несколькими разделами
У меня таблица-улей разбита по годам, месяцам и дням
CREATE TABLE t1 (
...
)
PARTITIONED BY (
year INT,
month INT,
day INT'
)
STORED AS PARQUET;
и мне нужно взять с него данные за последние 7 дней / разделов. Первый шаг к поиску того, как...
48 просмотров
schedule
09.12.2022
Hive - обязательно ли иметь «=» для внешней таблицы, чтобы рассматривать ее как раздел
Я новичок в Hive и у меня есть следующий основной вопрос:
Я пытаюсь создать внешнюю таблицу в каталоге HDFS по адресу
/projects/score/output/scores_2020-06-30.gzip
но он не рассматривает его как раздел.
Если разработчику нужно изменить...
156 просмотров
schedule
13.07.2022
Добавление нового раздела во внешнюю таблицу Hive с помощью блоков данных
У меня есть папка, в которой раньше были подпапки, основанные на ingestiontime , который также является оригинальным PARTITION , используемым в его таблице Hive.
Итак, папка выглядит как -...
807 просмотров
schedule
31.05.2022
Динамическая секционированная таблица в кусте не обновляет последние разделы
У меня есть папка в ведре gcs со структурой папок как
Xyz/Abc/dt=03-12-2021/file_03-12-2021.csv
Xyz/Abc/dt=04-12-2021/file_04-12-2021.csv
Я пытаюсь создать динамическую секционированную таблицу поверх папки, выполнив следующие запросы
Set...
102 просмотров
schedule
18.08.2022
Hive: читать разделы таблицы, определенные в подзапросе
У меня есть таблица Hive, которая разделена полем partitionDate. Я могу прочитать выбранный мной раздел с помощью простого
select * from myTable where partitionDate = '2000-01-01'
Моя задача - указать выбранный мной раздел динамически . Т.е....
35 просмотров
schedule
24.01.2023
