Вопросы по теме 'google-cloud-dataprep'
Dataprep - Планирование заданий
Кто-нибудь, кто участвует в бета-версии Dataprep, может ли запланировать выполнение заданий? Если да, то это служба cron через движок приложения? Я не могу полностью следовать cron для инструкций движка приложения, но хочу убедиться, что это не...
477 просмотров
schedule
22.07.2022
Повторно используйте один и тот же рецепт для нескольких наборов данных
Я хочу использовать тот же рецепт, который я использую для одного набора данных, для остальных моих наборов данных. Структура/заголовки всех наборов данных одинаковы. Есть ли способ импортировать или повторно использовать один и тот же рецепт без...
675 просмотров
schedule
10.12.2022
Динамический источник данных BigQuery в Google DataPrep — можно ли это сделать?
Может ли быть так, что я не могу определить динамический источник данных с помощью Dataprep. Насколько я вижу, я могу указать только на таблицу BigQuery. Мне нужно указать на определенную часть таблицы. Именование разделов всегда включает дату....
243 просмотров
schedule
29.11.2022
Сбой Google Cloud DataPrep с межрегиональной ошибкой при использовании базы данных EU BigQuery
Сегодня я столкнулся с некоторыми проблемами, разрабатывая новые потоки - первые, которые я прочитал и загрузил в базы данных BigQuery в регионе ЕС.
Чтобы изолировать проблему, я предпринял следующие шаги:
Создать новую базу данных BQ в...
651 просмотров
schedule
19.02.2023
Функция Google Cloud DataPrep DATEDIF несовместима
У меня есть четыре столбца DateTime, все в длинном формате, например 2016-08-01T21:13:02Z . Они называются EnqDateTime , QuoteCreatedDateTime , BookingCreatedDateTime и RejAt .
Я хочу добавить столбцы на продолжительность (в днях) между...
113 просмотров
schedule
22.07.2023
Предварительная обработка данных, хранящихся в BigQuery
Я только начал использовать GCP, и у меня есть некоторые сомнения относительно правильного использования некоторых из его инструментов. В частности, я пытаюсь получить данные из Google Analytics в BigQuery. Можно ли использовать Dataprep для данных,...
309 просмотров
schedule
09.11.2023
повторяющиеся слова регулярного выражения
Мне нужно сопоставить (НЕ УДАЛИТЬ) все повторяющиеся слова в тексте.
Например: Мужская·Футболка·Рубашка·Винтаж·Футболка·1990·Глубокий·Черный·Красный·Текст·Глубокий·Черный·Красный·Текст·X-Small...
508 просмотров
schedule
17.04.2023
Программное редактирование рецепта Dataprep
У нас есть задание подготовки данных для обработки входного файла и создания очищенного файла.
Мы вызываем это задание подготовки данных удаленно, используя шаблоны потока данных. Мы используем python для запуска задания из шаблонов потока данных....
323 просмотров
schedule
25.02.2023
Облачная подготовка данных Google — как создать хэш столбца
может ли кто-нибудь указать готовую или пользовательскую реализацию в Cloud Dataprep для создания хэша другого столбца, например, у bigquery есть FARM_FINGERPRINT.
247 просмотров
schedule
04.08.2022
Подготовка данных GCP - прямое и обратное заполнение
У меня есть следующая таблица, которую я пытаюсь обработать при подготовке данных GCP:
Timestamp Event
2018-04-01 0
2018-04-02 0
2018-04-03 0
2018-04-04 0
2018-04-05 1
2018-04-06 0
2018-04-07 0
2018-04-08 0
Я пытаюсь...
134 просмотров
schedule
13.07.2022
Использование Dataprep для записи только в раздел по дате в таблице с разделом по дате
Я использую представление BigQuery для извлечения вчерашних данных из таблицы BigQuery, а затем пытаюсь записать в таблицу с разделением по датам с помощью Dataprep.
Моя первая проблема заключалась в том, что Dataprep не мог правильно подбирать...
692 просмотров
schedule
19.04.2023
Подсчет по значению, распределенному по нескольким столбцам в Google Cloud DataPrep
У меня довольно сложная задача по преобразованию данных, которую я не могу понять в программе подготовки Google Cloud Data. Исходные данные - это информация из файла избирателя. В CSV есть 10 столбцов (среди многих других), которые содержат историю...
55 просмотров
schedule
27.06.2022
GCP Dataflow API не оценивает функцию now/today(), вызываемую в рецепте, написанном на dataprep.
После запуска API dataflow.projects.locations.templates.launch (я протестировал также «создание» API) с шаблоном, сгенерированным ранее в dataprep, столбец, сгенерированный с помощью функции today() (я также протестировал «now()» функция), кажется,...
189 просмотров
schedule
20.06.2022
Потоки исчезли из проекта
Я использую Dataprep в течение нескольких месяцев, и в одном из моих проектов встроено множество различных потоков. Я работал с ним сегодня утром, но теперь, когда я вхожу в систему, проект в Dataprep пуст, как будто я новый пользователь. Я начинаю...
72 просмотров
schedule
24.05.2022
Google Data Prep - невозможно импортировать таблицу из BigQuery (созданной из Google Таблиц) Ничего не найдено
Я создал одну таблицу в BigQuery из Google Sheets, когда я пытался импортировать ее в Cloud Data Prep, она говорит, что в наборе данных нет таблиц.
Я не уверен, является ли это проблемой с интеграцией листов Google, потому что, когда я проверяю...
116 просмотров
schedule
16.03.2023
Несоответствие числовых значений из CSV-файла в Dataprep
Я изо всех сил пытаюсь понять, почему Dataprep присваивает несовпадающие значения числовым значениям, которые я пытаюсь импортировать из файла .csv.
В моем excel все выглядит нормально:
но в dataprep это значение, которое я получаю:...
175 просмотров
schedule
03.07.2022
Используете набор данных с параметрами для BigQuery в Cloud Data Prep?
У меня есть несколько наборов данных BigQuery с ежедневными таблицами, например
яблоки_201904010
яблоки_201904009
и т.п.
Я хотел бы настроить расписание подготовки облачных данных для обработки этих таблиц каждую ночь, поэтому...
181 просмотров
schedule
20.07.2022
Как устранить неполадки, когда файл не найден (удален) в пользовательском интерфейсе
Я пытаюсь исправить типы данных некоторых столбцов в моем CSV-файле, прежде чем отправлять его в большой запрос. Независимо от того, как я его запускаю, у меня получается:
Файл не найден (удален): файл gs: //bucketshahtest/*****/********.csv не...
47 просмотров
schedule
03.04.2023
Набор данных импорта Dataprep не обнаруживает заголовки в первой строке автоматически
Я импортирую набор данных из Google Cloud Storage (параметризованный) в Dataprep. До сих пор это работало отлично, и одна из функций, которые мне понравились, это то, что он автоматически определяет, что первая строка в моем (application /...
411 просмотров
schedule
19.05.2023
Dataprep изменяет дату str yyyymmdd на столбец datetime
У меня есть столбец с датами (в строковом формате) в Dataprep: ггггммдд. Я хотел бы, чтобы он стал объектом datetime. Какую функцию/преобразование следует применить для автоматического достижения этого результата?
350 просмотров
schedule
11.02.2023
