Публикации по теме 'udf'


Обучение на основе сценариев использования Snowflake LLM  —  Курс для начинающих — Часть 1
Узнайте, как реализовать проекты LLM с помощью Snowflake Введение Стоит ли упоминать, что «большие языковые модели» — это термин, который в последнее время набирает популярность в сфере технологий? LLM относится к нейронной сети, которая может обучаться на больших объемах текстовых данных и генерировать выходные данные на естественном языке. LLM использовались для обобщения текста, перевода текста, генерации текста и диалоговых агентов. Недавний прорыв, без всякого сомнения,..

ElectrifAi интегрируется с пользовательскими функциями Snowflake Snowpark/Java, чтобы предложить пользователям Snowflake предварительно созданное машинное обучение
Мы рады сообщить, что сотрудничаем с ведущим поставщиком облачных платформ данных Snowflake, чтобы упростить организациям ускорение проектов искусственного интеллекта (ИИ) и быстрее достичь важных стратегических результатов. Это сотрудничество делает готовые модели машинного обучения (ML) ElectrifAi доступными для пользователей Snowflake Data Cloud через Snowpark , функцию, о которой Snowflake объявила в сентябре прошлого года. Пользователи Snowpark/Java UDF могут интегрировать..

Вопросы по теме 'udf'

Автоинкремент UDF работает в улье, но возвращает ноль в Impala
Я создал java-функцию, которая создает автоматически увеличивающееся значение, я также создал пользовательскую функцию hive на основе этой функции, она отлично работает в улье. Я создал UDF Impala на основе этой функции, и он возвращает «ноль» вместо...
735 просмотров
schedule 19.02.2023

UDF для кодирования строк работает в psql и Perl, но не в Python
Я написал пользовательскую функцию в Postgres 9.4 для кодирования строк: CREATE OR REPLACE FUNCTION platform.encode_sig(sig text) RETURNS bigint AS $BODY$ declare sig_id bigint; begin lock table platform.sig2encodings in access...
261 просмотров

Необходимо остановить пересчет пользовательских функций при удалении несвязанных ячеек.
Я заметил, что мои пользовательские функции пересчитываются всякий раз, когда я удаляю ячейки. Это приводит к значительным задержкам при удалении целых столбцов, потому что UDF вызывается для каждой ячейки, в которой он используется. Таким образом,...
2043 просмотров
schedule 24.06.2022

Несколько кортежей в качестве входных данных в пользовательской функции свиньи, написанной на Java
Пример вывода скрипта свиньи: (1, 10) (2, 100) (3,44) (4,99) В конце концов я хочу создать гистограмму в своем java UDF. Как я могу ввести все это сразу в свой UDF?
486 просмотров
schedule 06.04.2024

как пометить одну строку и сохранить ее конкретное значение в Hive, используя стандартный запрос или UDF?
Мне нужно написать запрос в Hive или определить функцию, которая должна делать следующее: Набор данных: Student || Time || ComuputerPool ------------------------------------- A || 9:15AM || Pool1.Machine2...
54 просмотров
schedule 04.10.2022

Написание UDF на Python для Pig
Я боролся с этой проблемой в течение нескольких часов. Надеюсь, кто-нибудь может мне помочь. Ввод представляет собой структуру пакета, например {([1,2]),([3,4])} , и цель состоит в том, чтобы вывести сумму соответствующих элементов кортежей в...
172 просмотров
schedule 01.04.2023

Небольшая адаптация определяемой пользователем функции
Я хотел бы извлечь комбинацию текста и чисел из большей строки, расположенной в столбце в Excel. Константы, с которыми мне приходится работать, заключаются в том, что каждая текстовая строка будет •либо начинайтесь с A, C или S, и •всегда будет...
109 просмотров
schedule 27.03.2023

Запретить Excel сохранять путь UDF к ячейкам формулы
Я использую пользовательскую надстройку, которая добавляет функции в Excel, например UDF1 (param1, param2). (1) пример вызова в ячейке: =UDF1(param1, param2) При сохранении workbook1, реализующего UDF(), Excel автоматически добавляет путь к...
879 просмотров
schedule 04.10.2022

Возврат кортежа неизвестной длины из UDF python, а затем применение хэша в Pig
Это вопрос, который состоит из двух частей: Во-первых, у меня есть пользовательская функция Python, которая создает список строк неизвестной длины. Вход в UDF - это map ( dict в python), а количество ключей практически неизвестно (это то, что я...
1135 просмотров
schedule 26.01.2023

Создание пользовательской функции Excel (UDF), которая может суммировать смешанные числа и текст
Пример данных в Excel: COL A B C D F..... 1 SL..... 2 SL8 AL4 CD3 CN5 CD4 AL8 Суммирую условно, исходя из буквенного идентификатора в ячейке. UDF вводится в ячейку (F2)...
815 просмотров
schedule 14.10.2022

SQL создает столбцы из группы по коллекции
У меня есть таблица в следующем виде chain |branch ________|________| a |UK a |US b |ISRAEL b |UK b |FRANCE b |BELGIUM c |NIGERIA и я хотел бы создать новую таблицу в следующем формате chain...
1083 просмотров
schedule 12.07.2022

развернуть пакет Python pip на Hadoop?
Напишите UDF Python для Hadoop/Pig, и вам нужно использовать некоторые библиотеки Python, такие как «запрос», который я установил локально с помощью pip при тестировании UDF локального ящика. Хотите знать, как развернуть пакет pip в кластере Hadoop,...
896 просмотров
schedule 13.02.2023

Hive UDF — исключение приведения строки Java
Я написал UDF, который декодирует cookie и возвращает список строк. К сожалению, я получил ошибку Hive Runtime во время обработки вот мой код: @Override public ObjectInspector initialize(ObjectInspector[] input) throws UDFArgumentException {...
2935 просмотров
schedule 14.03.2023

ОТДЕЛКА СВИНЬИ И ВЕРХНЯЯ ЧАСТЬ
Я новичок в программировании Hadoop, ищу помощи в pig. У меня есть данные из формата simple.txt как разделитель , . У меня есть два варианта использования. Я хочу сделать ltrim(rtrim()) для всех столбцов и перейти к UPPER для выбранных...
1810 просмотров
schedule 26.11.2022

Spark SQL: как вызвать UDF из операции DataFrame с помощью JAVA
Я хотел бы знать, как вызвать функцию UDF из функции доменного языка (DSL) в Spark SQL с использованием JAVA. У меня есть функция UDF (например): UDF2 equals = new UDF2<String, String, Boolean>() { @Override public Boolean...
8099 просмотров

Pig ERROR 2998: необработанная внутренняя ошибка (неверное имя MY_CLASS_NAME)
У меня возникает ошибка при попытке определить мой UDF в Pig, это мой сценарий свиньи: REGISTER 'hdfs://localhost:54310/folder/myudf.jar'; DEFINE MYUD myudf.REDECODE(); когда я выполняю вторую строку, я получаю это сообщение об ошибке...
407 просмотров
schedule 09.01.2024

Как разрешить sklearn K ближайшим соседям использовать пользовательскую метрику расстояния?
У меня есть пользовательская метрика расстояния, которую мне нужно использовать для KNN , K Nearest Neighbors . Я попытался выполнить это , но не могу заставить его работать по какой-то причине. Я бы предположил, что метрика расстояния...
8796 просмотров

Как проверить тип данных внутри свиной UDF
Я новичок в написании сценариев Pig. Я хочу написать фильтр udf независимо от типа данных столбцов. iput_data = load data '/emp.csv' using PigStorage(',') as (empid int, name chararray); output = FILTER input_data by FilterUDF(empid);//data...
754 просмотров
schedule 16.05.2024

удалить и обрезать список в udf aerospike
Я пытаюсь удалить и обрезать список, чтобы создать систему нумерации страниц. local function createMap(postId, paramDate) local m = map { id = postId, date = paramDate }; return m; end function get(rec, binName, from, to) if...
265 просмотров
schedule 20.02.2023

Попытка превратить большой двоичный объект в несколько столбцов в Spark
У меня есть сериализованный блоб и функция, которая преобразует его в java-карту. Я зарегистрировал функцию как UDF и попытался использовать ее в Spark SQL следующим образом: sqlCtx.udf.register("blobToMap", Utils.blobToMap) val df =...
443 просмотров