Кодовый подход Этот блог был впервые опубликован в блоге Dataiku здесь . В Dataiku мы постоянно думаем о создании производительных, готовых к производству активов и демократизации науки о данных и искусственного интеллекта. Этим интересам хорошо соответствуют два предложения Snowflake: Snowpark Python может повысить производительность — уменьшить перемещение данных и распараллелить вычисления (для определенных API-интерфейсов Snowpark, например, DataFrames). Snowpark ML ,..

Я приведу серию примеров, иллюстрирующих использование базы данных Snowflake с помощью встроенного коннектора для выполнения стандартных операций с базой данных, таких как создание объектов, вставка/загрузка данных и выполнение запросов с помощью программы Python. Этот блог является продолжением предыдущих сообщений, в которых я объяснял использование Python и выполнял операции с базами данных программным способом . Я настоятельно рекомендую посетить их в первую очередь . Цель:..

Когда ваши наборы данных начинают расти, переход на Spark может увеличить скорость и сэкономить время. Большинство рабочих процессов в области науки о данных начинается с Pandas. Pandas - отличная библиотека, которая позволяет выполнять различные преобразования и может обрабатывать различные типы данных, такие как CSV или JSON и т. Д. Мне нравятся Pandas - я сделал подкаст по нему под названием Почему Pandas - это новый Excel . Я по-прежнему считаю Pandas отличной библиотекой в..

Иногда, когда статистики собирают данные, им нравится возвращать каждое из них, прежде чем брать следующую. Это называется случайной выборкой с заменой, в отличие от случайной выборки без замены, которая является более распространенным явлением. Пример того, когда это делается в дикой природе, - во время обучения случайного леса, и это стало спусковым крючком для меня, написавшего этот пост. Все встроенные в Snowflake функции сэмплирования вращаются вокруг сэмплирования без замены...

Масштабный запуск пользовательских функций кода Scala в облаке данных Snowflake Обзор В прошлом году Snowflake анонсировала множество функций, таких как поддержка неструктурированных данных, Snowtire, Snowpark, Snowsight и т. Д. В этом случае одна из ожидаемых функций SnowPark теперь доступна для предварительного просмотра. До недавнего времени у Snowflake не было встроенной интеграции с приложениями машинного обучения, а также поддержки наличия инфраструктуры качества данных на этапе..