Публикации по теме 'bigquery'


Как создать Mail API на GCP с помощью GAE и Python
Вы когда-нибудь задумывались, как создать собственный Mail API, подобный Mailgun или Mailjet? Решением может стать настройка Mail API в Google App Engine (GAE). GAE предлагает почтовую библиотеку как часть готового решения PaaS. Библиотеку можно импортировать через: from google.appengine.api import mail Чтобы создать RESTful API из этого, мы будем использовать веб-фреймворк Flask и определим правила конечной точки API. Давайте определим 4 аргумента, которые наша конечная точка API..
Конвейер машинного обучения для прогнозирования использования велосипеда на основе прогнозов погоды: часть 1
В части 1 этого блога я использую Google Cloud Platform (GCP) для создания конвейера данных с использованием Pub/Sub, Dataflow и Bigquery для автоматического мониторинга и хранения данных о прокате велосипедов TFL и погоде. Во второй части я буду использовать эти данные, чтобы разработать модель для прогнозирования использования велосипеда на основе прогнозов погоды и ежедневных/еженедельных временных трендов. TFL (Транспорт для Лондона) предоставляет открытые API для различных типов..
Шаблон дизайна машинного обучения №5: повторяемая выборка
Используйте хорошо распределенный столбец, чтобы разделить данные на обучающие / действительные / тестовые. Периодическая серия шаблонов проектирования для инженеров машинного обучения. Полный список здесь. Во многих руководствах по машинному обучению предлагается случайным образом разбить данные на наборы данных для обучения, проверки и тестирования: df = pd.DataFrame(...) rnd = np.random.rand(len(df)) train = df[ rnd < 0.8 ] valid = df[ rnd >= 0.8 & rnd < 0.9 ] test..
Путешествие в BigQuery Fuzzy Matching - 2 из [1, ∞) - Подробнее Soundex и Levenshtein Distance
В первом посте по этой теме мы рассмотрели, как построить серию определяемых пользователем функций (UDF) для реализации алгоритма Soundex . Напомним, идея состоит в том, чтобы создать набор инструментов, который можно использовать для решения проблем, связанных с нечетким сопоставлением и управлением основными данными. Теперь Soundex - первое, что у нас есть! С тех пор, как я написал этот пост, меня завалили электронными письмами, в которых спрашивали о его производительности. Одно..
Объяснение модели BigQuery ML
Как получить и интерпретировать объяснения предсказаний BigQuery ML - это простой в использовании способ вызова моделей машинного обучения для структурированных данных с использованием только SQL. Хотя он начинался только с линейной регрессии, были добавлены более сложные модели, такие как Deep Neural Networks и AutoML Tables, путем соединения BigQuery ML с TensorFlow и Vertex AI в качестве бэкэнда. Другими словами, хотя мы пишем SQL, выполняется TensorFlow. BigQuery ML перенимает..
Оптимизация таблиц BigQuery с использованием секционирования: таблицы, секционированные по столбцам в единицах времени
В частности, при работе с большими данными затраты могут быстро возрасти, а производительность может быстро снизиться, когда данные начнут накапливаться. BigQuery предлагает возможность создавать многораздельные таблицы, что помогает предотвратить резкий рост затрат и снижение производительности. Конечно, вариант использования должен соответствовать идее разделения, даже несмотря на то, что большинство вариантов использования больших данных должны подходить туда тем или иным образом...
[Большой запрос] Создание повторяющегося набора данных Splits
Подготовка среды Шаг 1. Перейти на сайт платформы GCP Шаг 2. Проверьте платформу AI и выберите ноутбуки Шаг 3. Создать новый экземпляр есть несколько вариантов, которые вы можете выбрать, это так удивительно! Шаг 4. Откройте JupyterLab, нажмите «открыть jupyerlab», вы перейдете на сайт Шаг 5. Щелкните значок терминала, запустите терминал и клонируйте репозиторий, после чего вы увидите, как появится каталог. git clone..