Соавтор Этот блог создан совместно с Эриком Паком . Приквел Это история о том, как мы, специалисты по обработке данных и инженеры по машинному обучению в Zendesk, вышли из темной эры инструментов машинного обучения, создали собственный инструментарий pakkr pipeline и поделились им с мир. The Dark Age: Life Pre-pakkr и как мы пришли сюда В настоящее время многие компании говорят о важности конвейеров данных. Хороший конвейер машинного обучения помогает специалистам по..

(первоначально опубликовано в 2015 году на сайте bionics.it ) Как только поднимается тема научных рабочих процессов, всегда найдется несколько поклонников Make, горячо настаивающих на том, что проблема рабочих процессов решена раз и навсегда с помощью GNU make , впервые написанного в 70-х годах :) Лично я не был так уверен. С одной стороны, я знаю, что инструмент решает множество проблем для многих людей. Кроме того, есть что-то очень привлекательное в построении инструмента,..

Чтение, «Райтинг, рекурсия и повторное использование Конвейеры данных соединяют графы задач вместе, читая и записывая по каналам данных между ними. В предыдущих постах мы намекали на то, как платформа с более умными ссылками и более умными задачами может помочь пользователям разрабатывать и тестировать схемы обработки. Это могло бы упростить — а возможно, даже устранить — некоторые проблемы, которые мешают конвейерам данных, позволив платформе выполнять работу по обработке, вместо того,..

Реализация умных рабочих пространств В этой серии публикаций мы описали многие проблемы, которые окружают конвейеры данных, прошлые и настоящие, в основном из-за традиционного понимания управления рабочими процессами. Тем не менее, эта история, даже со всеми ее историческими перипетиями и поворотами, является верхушкой айсберга, который в настоящее время распространяется на предприятия и социальные сети. По мере того, как мы расширяем сервисы данных во всех уголках нашей жилой и рабочей..

Наличие эффективных конвейеров данных имеет первостепенное значение для любой модели машинного обучения. В этом блоге мы узнаем, как использовать модуль TensorFlow Dataset tf.data для создания эффективных конвейеров данных. Мотивация Большинство вводных статей о TensorFlow знакомят вас с feed_dict методом подачи данных в модель. feed_dict обрабатывает входные данные в одном потоке, и пока данные загружаются и обрабатываются в ЦП, ГП остается в режиме ожидания, а когда ГП..