Публикации по теме 'big-data'


Задержки рейсов в районе залива
Хэл Райт, июль 2016 г. Введение Организация коммерческих авиаперевозок — это логистическая проблема, которая ежедневно затрагивает большое количество потребителей в США. Каждый год в США совершаются миллионы внутренних рейсов, и в 2015 году около 38% всех внутренних рейсов были задержаны. Задержки доставляют неудобства пассажирам и якобы обходятся американским потребителям в миллиарды долларов ежегодно . Резюме Целью этого проекта было создание инструмента, который реализует..
Хорошо обученная обезьяна против команды выпускников Гарварда в сфере интеллектуального анализа данных
Хорошо обученная обезьяна против команды выпускников Гарварда в сфере интеллектуального анализа данных Эта статья является второй в серии статей о будущем прогнозной аналитики и науки о данных. Первая была опубликована под трогательным названием Споры на остывающем трупе науки о данных . Благодаря многолетней истории обучения гипнотическому маркетингу необычайной ценности прогностической аналитики большинство людей считают ее сверхъестественной наукой и верят, что лишь несколько..
Как Nike использует прогнозную аналитику
Как Nike использует прогнозную аналитику Данные с судьбой. Заголовки сделали недавнее приобретение Nike компании Celect, занимающейся прогнозной аналитикой. В более широком контексте это приобретение имеет большой смысл. 87% доходов Nike поступает от оптовых покупателей, но гигант спортивной одежды хочет вернуть себе право на обслуживание клиентов. Все это связано с членством в NikePlus, и легко понять, почему; участники тратят на Nike.com в три раза больше, чем гости...
4 ПРОГНОЗА, КАК ДАННЫЕ ИЗМЕНЯЮТ ВСЕ
Это вторая часть серии из двух частей от Hadoop Summit. В соответствующем посте Роб Бердон рассказывает о том, как данные преобразуют все, и о необходимости подключенных платформ данных. В качестве продолжения, вот четыре прогноза для технологий, лежащих в основе этой трансформации. #1 — ИНТЕЛЛЕКТУАЛЬНЫЕ САМОКОНФИГУРИРУЕМЫЕ СЕТИ ОБЕСПЕЧАТ НОВУЮ И БЫСТРУЮ ДОСТАВКУ ДАННЫХ И АНАЛИТИКУ ЧЕРЕЗ ОБЛАКА ДАННЫХ Мы все согласны с тем, что количество подключенных устройств и датчиков будет..
Как использовать контроль версий данных (dvc) в проекте машинного обучения
Работая над продуктивным проектом машинного обучения, вы, вероятно, имеете дело с большим количеством данных и несколькими моделями. Чтобы отслеживать, какие модели были обучены с какими данными, вы должны использовать систему для версии данных, аналогичную управлению версиями и отслеживанию вашего кода. Одним из способов решения этой проблемы является dvc (Data Version Control, https://dvc.org/ ), который подходит к управлению версиями данных аналогично Git. Чтобы проиллюстрировать..
Выполните линейную регрессию с использованием Python, Spark и MLlib для работы с большими данными
Хотя в этой статье мы не будем использовать распределенные данные, мы будем строить модель линейной регрессии с использованием Python, Spark и MLlib, чтобы у нас была интуиция для машинного обучения, когда дело доходит до работы с большими данными. Начнем с создания сеанса Spark, from pyspark.sql import SparkSession spark = SparkSession.builder.appName('lrex').getOrCreate() Теперь из pyspark импортируем функцию регрессии лайнера точно так же, как мы это делали бы с библиотекой..
Экстремальная наука о данных
Экстремальная наука о данных - это экономия времени и возможность быстро представить готовые решения. То есть, как можно быстро извлечь пользу из данных? Некоторые из серьезных проблем с традиционной наукой о данных - это трудоемкое исследование, очистка и проектирование функций, специфичных для каждого набора данных. Кроме того, почти всегда требуются часы ручной установки значений и принятия решений человеком. Вдобавок ко всему, все манипуляции с набором данных должны..