Публикации по теме 'big-data'


PySpark UDF (определяемая пользователем функция)
Самая полезная функция Spark SQL и DataFrame для расширения встроенных возможностей PySpark. Введение PySpark, Python API для Apache Spark, — это мощная платформа для обработки и анализа больших данных. Он предлагает широкий спектр встроенных функций для обработки и преобразования данных. Однако существуют сценарии, в которых этих встроенных функций может быть недостаточно, и требуется применение пользовательской логики к данным. Вот где в игру вступают пользовательские функции..
MDM на основе ИИ
Прошли те времена, когда управление мастер-данными считалось простой вспомогательной услугой, которая рассматривалась как пустая трата денег, времени и терпения. Я уверен, что специалисты по MDM справедливо не согласятся с тем, что MDM — тривиальное занятие для предприятий. MDM больше не просто продукт или часть программного обеспечения. Это проект. На самом деле вы можете вычеркнуть это, это программа. MDM играет решающую роль в обеспечении того, чтобы данные клиентов всегда..
Воскресный брифинг D4S № 58
Выпуск №58 Воскресный брифинг D4S № 58 Еженедельный информационный бюллетень с последними разработками в области науки о данных, машинного обучения и искусственного интеллекта. 05 июля 2020 г. Дорогие друзья, Добро пожаловать в воскресный брифинг, который выйдет 4 июля на выходных. На этой неделе у нас перерыв в ведении блога, но вы можете ознакомиться с нашей последней записью в блоге. в серии CoVID-19 в блоге: CoVID-19: Первое по-настоящему глобальное событие . В этом посте..
Революция данных
Интернет изменил нашу жизнь — у нас есть доступ к данным со всего мира на кончиках наших пальцев. Если вы хотите что-то узнать, просто погуглите. Сейчас интернет вещей (IoT) стремится улучшить нашу повседневную жизнь, помогая нам следить за собой — все имеет датчик и собирает данные о вас. Однако революция не закончилась. Ожидается, что интернет и большие данные изменят жизнь белых воротничков подобно тому, как промышленная революция изменила жизнь синих воротничков в конце 1800-х и..
Как машинное обучение меняет здравоохранение, финансы и сельское хозяйство
И ведущая социальная трансформация Первая промышленная революция, основанная на паровых двигателях, привела к переходу к новым производственным процессам, изменившим мир. Вторая промышленная революция привела к ускоренному производству железа, стали, химикатов и сетей связи. Третья революция автоматизировала производственный процесс с помощью передовых инструментов и технологий. Четвертая революция, которую мы переживаем сейчас, основана на искусственном интеллекте, алгоритмах и..
Практический пример Spark: понимание механизма аналитики для больших данных и машинного обучения
Пример использования Spark: понимание механизма аналитики для больших данных и машинного обучения Apache Spark — это распределенная система обработки с открытым исходным кодом и унифицированный вычислительный механизм, используемый для задач с большими данными. Он использует кэширование в памяти и оптимизированную реализацию запросов для срочных запросов для…
Раскрытие возможностей больших данных и облачных вычислений в науке о данных
Введение С ростом числа подключенных устройств большие данные и облачные вычисления проникают в цифровой мир. Они позволили организациям собирать данные с беспрецедентной скоростью. Эти технологии могут помочь компаниям понять поведение клиентов, разработать новые продукты и улучшить операции. В этом посте мы…