Публикации по теме 'dataflow'
Тензорный поток и ЛУЧ
Распределенная обработка для производственных конвейеров машинного обучения
Машинное обучение с помощью Apache Beam и TensorFlow | Облачный поток данных В этом пошаговом руководстве показано, как выполнять предварительную обработку, обучение и прогнозирование модели машинного обучения с помощью Apache… cloud.google.com
https://www.youtube.com/watch?v=v1DrnY8caVU
Машинное обучение с Apache Beam и TensorFlow
В..
Системы потоков данных и реактивного программирования
Это отрывок из книги Dataflow and Reactive Programming Systems
Введение
Поток данных — это метод реализации программного обеспечения, который сильно отличается от преобладающего метода фон Неймана, на котором с самого начала основывалась индустрия программного обеспечения.
На самом низком уровне поток данных — это и стиль программирования, и способ управления параллелизмом. В верхней части поток данных представляет собой всеобъемлющую архитектуру, которая может беспрепятственно..
Как использовать прогнозы погоды ЕЦСПП в моделях машинного обучения
Загрузка данных, запрос исторической погоды, обучение модели ML
Европейский центр среднесрочного прогнозирования погоды (ECMWF) предоставляет прогнозы погоды по всему миру. Если у вас есть задача машинного обучения, для которой в качестве входной функции требуется погода (например, вы пытаетесь спрогнозировать спрос на зонты или мороженое), вы можете использовать данные ЕЦСПП для обучения модели машинного обучения на исторических данных и использовать прогнозы ЕЦСПП в реальном времени,..
Оркестрация операций MLOps с помощью инновационного соединителя данных
Источники бизнес-данных продолжают неуклонно расти, и средней компании требуется несколько баз данных для поддержки работы более 40 различных приложений SaaS. Коннекторы данных упрощают извлечение данных, инкапсулируя детали заданной базы данных, ограничивая ее областью действия в определенной рабочей области и позволяя принимать данные для моделей машинного обучения для приложений машинного обучения. Благодаря одновременному доступу к разрозненным хранилищам данных можно значительно..
Tensorflow против Keras против Pytorch: какой фреймворк лучше?
Tensorflow против Keras против Pytorch: какой фреймворк лучше?
Мы видим, что в современном требовательном мире существует 3 основных фреймворка глубокого обучения. Однако по-прежнему существует путаница, когда использовать Tensorflow / Keras / Pytorch. Итак, давайте немного углубимся в детали каждой из этих платформ с учетом приведенных ниже факторов и посмотрим, какая из них соответствует вашим потребностям, а кто стоит на вершине.
Введение:
Тензорный поток:
Tensor Flow -..
Настройка Apache Nifi на контейнерах Docker
На ум приходит Apache Nifi, если вы ищете простой, но надежный инструмент для обработки данных из различных источников. Вы хотите поэкспериментировать, но не знаете, с чего начать? Это руководство для вас.
Система, над которой я работаю, вот-вот подвергнется значительному техническому обновлению. Цель состоит в том, чтобы устранить существующие препятствия, мешающие принимать больше данных. Для решения проблемы требуется продукт, который получает входные данные из внешних..
Вопросы по теме 'dataflow'
экспортировать продукты в csv из сетки продуктов администратора
Профиль импортируемых продуктов позволяет вам фильтровать, какие продукты экспортировать по названию, артикулу... Я хочу иметь такую же функциональность на странице управления продуктами. Администратор будет фильтровать продукты в сетке, а затем...
8188 просмотров
schedule
23.05.2023
Подключаемые блоки векторной обработки в Clojure
Я разрабатываю некоторое программное обеспечение для моделирования в Clojure, которое должно будет обрабатывать множество векторных данных (в основном возникающих в виде смещений в массивы с плавающей запятой Java, длина которых обычно находится в...
285 просмотров
schedule
18.03.2022
Есть ли какая-нибудь электронная таблица, которая использует репозиторий формул вместо того, чтобы писать несколько копий непосредственно в ячейке?
Мне нравятся программы-таблицы, но есть в них одна неприятная вещь: формулы нужно вводить в ячейки. Имеет несколько выводов:
Мне нужно просмотреть все ячейки , чтобы увидеть, что происходит на листе;
если я изменяю формулу, я должен...
500 просмотров
schedule
31.05.2023
Как вызвать TriggerBatch автоматически после тайм-аута, если количество элементов в очереди меньше, чем BatchSize?
Использование Dataflow CTP (в TPL)
Есть ли способ вызвать BatchBlock.TriggerBatch автоматически, если количество текущих или отложенных элементов меньше, чем BatchSize, после тайм-аута?
И лучше: этот таймаут должен сбрасываться на 0 каждый раз,...
3378 просмотров
schedule
02.06.2022
Как создавать диаграммы потоков данных с помощью Java
Я студент инженерного факультета; Я изучал графы потоков данных. Я уже сделал парсер с помощью Antlr, но я не знаю, как делать диаграммы потоков данных. Я прочитал статью о том, что с помощью Java можно создавать графики потоков данных. Пожалуйста...
3317 просмотров
schedule
20.10.2022
Почему переменные DataFlow могут быть назначены только один раз
В эти дни я изучаю библиотеку GPars (Groovy Parallel System) и наткнулся на переменные DataFlow. В документации говорится, что переменные потока данных могут быть назначены только один раз. Однако я не смог найти причину этого ограничения.
Может...
377 просмотров
schedule
10.08.2022
Анализ потока данных Resharper
Я широко использую библиотеку потоков данных TPL, и мне очень нравится функция «используется» в R#. Что было бы неплохо, так это посмотреть на используемый метод, который является целью ITargetBlock (скорее всего, блока Action), и вернуть список...
224 просмотров
schedule
26.05.2022
SSIS использовать задачу DataFlow с переменными вместо исходной базы данных
У меня есть задача, над которой я работаю, которая поставила меня в тупик. Надеюсь, вы можете мне помочь. Я использую задачу потока данных, которая в основном вставляет строку в таблицу sqlite. Я делал это с помощью «задачи SQL», но, к сожалению,...
11668 просмотров
schedule
25.07.2022
Что случилось с параметром discardMessages LinkTo потока данных?
Во «Введении в поток данных TPL» Стивен Тауб пишет в LinkTo: «... и каким должно быть поведение, если предикат не выполняется (например, если такое сообщение просто отбрасывается, если такое сообщение отклоняется и предлагается другим целям , и...
180 просмотров
schedule
21.06.2023
Что именно означает контекст в контекстно-зависимом анализе?
Этот вопрос задавался ранее , но ответы очень общие. Мне интересно узнать, что означает контекст в контексте статического анализа кода, особенно в Java, и при использовании в сочетании с термином контекстно-зависимый анализ .
Например, эта...
3077 просмотров
schedule
09.06.2023
Получить уровень иерархии
У меня есть массив объектов, где каждый объект имеет свойство id и ParentId (поэтому их можно расположить в деревьях). Они не в определенном порядке.
Обратите внимание, что id и parentId не будут целыми числами, они будут строками (просто...
4817 просмотров
schedule
18.05.2023
MQ для асинхронной обработки, агрегирования и публикации данных
Немного предыстории, прежде чем перейти к настоящему вопросу:
Я работаю над серверным приложением, которое состоит из нескольких разных модулей. В настоящее время каждый модуль представляет собой Java-приложение командной строки, которое...
939 просмотров
schedule
19.07.2023
Построение потока данных с помощью SSIS
Я работаю с SSIS уже несколько месяцев, я пытаюсь реализовать поток данных, чтобы заменить последовательность задач SQL, используемых для некоторого преобразования данных.
Описание потока данных:
Источник :
Каждая строка дает информацию об...
98 просмотров
schedule
15.03.2023
Нужна помощь по SSIS
У нас есть одно задание SQL Server для передачи данных с одного сервера sql на другой сервер sql m/c. Оба m/c расположены в другом месте. В настоящее время мы используем связанный сервер, но его производительность очень низкая. Поэтому мы подумали о...
79 просмотров
schedule
28.10.2022
Блоки потока данных TPL, работающие в потоке пользовательского интерфейса
Я создаю конвейер потока данных для выполнения различной обработки (в основном ввода-вывода, но некоторой обработки ЦП), которая находится в естественном потоке. Поток в настоящее время находится в этом базовом шаблоне:
Загрузить данные из файла...
1013 просмотров
schedule
24.07.2022
Набор данных SQL с произвольным числом столбцов (службы SQL Server Integration Services [SSIS])
Предыстория:
Я пытаюсь перебрать список файлов .sql, выполнить каждый файл, сохранить результат каждого запроса в текстовый файл с разделителями и специальным именем. Прямо сейчас я добиваюсь этого, используя полностью автономную программу на...
150 просмотров
schedule
06.06.2022
Magento экспортирует продукты с настраиваемым полем
Я использую поток данных - профили для экспорта всех продуктов.
Но мне нужно больше столбцов из сопоставления столбцов по умолчанию. Мне нужны следующие столбцы
Идентификатор объекта
Название категории (по умолчанию доступен идентификатор...
698 просмотров
schedule
04.05.2024
Перемещение вызова динамического метода в библиотеку классов вызывает исключение RuntimeBinderException в C#.
Я читал интересная статья, использующая вызов динамического метода DataFlow + для создания модели Актера в C# . Вот завершенный пример дословно.
using System;
using System.Threading.Tasks.Dataflow;
namespace ConsoleApplication
{
public...
119 просмотров
schedule
01.06.2023
Импорт связанных продуктов и допродаж с помощью Csv
Мне трудно найти способ добавить сопутствующие товары и дополнительные продажи на мой сайт magento. Я нашел шаблон с другой веб-страницы, в котором указано, что .csv должен выглядеть так:
sku---links_upsell_sku---links_related_sku
Я...
541 просмотров
schedule
16.06.2023
SSIS — вывод ошибок — строка перенаправления
У меня есть вопрос о результате, который я получаю при выполнении задачи в SSIS.
Во-первых, этот запрос выполняется из Access. Исходным источником является набор таблиц в Oracle, а назначением — локальная таблица в Access. Эта таблица имеет...
903 просмотров
schedule
01.07.2023
