Параллельные фоновые задачи в очереди с размещенными службами в ASP.NET Core

Размещенный вами код выполняет элементы очереди по порядку, по одному, а также параллельно с веб-сервером. IHostedService выполняется для каждого определения параллельно с веб-сервером. Эта статья содержит хороший обзор.

Рассмотрим следующий пример:

_logger.LogInformation ("Before()");
for (var i = 0; i < 10; i++)
{
  var j = i;
  _backgroundTaskQueue.QueueBackgroundWorkItem (async token =>
  {
    var random = new Random();
    await Task.Delay (random.Next (50, 1000), token);
    _logger.LogInformation ($"Event {j}");
  });
}
_logger.LogInformation ("After()");

Мы добавляем десять задач, которые будут ждать случайное количество времени. Если вы поместите код в метод контроллера, события все равно будут регистрироваться даже после возврата метода контроллера. Но каждый элемент будет выполняться по порядку, так что вывод будет выглядеть следующим образом:

Event 1
Event 2
...
Event 9
Event 10

Чтобы ввести параллелизм, мы должны изменить реализацию метода BackgroundProceessing в методе QueuedHostedService.

Вот пример реализации, которая позволяет выполнять две задачи параллельно:

private async Task BackgroundProceessing()
{
  var semaphore = new SemaphoreSlim (2);

  void HandleTask(Task task)
  {
    semaphore.Release();
  }

  while (!_shutdown.IsCancellationRequested)
  {
    await semaphore.WaitAsync();
    var item = await TaskQueue.DequeueAsync(_shutdown.Token);

    var task = item (_shutdown.Token);
    task.ContinueWith (HandleTask);
  }
}

При использовании этой реализации порядок регистрируемых событий больше не соответствует порядку, поскольку каждая задача ожидает случайный промежуток времени. Таким образом, вывод может быть:

Event 0
Event 1
Event 2
Event 3
Event 4
Event 5
Event 7
Event 6
Event 9
Event 8

edit: Можно ли в производственной среде выполнять код таким образом, не дожидаясь его?

Я думаю, что причина, по которой у большинства разработчиков возникают проблемы с принципом «выстрелил и забыл», заключается в том, что им часто злоупотребляют.

Когда вы выполняете Task с помощью «выстрелил и забыл», вы в основном говорите мне, что вас не волнует результат этой функции. Вам все равно, успешно ли он завершится, будет ли он отменен или возникнет исключение. Но для большинства Task вам действительно важен результат.

• Вы хотите убедиться, что запись в базу данных прошла
• Вы хотите убедиться, что запись журнала записана на жесткий диск
• Вы хотите убедиться, что сетевой пакет отправлен получателю

А если вас волнует результат Task, то метод "выстрелил-забыл" - неправильный метод.

Вот и все, на мой взгляд. Сложность заключается в том, чтобы найти Task, где вас действительно не волнует результат Task.

Вы можете добавить QueuedHostedService один или два раза для каждого процессора в машине.

Что-то вроде этого:

for (var i=0;i<Environment.ProcessorCount;++i)
{
    services.AddHostedService<QueuedHostedService>();
}

Вы можете скрыть это в методе расширения и сделать уровень параллелизма настраиваемым, чтобы все было чисто.