В чем разница в производительности между использованием parallel.foreach и задачей внутри цикла foreach?

Во-первых, лучшая документация по этому вопросу — Часть V CLR через C#.

https://rads.stackoverflow.com/amzn/click/com/0735667454

Во-вторых, я ожидаю, что Parallel.Foreach будет работать лучше, потому что он будет не только создавать задачи, но и группировать их. В книге Джеффри Рихтера он объясняет, что задачи, которые запускаются индивидуально, будут помещены в очередь пула потоков. Блокировка фактической очереди пула потоков сопряжена с некоторыми накладными расходами. Для борьбы с этим сами Задачи имеют свою собственную очередь для Задач, которые они создают. Эта подочередь задач, хранящаяся в Tasks, может выполнять некоторую работу без блокировки!

Мне пришлось бы перечитать эту главу еще раз (глава 27), поэтому я не уверен, что Parallel.Foreach работает таким образом, но именно этого я и ожидал.

Блокировка, объясняет он, стоит дорого, потому что требует доступа к конструкции уровня ядра.

В любом случае не ожидайте, что они будут обрабатываться последовательно. Использование Parallel.Foreach с меньшей вероятностью будет обрабатываться последовательно, чем ключевое слово foreach из-за вышеупомянутых внутренних механизмов.

Что делает Parallel.ForEach(), так это то, что он создает небольшое количество Task для обработки итераций вашего цикла. Task относительно дешевы, но не бесплатны, поэтому это способствует повышению производительности. И тело вашего цикла выполняется быстро, улучшение может быть очень большим. Это наиболее вероятное объяснение поведения, которое вы наблюдаете.

Сколько задач вы выполняете? Просто создание новой задачи может потребовать значительного количества времени, если вы достаточно зацикливаетесь. то есть следующее выполняется за 15 мс для первого блока и более 1 секунды для 2-го блока, а 2-й блок даже не запускает задачу. Раскомментируйте Start, и время увеличится почти до 3 секунд. WaitAll добавляет лишь небольшое количество.

static class Program
{
    static void Main()
    {
        const int max = 3000000;
        var range = Enumerable.Range(0, max).ToArray();
        {
            var sw = new Stopwatch();
            sw.Start();
            Parallel.ForEach(range, i => { });
            sw.Stop();
            Console.WriteLine(sw.ElapsedMilliseconds);
        }
        {
            var tasks = new Task[max];
            var sw = new Stopwatch();
            sw.Start();
            foreach (var i in range)
            {
                tasks[i] = new Task(()=> { });
                //tasks[i].Start();
            }
            //Task.WaitAll(tasks);
            sw.Stop();
            Console.WriteLine(sw.ElapsedMilliseconds);
        }
    }
}