Выгрузка и загрузка больших файлов в ASP.NET Core 3.1?

Если у вас есть файлы такого размера, никогда не используйте byte[] или MemoryStream в своем коде. Работайте с потоками только в том случае, если вы загружаете / загружаете файлы.

У вас есть несколько вариантов:

• Если вы контролируете и клиент, и сервер, подумайте об использовании чего-то вроде tus. Для .NET существуют как клиентские, так и серверные реализации. Это, вероятно, самый простой и надежный вариант.
• Если вы загружаете большие файлы с помощью HttpClient, просто используйте класс StreamContent для их отправки. Опять же, не используйте MemoryStream в качестве источника, а что-то другое, например FileStream.
• Если вы загружаете большие файлы с помощью HttpClient, важно указать HttpCompletionOptions, например var response = await httpClient.SendAsync(httpRequest, HttpCompletionOption.ResponseHeadersRead). В противном случае HttpClient будет буферизовать весь ответ в памяти. Затем вы можете обработать файл ответов как поток через var stream = response.Content.ReadAsStreamAsync().

Конкретный совет ASP.NET Core:

• Если вы хотите получать файлы через HTTP POST, вам необходимо увеличить лимит размера запроса: [RequestSizeLimit(10L * 1024L * 1024L * 1024L)] и [RequestFormLimits(MultipartBodyLengthLimit = 10L * 1024L * 1024L * 1024L)]. Кроме того, вам необходимо отключить привязку значения формы, иначе весь запрос будет буферизирован в память:

   [AttributeUsage(AttributeTargets.Class | AttributeTargets.Method)]
   public class DisableFormValueModelBindingAttribute : Attribute, IResourceFilter
   {
       public void OnResourceExecuting(ResourceExecutingContext context)
       {
           var factories = context.ValueProviderFactories;
           factories.RemoveType<FormValueProviderFactory>();
           factories.RemoveType<FormFileValueProviderFactory>();
           factories.RemoveType<JQueryFormValueProviderFactory>();
       }

       public void OnResourceExecuted(ResourceExecutedContext context)
       {
       }
   }

• Чтобы вернуть файл из контроллера, просто верните его с помощью метода File, который принимает поток: return File(stream, mimeType, fileName);

Пример контроллера будет выглядеть так (см. https://docs.microsoft.com/en-us/aspnet/core/mvc/models/file-uploads?view=aspnetcore-3.1 для отсутствующих вспомогательных классов):

private const MaxFileSize = 10L * 1024L * 1024L * 1024L; // 10GB, adjust to your need

[DisableFormValueModelBinding]
[RequestSizeLimit(MaxFileSize)]
[RequestFormLimits(MultipartBodyLengthLimit = MaxFileSize)]
public async Task ReceiveFile()
{
    if (!MultipartRequestHelper.IsMultipartContentType(Request.ContentType))
        throw new BadRequestException("Not a multipart request");

    var boundary = MultipartRequestHelper.GetBoundary(MediaTypeHeaderValue.Parse(Request.ContentType));
    var reader = new MultipartReader(boundary, Request.Body);

    // note: this is for a single file, you could also process multiple files
    var section = await reader.ReadNextSectionAsync();

    if (section == null)
        throw new BadRequestException("No sections in multipart defined");

    if (!ContentDispositionHeaderValue.TryParse(section.ContentDisposition, out var contentDisposition))
        throw new BadRequestException("No content disposition in multipart defined");

    var fileName = contentDisposition.FileNameStar.ToString();
    if (string.IsNullOrEmpty(fileName))
    {
        fileName = contentDisposition.FileName.ToString();
    }

    if (string.IsNullOrEmpty(fileName))
        throw new BadRequestException("No filename defined.");

    using var fileStream = section.Body;
    await SendFileSomewhere(fileStream);
}

// This should probably not be inside the controller class
private async Task SendFileSomewhere(Stream stream)
{
    using var request = new HttpRequestMessage()
    {
        Method = HttpMethod.Post,
        RequestUri = new Uri("YOUR_DESTINATION_URI"),
        Content = new StreamContent(stream),
    };
    using var response = await _httpClient.SendAsync(request);
    // TODO check response status etc.
}

В этом примере мы передаем весь файл в другую службу. В некоторых случаях было бы лучше временно сохранить файл на диск.

Я нашел эту статью полезной - https://www.tugberkugurlu.com/archive/efficiently-streaming-large-http-responses-with-httpclient

Вот версия кода для загрузки большого файла:

static public async Task HttpDownloadFileAsync(HttpClient httpClient, string url, string fileToWriteTo) {
  using HttpResponseMessage response = await httpClient.GetAsync(url, HttpCompletionOption.ResponseHeadersRead);
  using Stream streamToReadFrom = await response.Content.ReadAsStreamAsync(); 
  using Stream streamToWriteTo = File.Open(fileToWriteTo, FileMode.Create); 
  await streamToReadFrom.CopyToAsync(streamToWriteTo);
}

Иногда проблема заключается в том, что мы использовали Nginx в качестве прокси-сервера для нашего приложения asp.net Core, развернутого в докере в среде ubuntu / Linux. Это именно то, что в моем случае, когда я пытался отлаживать на стороне ядра докера или .net, но фактическое решение приходит путем настройки конфигурации Nginx как

client_max_body_size 50M;

эту строку можно добавить в часть настройки Nginx для местоположения или сервера для вашего сайта, на котором вы столкнулись с проблемами.

Может быть кому-то полезно.

Проблема в том, что вам приходится иметь дело с длинными файлами, где бы вы ни потребляли их, вам нужны большие ресурсы для чтения. Одно из возможных решений - разделить файл на основе информации на разные части или обработать его в отдельном задании или потоке или использовать параллелизм в .net для его обработки. вы можете указать размер файла, а также прочитайте следующий очень полезный для вас блог.

Загрузить большие файлы