Чтение только заголовка и/или META-тега HTML-файла без загрузки всего HTML-файла.

Я думаю, вы можете открыть поток с этим URL-адресом и использовать этот поток для чтения первых x байтов, я не могу назвать точное число, но я думаю, что вы можете установить разумное число, чтобы получить заголовок и описание.

HttpWebRequest fileToDownload = (HttpWebRequest)HttpWebRequest.Create("YourURL");
            using (WebResponse fileDownloadResponse = fileToDownload.GetResponse())
            {
                using (Stream fileStream = fileDownloadResponse.GetResponseStream())
                {
                    using (StreamReader fileStreamReader = new StreamReader(fileStream))
                    {
                        char[] x = new char[Number];
                        fileStreamReader.Read(x, 0, Number);
                        string data = "";
                        foreach (char item in x)
                        {
                            data += item.ToString();
                        }
                    }
                }
            }

Я подозреваю, что WebClient сначала попытается загрузить всю страницу, и в этом случае вам, вероятно, понадобится необработанный клиентский сокет. Отправьте соответствующий HTTP-запрос (вручную, поскольку вы используете необработанные сокеты), начните читать ответ (который не будет сразу) и завершите соединение, когда вы достаточно прочитали. Тем не менее, остальная часть, вероятно, уже будет отправлена ​​​​с сервера и доберется до вашего ПК, хотите вы этого или нет, поэтому вы можете не сэкономить большую часть полосы пропускания.

В зависимости от того, для чего вы это хотите, многие полуприличные веб-сайты имеют пользовательскую страницу 404, которая намного проще, чем известная страница. Другое дело, есть ли там информация, которая вам нужна.

Вы можете использовать глагол «HEAD» в HttpWebRequest, чтобы вернуть заголовки ответа (не элемент). Чтобы получить полный элемент с метаданными, вам нужно загрузить страницу и проанализировать нужные метаданные.

System.Net.WebRequest.Create(uri) { Method = "HEAD" };