Невозможно установить некоторые заголовки HTTP при использовании System.Net.WebRequest

Если вам нужен краткий и технический ответ, перейдите к последнему разделу ответа.

Если вы хотите узнать лучше, прочтите все это, и я надеюсь, вам понравится ...

Сегодня я тоже решил эту проблему, и сегодня я обнаружил следующее:

1. приведенные выше ответы верны, так как:

   1.1 он сообщает вам, что заголовок, который вы пытаетесь добавить, уже существует, и вы должны затем изменить его значение, используя соответствующее свойство (например, индексатор), вместо того, чтобы пытаться добавить его снова.

   1.2 Каждый раз, когда вы меняете заголовки HttpWebRequest, вам необходимо использовать соответствующие свойства самого объекта, если они существуют.

Спасибо FOR и Jvenema за руководящие принципы ...

2. Но я выяснил, что это был недостающий элемент в головоломке:

   2.1 Доступ к классу WebHeaderCollection обычно осуществляется через WebRequest.Headers или WebResponse.Headers. Некоторые общие заголовки считаются ограниченными и либо предоставляются непосредственно API (например, Content-Type), либо защищены системой и не могут быть изменены.

Ограниченные заголовки:

• Accept
• Connection
• Content-Length
• Content-Type
• Date
• Expect
• Host
• If-Modified-Since
• Range
• Referer
• Transfer-Encoding
• User-Agent
• Proxy-Connection

Итак, в следующий раз, когда вы столкнетесь с этим исключением и не знаете, как его решить, помните, что есть некоторые ограниченные заголовки, и решение состоит в том, чтобы изменить их значения, используя соответствующее свойство явно из класса _18 _ / _ 19_.

Изменить: (полезно, из комментариев, комментарий пользователя Кайдо)

Решение состоит в том, чтобы проверить, существует ли заголовок уже или ограничен (WebHeaderCollection.IsRestricted(key)) перед вызовом add

Я столкнулся с этой проблемой с настраиваемым веб-клиентом. Я думаю, что люди могут запутаться из-за множества способов сделать это. При использовании WebRequest.Create() вы можете преобразовать его в HttpWebRequest и использовать свойство для добавления или изменения заголовка. При использовании WebHeaderCollection вы можете использовать .Add("referer","my_url").

Ex 1

WebClient client = new WebClient();
client.Headers.Add("referer", "http://stackoverflow.com");
client.Headers.Add("user-agent", "Mozilla/5.0");

Ex 2

HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
request.Referer = "http://stackoverflow.com";
request.UserAgent = "Mozilla/5.0";
response = (HttpWebResponse)request.GetResponse();

Все предыдущие ответы описывают проблему, не предлагая решения. Вот метод расширения, который решает проблему, позволяя вам установить любой заголовок через его строковое имя.

Использование

HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;
request.SetRawHeader("content-type", "application/json");

Класс расширения

public static class HttpWebRequestExtensions
{
    static string[] RestrictedHeaders = new string[] {
            "Accept",
            "Connection",
            "Content-Length",
            "Content-Type",
            "Date",
            "Expect",
            "Host",
            "If-Modified-Since",
            "Keep-Alive",
            "Proxy-Connection",
            "Range",
            "Referer",
            "Transfer-Encoding",
            "User-Agent"
    };

    static Dictionary<string, PropertyInfo> HeaderProperties = new Dictionary<string, PropertyInfo>(StringComparer.OrdinalIgnoreCase);

    static HttpWebRequestExtensions()
    {
        Type type = typeof(HttpWebRequest);
        foreach (string header in RestrictedHeaders)
        {
            string propertyName = header.Replace("-", "");
            PropertyInfo headerProperty = type.GetProperty(propertyName);
            HeaderProperties[header] = headerProperty;
        }
    }

    public static void SetRawHeader(this HttpWebRequest request, string name, string value)
    {
        if (HeaderProperties.ContainsKey(name))
        {
            PropertyInfo property = HeaderProperties[name];
            if (property.PropertyType == typeof(DateTime))
                property.SetValue(request, DateTime.Parse(value), null);
            else if (property.PropertyType == typeof(bool))
                property.SetValue(request, Boolean.Parse(value), null);
            else if (property.PropertyType == typeof(long))
                property.SetValue(request, Int64.Parse(value), null);
            else
                property.SetValue(request, value, null);
        }
        else
        {
            request.Headers[name] = value;
        }
    }
}

Сценарии

Я написал оболочку для HttpWebRequest и не хотел раскрывать все 13 ограниченных заголовков как свойства в моей оболочке. Вместо этого я хотел использовать простой Dictionary<string, string>.

Другой пример - HTTP-прокси, где вам нужно взять заголовки в запросе и переслать их получателю.

Есть много других сценариев, в которых использование свойств просто непрактично или невозможно. Принуждение пользователя к установке заголовка через свойство - это очень негибкий дизайн, поэтому требуется отражение. Положительным моментом является то, что отражение абстрагируется, оно по-прежнему быстрое (0,001 секунды в моих тестах) и как метод расширения кажется естественным.

Примечания

Имена заголовков нечувствительны к регистру согласно RFC, http://www.w3.org/Protocols/rfc2616/rfc2616-sec4.html#sec4.2

У меня было такое же исключение, когда мой код пытался установить значение заголовка «Принять» следующим образом:

WebRequest request = WebRequest.Create("http://someServer:6405/biprws/logon/long");
request.Headers.Add("Accept", "application/json");

Решением было изменить его на это:

HttpWebRequest request = (HttpWebRequest)WebRequest.Create("http://someServer:6405/biprws/logon/long");
request.Accept = "application/json";

Каждый раз, когда вы меняете заголовки HttpWebRequest, вам необходимо использовать соответствующие свойства самого объекта, если они существуют. Если у вас есть простой WebRequest, сначала не забудьте преобразовать его в HttpWebRequest. Тогда к Referrer в вашем случае можно будет получить доступ через ((HttpWebRequest)request).Referrer, поэтому вам не нужно напрямую изменять заголовок - просто установите для свойства правильное значение. ContentLength, ContentType, UserAgent и т. Д. Все должны быть настроены таким образом.

IMHO, это недостаток со стороны MS ... установка заголовков через Headers.Add() должна автоматически вызывать соответствующее свойство за кулисами, если это то, что они хотят сделать.

WebRequest является абстрактным (и поскольку любой наследующий класс должен переопределять свойство Headers) .. какой конкретный WebRequest вы используете? Другими словами, как заставить этот объект WebRequest соответствовать?

эх .. ваш ответ заставил меня понять, что сообщение об ошибке, которое вы получаете, на самом деле правильное: оно говорит вам, что заголовок, который вы пытаетесь добавить, уже существует, и вы должны затем изменить его значение, используя соответствующее свойство (например, индексатор ) вместо того, чтобы пытаться добавить его снова. Вероятно, это все, что вы искали.

Другие классы, унаследованные от WebRequest, могут иметь даже лучшие свойства, обертывающие определенные заголовки; См. этот пост.

Все вышеперечисленные ответы хороши, но суть проблемы в том, что одни заголовки задаются одним способом, а другие - другим. См. Выше списки «ограниченных заголовков». Для этого вы просто устанавливаете их как свойство. Для других вы фактически добавляете заголовок. Посмотреть здесь.

    request.ContentType = "application/x-www-form-urlencoded";

    request.Accept = "application/json";

    request.Headers.Add(HttpRequestHeader.Authorization, "Basic " + info.clientId + ":" + info.clientSecret);

В основном нет. Это заголовок http, поэтому разумно привести к HttpWebRequest и установить .Referer (как вы указываете в вопросе):

HttpWebRequest req = ...
req.Referer = "your url";

Примечание: это решение будет работать с WebClientSocket, а также с HttpWebRequest или любым другим классом, который использует WebHeaderCollection для работы с заголовками.

Если вы посмотрите исходный код WebHeaderCollection.cs, вы увидите, что Hinfo используется для хранения информации обо всех известных заголовках:

private static readonly HeaderInfoTable HInfo = new HeaderInfoTable();

Глядя на класс HeaderInfoTable, вы можете заметить, что все данные хранятся в хэш-таблице.

private static Hashtable HeaderHashTable;

Кроме того, в статическом конструкторе HeaderInfoTable вы можете видеть, что все известные заголовки добавляются в массив HeaderInfo, а затем копируются в хеш-таблицу.

Последний взгляд на класс HeaderInfo показывает имена полей.

internal class HeaderInfo {

    internal readonly bool IsRequestRestricted;
    internal readonly bool IsResponseRestricted;
    internal readonly HeaderParser Parser;

    //
    // Note that the HeaderName field is not always valid, and should not
    // be used after initialization. In particular, the HeaderInfo returned
    // for an unknown header will not have the correct header name.
    //

    internal readonly string HeaderName;
    internal readonly bool AllowMultiValues;
    ...
    }

Итак, со всем вышеперечисленным, вот код, который использует отражение для поиска статической Hashtable в классе HeaderInfoTable, а затем изменяет каждый ограниченный запросом HeaderInfo внутри хеш-таблицы на неограниченный

        // use reflection to remove IsRequestRestricted from headerInfo hash table
        Assembly a = typeof(HttpWebRequest).Assembly;
        foreach (FieldInfo f in a.GetType("System.Net.HeaderInfoTable").GetFields(BindingFlags.NonPublic | BindingFlags.Static))
        {
            if (f.Name == "HeaderHashTable")
            {
                Hashtable hashTable = f.GetValue(null) as Hashtable;
                foreach (string sKey in hashTable.Keys)
                {

                    object headerInfo = hashTable[sKey];
                    //Console.WriteLine(String.Format("{0}: {1}", sKey, hashTable[sKey]));
                    foreach (FieldInfo g in a.GetType("System.Net.HeaderInfo").GetFields(BindingFlags.NonPublic | BindingFlags.Instance))
                    {

                        if (g.Name == "IsRequestRestricted")
                        {
                            bool b = (bool)g.GetValue(headerInfo);
                            if (b)
                            {
                                g.SetValue(headerInfo, false);
                                Console.WriteLine(sKey + "." + g.Name + " changed to false");
                            }

                        }
                    }

                }
            }
        } 

Я использую только:

request.ContentType = "application/json; charset=utf-8"

Вы можете просто передать WebRequest в HttpWebRequest, показанный ниже:

var request = (HttpWebRequest)WebRequest.Create(myUri);

а затем вместо того, чтобы пытаться манипулировать списком заголовков, примените его непосредственно в запросе свойства запроса.

request.Referer = "yourReferer";

Эти свойства доступны в объекте запроса.

У меня возникла такая же проблема, как у меня работал фрагмент кода.

HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);

request.Headers["UserAgent"] = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; 
Trident/5.0)"