Как использовать и отлаживать WWW::Mechanize?

Это произошло через несколько месяцев, но я решил ту же проблему, основываясь на аналогичных вопросах, которые я задавал. См. Можно ли автоматизировать обратную передачу со стороны клиента? для получения дополнительной информации.

Вместо этого я использовал Python's Mechanize или Perl, но принцип тот же.

Резюмируя мой предыдущий ответ:

Страницам ASP.NET требуется скрытый параметр с именем __EVENTTARGET в форме, которого не будет при обычном использовании механизирования.

При посещении обычным пользователем на этих страницах есть функция __doPostBack('foo'), которая присваивает соответствующее значение __EVENTTARGET через событие javascript onclick для каждой из ссылок, но поскольку механизация не использует javascript, вам понадобится установить эти значения самостоятельно.

Решение для Python приведено ниже, но адаптировать его к Perl не должно быть слишком сложно.

def add_event_target(form, target):
    #Creates a new __EVENTTARGET control and adds the value specified
    #.NET doesn't generate this in mechanize for some reason -- suspect maybe is 
    #normally generated by javascript or some useragent thing?
    form.new_control('hidden','__EVENTTARGET',attrs = dict(name='__EVENTTARGET'))
    form.set_all_readonly(False)
    form["__EVENTTARGET"] = target

Вы можете механизировать только то, что знаете. Прежде чем писать код, я предлагаю вам использовать такой инструмент, как Firebug, и проверить, что происходит в вашем браузере, когда вы делаете это вручную.

Конечно, могут быть файлы cookie, которые используются. Или, может быть, вы забыли скрытый параметр формы? Только ты можешь сказать.

РЕДАКТИРОВАТЬ:

• WWW::Mechanize должен позаботиться о файлах cookie без какого-либо дополнительного вмешательства.
• Вы всегда должны проверять, были ли вызванные вами методы успешными. Работает ли первый метод get()?
• Может быть полезно взглянуть на журналы сервера, чтобы увидеть, что на самом деле запрашивается и какой код состояния HTTP отправляется в качестве ответа.

Если вы работаете в Windows, используйте Fiddler, чтобы увидеть, какие данные отправляются при выполнении этого процесса вручную, а затем используйте Fiddler, чтобы сравнить его с данными, полученными при выполнении вашего скрипта.

По моему опыту, прокси-сервер веб-отладки, такой как Fiddler, более полезен, чем Firebug при проверке сообщений формы.

Я нашел очень полезным использовать утилиту Wireshark при написании веб-автоматизации с помощью WWW::Mechanize. Это поможет вам несколькими способами:

1. Позволяет вам понять, был ли ваш HTTP-запрос успешным или нет.
2. См. причину сбоя на уровне HTTP.
3. Отследите точные данные, которые вы передаете на сервер, и посмотрите, что вы получите обратно.

Просто установите фильтр HTTP для сетевого трафика и запустите сценарий Perl.

Очень краткий смысл страниц aspx заключается в том, что они содержат всю информацию о локальном сеансе в паре переменных с префиксом «__» в общей форме aspx. Обычно это форма верхнего уровня, и все элементы формы будут ее частью, но я предполагаю, что это может варьироваться в зависимости от реализации.

Для конкретной реализации, с которой я имел дело, мне нужно было беспокоиться о двух из этих переменных состояния, а именно:

__VIEWSTATE
__EVENTVALIDATION.

Ваша цель — убедиться, что эти переменные отправлены в форму, которую вы отправляете, поскольку они могут быть частью основной формы aspxform, о которой я упоминал выше, а вы, вероятно, отправляете другую форму.

Когда браузер загружает страницу aspx, фрагмент javascript передает эту информацию о сеансе вместе с взаимодействием сервера и клиента asp, но, конечно, у нас нет такой роскоши с механизмом perl, поэтому вам нужно будет вручную опубликовать их, добавив элементы в текущую форму с помощью механизации.

В случае, который я только что решил, я в основном сделал это:

my $browser = WWW::Mechanize->new( );

# fetch the login page to get the initial session variables
my $login_page = 'http://www.example.com/login.aspx';
$response = $browser->get( $login_page);

# very short way to find the fields so you can add them to your post
$viewstate = ($browser->find_all_inputs( type => 'hidden', name => '__VIEWSTATE' ))[0]->value;
$validation = ($browser->find_all_inputs( type => 'hidden', name => '__EVENTVALIDATION' ))[0]->value;

# post back the formdata you need along with the session variables
$browser->post( $login_page, [ username => 'user', password => 'password, __VIEWSTATE => $viewstate, __EVENTVALIDATION => $validation ]);

# finally get back the content and make sure it looks right
print $response->content();