Получение нескольких URL-адресов одновременно с Hyper

Я пытаюсь адаптировать пример гипербазового клиента для одновременного получения нескольких URL-адресов.

Это код, который у меня сейчас есть:

extern crate futures;
extern crate hyper;
extern crate tokio_core;

use std::io::{self, Write};
use std::iter;
use futures::{Future, Stream};
use hyper::Client;
use tokio_core::reactor::Core;

fn get_url() {
    let mut core = Core::new().unwrap();
    let client = Client::new(&core.handle());
    let uris: Vec<_> = iter::repeat("http://httpbin.org/ip".parse().unwrap()).take(50).collect();
    for uri in uris {
        let work = client.get(uri).and_then(|res| {
            println!("Response: {}", res.status());

            res.body().for_each(|chunk| {
                io::stdout()
                    .write_all(&chunk)
                    .map_err(From::from)
            })
        });
        core.run(work).unwrap();
    }
}

fn main() {
    get_url();
}

Кажется, что он не действует одновременно (для завершения требуется много времени), я неправильно передаю работу ядру?


rust rust-tokio hyper
person user964375    schedule 03.03.2018    source источник

Ответы (1)


arrow_upward
4
arrow_downward

я неправильно отдаю работу ядру?

Да, вы отправляете один запрос в Tokio и требуете его выполнения перед запуском следующего запроса. Вы взяли асинхронный код и сделали его последовательным.

Вам нужно дать реактору единое будущее, которое будет выполнять разные виды одновременной работы:

use futures::{stream, Future, Stream}; // 0.1.25
use hyper::Client; // 0.12.23
use std::{
    io::{self, Write},
    iter,
};
use tokio; // 0.1.15

const N_PARALLEL: usize = 1;

fn main() {
    let client = Client::new();

    let uri = "http://httpbin.org/ip".parse().unwrap();
    let uris = iter::repeat(uri).take(50);

    let work = stream::iter_ok(uris)
        .map(move |uri| client.get(uri))
        .buffer_unordered(N_PARALLEL)
        .and_then(|res| {
            println!("Response: {}", res.status());
            res.into_body()
                .concat2()
                .map_err(|e| panic!("Error collecting body: {}", e))
        })
        .for_each(|body| {
            io::stdout()
                .write_all(&body)
                .map_err(|e| panic!("Error writing: {}", e))
        })
        .map_err(|e| panic!("Error making request: {}", e));

    tokio::run(work);
}

Если N_PARALLEL установлен в 1:

real    0m2.279s
user    0m0.193s
sys     0m0.065s

И установите 10:

real    0m0.529s
user    0m0.186s
sys     0m0.075s
person Shepmaster    schedule 03.03.2018