Возможно ли иметь несколько циклов с помощью asyncio? Если ответ положительный, как я могу это сделать? Мой вариант использования: * Я извлекаю URL-адреса из списка веб-сайтов в асинхронном режиме * Для каждого «списка дополнительных URL-адресов» я бы сканировал их в async /
Пример извлечения URL-адресов:
import asyncio
import aiohttp
from suburls import extractsuburls
@asyncio.coroutine
def extracturls(url):
subtasks = []
response = yield from aiohttp.request('GET', url)
suburl_list = yield from response.text()
for suburl in suburl_list:
subtasks.append(asyncio.Task(extractsuburls(suburl)))
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.gather(*subtasks))
if __name__ == '__main__':
urls_list = ['http://example1.com', 'http://example2.com']
for url in url_list:
subtasks.append(asyncio.Task(extractsuburls(url)))
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.gather(*subtasks))
loop.close()
Если я выполню этот код, у меня будет ошибка, когда python попытается запустить второй цикл, который говорит, что цикл уже запущен.
P.S: мой модуль «extractsuburls» использует aiohttp для выполнения веб-запроса.
РЕДАКТИРОВАТЬ:
Что ж, я пробовал это решение:
import asyncio
import aiohttp
from suburls import extractsuburls
@asyncio.coroutine
def extracturls( url ):
subtasks = []
response = yield from aiohttp.request('GET', url)
suburl_list = yield from response.text()
jobs_loop = asyncio.new_event_loop()
for suburl in suburl_list:
subtasks.append(asyncio.Task(extractsuburls(suburl)))
asyncio.new_event_loop(jobs_loop)
jobs_loop.run_until_complete(asyncio.gather(*subtasks))
jobs_loop.close()
if __name__ == '__main__':
urls_list = ['http://example1.com', 'http://example2.com']
for url in url_list:
subtasks.append(asyncio.Task(extractsuburls(url)))
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.gather(*subtasks))
loop.close()
Но у меня эта ошибка: аргумент цикла должен согласовываться с Future
Любая идея?