Issue #1 new

Не обрабатывается редирект у начального URL

thebits
created an issue

Здравствуйте.

Если при запуске дать боту url который является редиректом, то бот не видит начальной страницы и не обрабатывает сайт.

Например такой код, не напечатает не одной страницы. {{{

!python

bot = Spider() for data in bot.crawl('http://yandex.ru/'): print data }}}

Хотелось бы что бы бот мог преодалевать подобные редиректы.

Comments (0)

  1. Log in to comment