Не обрабатывается редирект у начального URL

Issue #1 new
thebits
created an issue

Здравствуйте.

Если при запуске дать боту url который является редиректом, то бот не видит начальной страницы и не обрабатывает сайт.

Например такой код, не напечатает не одной страницы. {{{

!python

bot = Spider() for data in bot.crawl('http://yandex.ru/'): print data }}}

Хотелось бы что бы бот мог преодалевать подобные редиректы.

Comments (0)

  1. Log in to comment