Университет

Впервые пишу на пейтоне, поэтому не в /c/.
Код такого вот типа: http://pastebin.ca/1962867
Проблема в том, что запросы делаю через анонимайзер, который при большой нагрузке (или еще по какой-то ему известной причине) может не отвечать и без try/except у меня все вываливалось с ошибкой.
Хотелось бы сделать sleep(5) и повторить запрос в случае экцепшена, повторяя его n раз или пока он не придет к успеху.
Есть идея, но выглядеть это будет сверхубого, ищу красивое решение.

Так же пытался тот же код сделать многопоточным, в цикле создавая новый поток для каждого линка.
Во-первых, осталась вышеописанная проблема с повтором в случае ошибки, которую я "решил" рекурсивным вызовом проблемного потока.
А во-вторых, надо бы как-то ограничить количество потоков, скажем, до 10. В голову пришло только объявление глобальной переменной threadCount = 10 перед циклом, уменьшение ее в теле цикла перед запуском треда и увеличение в треде перед завершением его работы.

И сразу бамп с исправлением пастобина.
http://pastebin.ca/1962883

И, продолжая постить в своем уютном тредике, хочу спросить, как узнать порядковый номер текущего link из массива links? Не заводить же для этого отдельную переменную, в которой хранить номер итерации цикла.

Я бы писал на перле, он лучше подходит для парсинга интернета.
Наркоманы писали urllib2 зачем эррор-то кидать? Держи велосипед на скорую руку. Лучше рекурсии не придумывается. Алсо, это нужно делать в потоке, не вызывать его заново.

from time import sleep

def d():
    try:
        req = urllib2.Request(link)
        response = urllib2.urlopen(req)
        the_page = response.read()
        for line in the_page.split('\n'):
            line = line.strip()
            if re.search('Some text', line): print 'Hooray!'
        return True
    except urllib2.URLError, e:
            print e
            return False 

while !d():
    sleep(5)

Потом, насчет тредов, http://docs.python.org/library/threading.html, оно умеет считать вроде. Но если делать просто, то треды складируются в массив. В мейнлупе что-то вроде:

count = 1
while count:
    count = lthreading.active_count()
    if count < 10: threading.Thread()

...

>>12379 index = links.index(link)

Почему-то снова стало вылетать с ошибкой, несмотря на обернутость в try/except.
Копипастнул и ошибку, и проблемный код в одну кучу на пастобин: http://pastebin.ca/1964100

Ну ты сам читай же!
Он тебе кидает httplib.BadStatusLine, ты идешь на питоносайт и смотришь, когда этот эксепшен кидается, добавляешь except httplib.BadStatusLine к коду, радуешься.

Образовался следующий вопрос: почему скрипт работает из-под cygwin, но ругается, если запускать из-под виндовой версии интерпретатора?
Версия вин-питона 2.6.4, под эмулятором 2.6.5.
`import re, urllib2`
`ImportError: No module named urllib2`
Наличие D:\Programs\Python26\Lib\urllib2.py проверил. Может что-то в environment variables должно указываться?

И второй вопрос, не столь животрепещущий, но тем не менее: почему интерпретатор 2.6.4 под винду ругался на `print 'text'` и перестал ругаться после исправления на `print('text')`? Читал, что `print` стало функцией только начиная с 3й версии.

Он наркоман, не обращай внимания.

Кто я ты епт? Руку помощи, что протянута, не ухватить ее, но да блаженны верующие!

Да не ты, а win-интерпретатор.

Вот я написал дружелюбный скрипт и хочу пораздать его друзьяшкам. Не заставлять же их всех ставить цугвин? Среди них есть пугливые тян персоны, для которых это может стать непоправимым потрясением. Меня, например, до сих пор трясет, но пока приходится мириться.

py2exe. Enjoy your куча мусора в комплекте.

>куча мусора в комплекте.
Это верно для любых попыток создать что-то юникс-вейное для Windows.

Суть не в юникс-вее, просто windows cannot into shared libraries.

>Может что-то в environment variables должно указываться?
Добавь D:\Programs\Python26\Lib\urllib2.py в переменную окружения PATH через точку с запятой.

Ее вообще не было, поэтому создал.
Однако ж, я тут обнаружил установленный когда-то и совсем позабытый python3.1, который винда и использовала по умолчанию для открытия *.py.
Успешно похерил его, радуюсь дальше.

Она была в системных, судя по всему.
Переходи на Unix-way, там истинное Дао.

И - да, чуть не забыл!
Спасибо тебе, тебе и тебе за помощь, я вас люблю! ^.,^

И почему вакабовский обратный апостроф для разметки кода не работает ._.

Действительно. Радуюсь :3

Спасибо!
Чего-то я там наворотил на скорую руку, в выходные буду разбираться.