#!/usr/bin/env python
# -*- coding: utf-8 -*-
# (c) XoFfiCEr
import os, sys, codecs
if __name__ == "__main__":
    baseurl='http://ibash.org.ru/?page='                                  #базовый url
    qfile=os.getcwd()                                                            #путь к скрипту
    qfile=qfile+'/ibash_quotes.txt'                                           #путь к текстовому файлу
    qpages=2                                                                        #кол-во страниц
    qquotes=0                                                                       #количество цитат
    sep='------------------------------------------'                                    #разделитель цитат
    i=1                                                                                  #счетчик как всегда
    tfile=open(qfile, 'w')                                                           #открываем файл для записи 
    while i<=qpages:                                                               #проход по всем страницам
        curpage=baseurl+str(i)                                                   #высчитываем url-страницы
        from urllib2 import urlopen                                             #подготовка к 
        u = urlopen(curpage)                                                     #парсингу
        headers = {'User-Agent' : 'Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.0.13) Gecko/2009073022 Firefox/3.0.13 (.NET CLR 3.5.30729)',
                   'Host' : 'http://ibash.org.ru/',              
                   'Referer' : 'http://www.google.ru/url?sa=t&rct=j&q=ibash&source=web&cd=1&cad=rja&ved=0CDEQFjAA&url=http%3A%2F%2Fibash.org.ru%2F&ei=TE2ZUK-RHIjLswaEx4H4BA&usg=AFQjCNHWvoI4s2wqm_lhLlsx2yyRmY9rqQ',   # заголовки
                   'Connection' : 'close',                                         #реферер у нас
                   'Pragma' : 'no-cache',                                           #такой словно мы зашли из поиска гугла
                   'Cache-Control' : 'no-cache',                                 #пусть думают что хотят
                  }                                                                           #заголовки http
        for line in u:                                                                     #читаем построчно
            decoder = codecs.getdecoder('cp1251')                          #переводим
            encoder = codecs.getencoder('utf-8')                             #строку
            tline=encoder(decoder(line)[0])[0]                                   #в utf-8 из cp-1251
            if qpages==2:                                                              #если истинное количество страниц еще не определено
                sfrag=tline.find('Страницы:  1  <a href=')                   #метка которую мы должны найти
                if sfrag!=-1:                                                              #если метка найдена
                    qline=tline[:-19]                                                     #вырезаем хвост              
                    qline=qline[24:]                                                     #не трогать
                    qline=qline[-2:]                                                      #уже один раз изменил, блz
                    qpages=int(qline)                                                   #количество страниц в int
            sfrag=tline.find('<div class="quotbody">')                        #ищем тела цитат
            if sfrag!=-1:                                                                   #если заголовок quoybody найден
                tline=tline[24:-7]                                                         #вырезаем текст
                tline=tline.replace('<br />', '\n')                                    #заменяем
                tline=tline.replace('&lt;', '<')                                         #заменяем
                tline=tline.replace('&gt;', '>')                                        #заменяем
                tline=tline.replace('&nbsp;', ' ')                                     #заменяем
                tline=tline.replace('&quot;', '"')                                     #заменяем
                print tline                                                                   #печатаем цитату
                print sep                                                                    #печатаем разделитель
                tfile.write(tline)                                                           #записываем цитату в файл
                tfile.write('\n')                                                             #line feed carriage return
                tfile.write(sep)                                                            #записываем разделитель в файл
                tfile.write('\n')                                                              #line feed carriage return
                qquotes+=1                                                                #инкремент количества цитат 
        i+=1                                                                                   #инкремент счетчика
    tfile.flush()                                                                              #вытолкнем буферы
    tfile.close()                                                                             #закроем
    print '\n'
    print 'Количество страниц: ' + str(qpages)
    print 'Количество цитат: ' + str (qquotes)