[РЕЦЕПТ] Как написать парсер

define("THISDIR", __DIR__);
// сетевой запрос с авторедиректом
function curl_exec_follow(&$ch, $redirects = 5) {
        global $last_curl_url;
        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false);
        curl_setopt($ch, CURLOPT_HEADER, true);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
        curl_setopt($ch, CURLOPT_FORBID_REUSE, false);
        curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 3);
        curl_setopt($ch, CURLOPT_TIMEOUT, 50);
        do {
            $data = curl_exec($ch); 
            $curl_errno = curl_errno($ch);
            if ($curl_errno > 0) {
                file_put_contents(THISDIR.'curl_error.txt','cURL Error ('.$curl_errno.'): '.curl_error($ch)." on curl ".var_export($last_curl_url,1)."\n",8);
                curl_close($ch);
                exit;
            }
            $code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
            if ($code != 301 && $code != 302)
                break;
            $header_start = strpos($data, "\r\n")+2;
            $headers = substr($data, $header_start, strpos($data, "\r\n\r\n", $header_start)+2-$header_start);
            if (!preg_match("!\r\n(?:Location|URI): *(.*?) *\r\n!", $headers, $matches))
                break;
            curl_setopt($ch, CURLOPT_URL, $matches[1]);
            $last_curl_url[] = array($matches[1]);
        } while (--$redirects);
        if (!$redirects) {
                file_put_contents(THISDIR.'curl_error.txt','Too many redirects. When following redirects, libcurl hit the maximum amount.'."\n",8);
                curl_close($ch);
                exit;                           
        }
        echo $data;
        $ah = strpos($data, "\r\n\r\n")+4;
        if ($ah<200 AND substr($data,0,21)=='HTTP/1.1 100 Continue')
        $ah = strpos($data, "\r\n\r\n", $ah)+4;
        return substr($data, $ah);
}
// прямой запрос без шапки и редиректа
function pget($url="",$add=array()) {
    //var_dump($url);
    $tmpfname = THISDIR.'cookie_parser_item.txt';
    if (!($curl = curl_init())) return NULL;
    curl_setopt($curl, CURLOPT_URL, $url);      
    curl_setopt($curl, CURLOPT_COOKIEJAR, $tmpfname);
    curl_setopt($curl, CURLOPT_COOKIEFILE, $tmpfname);
    curl_setopt($curl, CURLOPT_USERAGENT, "Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:27.0) Gecko/20100101 Firefox/27.0");
    curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);
    curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 0);      
    if (isset($add['xml'])) {
        curl_setopt($curl, CURLOPT_HTTPHEADER, array('X-Requested-With: XMLHttpRequest'));
    };
    if (isset($add['json'])) {
        curl_setopt($curl, CURLOPT_HTTPHEADER, array('Accept: application/json'));
    };
    if (isset($add['post'])) {
        curl_setopt($curl,CURLOPT_POST, TRUE);
        curl_setopt($curl,CURLOPT_POSTFIELDS, $add['post']);
    };
    curl_setopt($curl, CURLOPT_FOLLOWLOCATION, false);
    curl_setopt($curl, CURLOPT_HEADER, false);
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($curl, CURLOPT_FORBID_REUSE, false);
    curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 10); 
    curl_setopt($curl, CURLOPT_TIMEOUT, 100);
    $data = curl_exec($curl); 
    $curl_errno = curl_errno($curl);
    if ($curl_errno > 0) {
        file_put_contents(THISDIR.'curl_error.txt','cURL Error ('.$curl_errno.'): '.curl_error($curl)."\n",8);
        curl_close($curl);
        exit;
    }
    curl_close($curl);
    return $data;
}
// сетевой запрос - основная функция
$last_curl_url = '';
function nget($url="",$add=array()) {
    //var_dump($url);
    $tmpfname = THISDIR.'cookie_parser_item.txt';
    if (!($curl = curl_init())) return NULL;
    curl_setopt($curl, CURLOPT_URL, $url);      
    curl_setopt($curl, CURLOPT_COOKIEJAR, $tmpfname);
    curl_setopt($curl, CURLOPT_COOKIEFILE, $tmpfname);
    curl_setopt($curl, CURLOPT_USERAGENT, "Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:27.0) Gecko/20100101 Firefox/27.0");
    curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);
    curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 0);      
    if (isset($add['xml'])) {
        curl_setopt($curl, CURLOPT_HTTPHEADER, array('X-Requested-With: XMLHttpRequest'));
    };
    if (isset($add['json'])) {
        curl_setopt($curl, CURLOPT_HTTPHEADER, array('Accept: application/json'));
    };
    if (isset($add['post'])) {
        curl_setopt($curl,CURLOPT_POST, TRUE);
        curl_setopt($curl,CURLOPT_POSTFIELDS, $add['post']);
    };
    $out = curl_exec_follow($curl); 
    curl_close($curl);
    return $out;    
}
// сетевой запрос скачивающий файл
function fget($url="",$filename="") {
    if (empty($filename)) return;
    $tmpfname = THISDIR.'cookie_parser_item.txt';
    if (!($curl = curl_init())) return;
    global $last_curl_url;
    $last_curl_url = array($url);
    if (FALSE===($out = fopen($filename,"wb"))) {
        file_put_contents(THISDIR.'log_parser_item.txt',"file not open ".$filename."\n",FILE_APPEND);
        return;
    }
    curl_setopt($curl, CURLOPT_URL, $url);      
    curl_setopt($curl, CURLOPT_FILE, $out);     
    curl_setopt($curl, CURLOPT_COOKIEJAR, $tmpfname);
    curl_setopt($curl, CURLOPT_COOKIEFILE, $tmpfname);
    curl_setopt($curl, CURLOPT_USERAGENT, "Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:27.0) Gecko/20100101 Firefox/27.0");
    curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);
    curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 0);      
    curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true);
    curl_setopt($curl, CURLOPT_HEADER, false);
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, false);
    curl_setopt($curl, CURLOPT_FORBID_REUSE, false);
    curl_exec($curl);   
    curl_close($curl);
    fclose($out);
    return 1;   
}
// сетевой запрос скачивающий файл
function wget($url="",$filename="") {
    @system('wget -O '.$filename.' '.$url,$retval);
    return ($retval===0);
}