Скачать файл cURL при GET запросе

@JustTakeMe · Регистрация: 02.02.2015

Студворк — интернет-сервис помощи студентам

Есть сервер, который при GET запросе http://link.ru/file?id=12345 отдает файл.

Responce header:
Cache-Control: no-store, no-cache, must-revalidate
Cache-Control: post-check=0, pre-check=0
Connection:Keep-Alive
Content-Disposition:attachment; filename="file.xls"
Content-Length:1437414
Content-Type:application/octet-stream
Date:Sun, 12 Apr 2015 13:10:25 GMT
Expires:Thu, 19 Nov 1981 08:52:00 GMT
Keep-Alive:timeout=5, max=97
Pragma:no-cache
Server:Apache/2.4.7 (Ubuntu)
Set-Cookie:QUICK_BAR_CLOSED=-1; expires=Tue, 12-May-2015 13:10:25 GMT; Max-Age=2592000; path=/
X-Powered-By:PHP/5.5.9-1ubuntu4.5

Как при помощи cURL и PHP получить и сохранить данный файл?

@Para bellum · 12.04.2015, 18:31

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
<?php
    try{
        if( !$ch = curl_init() )
            throw new Exception('Curl init failed');
        
        $options = [
            CURLOPT_URL            => 'http://link.ru/file?id=12345',
            CURLOPT_RETURNTRANSFER => true,
            CURLOPT_HTTPHEADER     => [
                'User-Agent' => 'Mozilla/5.0 (Windows NT 5.1; rv:34.0) Gecko/20100101 Firefox/34.0'
            ]
        ];
        
        $file = curl_exec( $ch );
 
        file_put_contents('путь к файлу для сохранения', $file);
    }
    catch(Exception $e){
        echo $e->getMessage();
    }

@JustTakeMe · 13.04.2015, 01:36 **[ТС]**

Создает пустой файл.

Добавлено через 41 минуту
Если быть конкретнее:
var_dump($file) = string(0) ""

Добавлено через 3 часа 22 минуты
Файл там генерируется секунд 30, может он не дожидается просто? Перепробовал уже очень многое.

@Lazy_Den · 13.04.2015, 01:55

JustTakeMe, в коде, который вам дал Para bellum, кое-что пропущено. Массив параметров создали, а вот установить (функция curl_setopt_array) их забыли

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
<?php
try{
    if( !$ch = curl_init() ) 
        throw new Exception('Curl init failed');
        
        $options = [
            CURLOPT_URL            => 'http://link.ru/file?id=12345',
            CURLOPT_RETURNTRANSFER => true,
            CURLOPT_HTTPHEADER     => [
                'User-Agent' => 'Mozilla/5.0 (Windows NT 5.1; rv:34.0) Gecko/20100101 Firefox/34.0'
            ]
        ];
        curl_setopt_array($ch, $options);
        $file = curl_exec( $ch );
        
        file_put_contents('путь к файлу для сохранения', $file);
 
} catch(Exception $e){
    echo $e->getMessage();
}

И еще один маленький момент - определение массива коротким синтаксисом - [] - добавлено начиная с PHP 5.4. Если версия у вас ниже, то используйте обычную конструкцию - array()

@JustTakeMe · 13.04.2015, 01:59 **[ТС]**

Lazy_Den, Да, я заметил, что опции не были привязаны при получении boolean(false). Исправил сразу, не стал просто об этом писать. Все ровно получаю 0 строк.
Может не все опции указаны?
Я уже пробовал указывать:
"Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
"Connection: keep-alive",
"Keep-Alive: 300"

@Lazy_Den · 13.04.2015, 02:03

P.S. И еще... Присваивание значение переменной внутри условия допустимо, но желательно обернуть его в скобки. То есть:

PHP
1
if( ! ( $ch = curl_init() ) )

Добавлено через 1 минуту

Сообщение от JustTakeMe

Все ровно получаю 0 строк.

Определить наугад сложно. Если это не военная тайна, то дайте адрес. Может чего и придумаем.

@JustTakeMe · 13.04.2015, 02:25 **[ТС]**

Lazy_Den, никаких тайн. Адресс :
Это площадка поставщика, бухам нужен ежедневный актуальный прайс, причем логин пароль им доверить нельзя.
Но только вот без авторизации на сайте, прайс загружаться не будет.
sid судя по всему session id. На стороне сервера уже определяется, авторизован клиент или нет.

Причем я проверял, cURL авторизуется и получает свой sid.
Может он его потом сбрасывает и не хранит? Или тут дело в сессиях?

@Lazy_Den · 13.04.2015, 02:45

JustTakeMe, Устанавливаете куки, потом логинитесь вы тоже через cURL? В общем, для начала попробуйте так:

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
<?php
try{
    if( ! ( $ch = curl_init() ) ) 
        throw new Exception('Curl init failed');
        
        $options = [
            CURLOPT_URL            => 'http://link.ru/file?id=12345',
            CURLOPT_RETURNTRANSFER => 1,
            CURLOPT_FAILONERROR => 1,
            CURLOPT_FOLLOWLOCATION => 1,
            CURLOPT_TIMEOUT => 30, 
            CURLOPT_HTTPHEADER     => [
                'User-Agent' => 'Mozilla/5.0 (Windows NT 5.1; rv:34.0) Gecko/20100101 Firefox/34.0',
            ]
        ];
                
        curl_setopt_array($ch, $options);
        $file = curl_exec( $ch );
        
        file_put_contents('output.xls',$file);
    
    
} catch(Exception $e){
    echo $e->getMessage();
}

@JustTakeMe · 13.04.2015, 02:54 **[ТС]**

Lazy_Den, Так и думал, что не хватает каких-то опций для cURL, добавил:
CURLOPT_FAILONERROR => 1,
CURLOPT_FOLLOWLOCATION => 1,
CURLOPT_TIMEOUT => 30,
30 ему не хватало, поставил таймаут на 60 и сохранил, алилуя!
Спасибо огромное!

@Fedor Vlasenko · 13.04.2015, 03:04

не совсем понятно использование curl в данной задаче. нынче модно все дырки им закрывать

file_get_contents , file_put_contents дает возможность в параметре передавать context все нужные вам заголовки (авторизоваться в вашем случае)
http://php.net/manual/ru/context.http.php

@JustTakeMe · 13.04.2015, 03:08 **[ТС]**

Poznakomlus, Авторизоваться то надо как-то..

@Fedor Vlasenko · 13.04.2015, 03:24

так-же как и в curl

это те-же самые заголовки

@Para bellum · 13.04.2015, 06:27

Сообщение от Lazy_Den

в коде, который вам дал Para bellum, кое-что пропущено.

Да, заработался.

Сообщение от Poznakomlus

не совсем понятно использование curl в данной задаче.

Как автор попросил, такой я и показал пример.

А если в php.ini выключена настройка allow_url_fopen, то file_get_contents не сработает.
Мало ли, вдруг хостинг захотим поменять, а там бац - и не работает. Всё равно придётся с использованием curl переписывать.
Это я так, все перспективы описываю

.

Новые блоги и статьи Все статьи Все блоги /
Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114	Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .	Расчёт токов в цепи постоянного тока igorrr37 05.01.2026 / * Дана цепь постоянного тока с сопротивлениями и напряжениями. Надо найти токи в ветвях. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и решает её. Последовательность действий:. . .
Новый CodeBlocs. Версия 25.03 palva 04.01.2026 Оказывается, недавно вышла новая версия CodeBlocks за номером 25. 03. Когда-то давно я возился с только что вышедшей тогда версией 20. 03. С тех пор я давно снёс всё с компьютера и забыл. Теперь. . .	Модель микоризы: классовый агентный подход anaschu 02.01.2026 Раньше это было два гриба и бактерия. Теперь три гриба, растение. И на уровне агентов добавится между грибами или бактериями взаимодействий. До того я пробовал подход через многомерные массивы,. . .	Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .	Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .

@JustTakeMe 0 / 0 / 0 Регистрация: 02.02.2015 Сообщений: 14

	Скачать файл cURL при GET запросе 12.04.2015, 16:21. Показов 24246. Ответов 12 Метки нет (Все метки) Есть сервер, который при GET запросе http://link.ru/file?id=12345 отдает файл. Responce header: Cache-Control: no-store, no-cache, must-revalidate Cache-Control: post-check=0, pre-check=0 Connection:Keep-Alive Content-Disposition:attachment; filename="file.xls" Content-Length:1437414 Content-Type:application/octet-stream Date:Sun, 12 Apr 2015 13:10:25 GMT Expires:Thu, 19 Nov 1981 08:52:00 GMT Keep-Alive:timeout=5, max=97 Pragma:no-cache Server:Apache/2.4.7 (Ubuntu) Set-Cookie:QUICK_BAR_CLOSED=-1; expires=Tue, 12-May-2015 13:10:25 GMT; Max-Age=2592000; path=/ X-Powered-By:PHP/5.5.9-1ubuntu4.5 Как при помощи cURL и PHP получить и сохранить данный файл? 0

@JustTakeMe 0 / 0 / 0 Регистрация: 02.02.2015 Сообщений: 14
	13.04.2015, 01:36 [ТС]
	Создает пустой файл. Добавлено через 41 минуту Если быть конкретнее: var_dump($file) = string(0) "" Добавлено через 3 часа 22 минуты Файл там генерируется секунд 30, может он не дожидается просто? Перепробовал уже очень многое. 0

@JustTakeMe 0 / 0 / 0 Регистрация: 02.02.2015 Сообщений: 14
	13.04.2015, 01:59 [ТС]
	Lazy_Den, Да, я заметил, что опции не были привязаны при получении boolean(false). Исправил сразу, не стал просто об этом писать. Все ровно получаю 0 строк. Может не все опции указаны? Я уже пробовал указывать: "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,/;q=0.8", "Connection: keep-alive", "Keep-Alive: 300" 0

@JustTakeMe 0 / 0 / 0 Регистрация: 02.02.2015 Сообщений: 14
	13.04.2015, 02:25 [ТС]
	Lazy_Den, никаких тайн. Адресс : Это площадка поставщика, бухам нужен ежедневный актуальный прайс, причем логин пароль им доверить нельзя. Но только вот без авторизации на сайте, прайс загружаться не будет. sid судя по всему session id. На стороне сервера уже определяется, авторизован клиент или нет. Причем я проверял, cURL авторизуется и получает свой sid. Может он его потом сбрасывает и не хранит? Или тут дело в сессиях? 0

@JustTakeMe 0 / 0 / 0 Регистрация: 02.02.2015 Сообщений: 14
	13.04.2015, 02:54 [ТС]
	Lazy_Den, Так и думал, что не хватает каких-то опций для cURL, добавил: CURLOPT_FAILONERROR => 1, CURLOPT_FOLLOWLOCATION => 1, CURLOPT_TIMEOUT => 30, 30 ему не хватало, поставил таймаут на 60 и сохранил, алилуя! Спасибо огромное! 0

@Fedor Vlasenko 936 / 693 / 236 Регистрация: 01.02.2015 Сообщений: 1,848
	13.04.2015, 03:04
	не совсем понятно использование curl в данной задаче. нынче модно все дырки им закрывать file_get_contents , file_put_contents дает возможность в параметре передавать context все нужные вам заголовки (авторизоваться в вашем случае) http://php.net/manual/ru/context.http.php 1

@JustTakeMe 0 / 0 / 0 Регистрация: 02.02.2015 Сообщений: 14
	13.04.2015, 03:08 [ТС]
	Poznakomlus, Авторизоваться то надо как-то.. 0

@Fedor Vlasenko 936 / 693 / 236 Регистрация: 01.02.2015 Сообщений: 1,848
	13.04.2015, 03:24
	так-же как и в curl это те-же самые заголовки 0

Скачать файл cURL при GET запросе

Решение