C++, Curl и threads-потоки

@glob() · Регистрация: 02.09.2009

Студворк — интернет-сервис помощи студентам

Есть такой пример у разработчиков CURL:
http://curl.haxx.se/libcurl/c/multithread.html
Суть - в 4 потока одновременно открывается 4 сайта, текст html выводится на экран.
Всё бы ничего, но в примере не используется параметр

C++
1
curl_easy_setopt(curl, CURLOPT_TIMEOUT, 15);

, который необходим, в случае, когда сайт умер и ответа от него нет.
Однако, в этом случае периодически возникает ошибка Segmentation fault и скрипт вылетает.

Объясните, пожалуйста, что это за ошибка такая и как с ней справиться.

@odip · 10.09.2009, 18:07

Телепаты отдыхают !
Весь код приведи.
И где ты это вообще проверяешь - какая ОС хотя бы ?

@glob() · 11.09.2009, 08:34 **[ТС]**

Сообщение от odip

Телепаты отдыхают !
Весь код приведи.
И где ты это вообще проверяешь - какая ОС хотя бы ?

Дак хоть бы по ссылке перешел. Код то там.

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
#include <stdio.h>
#include <pthread.h>
#include <curl/curl.h>
 
#define NUMT 20
 
const char * const urls[NUMT] = {
    "http://curl.haxx.se/",
    "ftp://cool.haxx.se/",
    "http://www.contactor.se/",
    "www.haxx.se"
    "http://curl.haxx.se/",
    "ftp://cool.haxx.se/",
    "http://www.contactor.se/",
    "www.haxx.se"
    "http://curl.haxx.se/",
    "ftp://cool.haxx.se/",
    "http://www.contactor.se/",
    "www.haxx.se"
    "http://curl.haxx.se/",
    "ftp://cool.haxx.se/",
    "http://www.contactor.se/",
    "www.haxx.se"
    "http://curl.haxx.se/",
    "ftp://cool.haxx.se/",
    "http://www.contactor.se/",
    "www.haxx.se"
};
 
static void *pull_one_url(void *url)
{
    CURL *curl;
 
    curl = curl_easy_init();
    curl_easy_setopt(curl, CURLOPT_URL, url);
    curl_easy_setopt(curl, CURLOPT_TIMEOUT, 15);
    curl_easy_perform(curl);
    curl_easy_cleanup(curl);
 
    return NULL;
}
 
int main(int argc, char **argv)
{
    pthread_t tid[NUMT];
    int i;
    int error;
 
    curl_global_init(CURL_GLOBAL_ALL);
    for(i=0; i< NUMT; i++) error = pthread_create(&tid[i], NULL, pull_one_url, (void *)urls[i]);
    for(i=0; i< NUMT; i++) error = pthread_join(tid[i], NULL);
 
    return 0;
}

Собирается это всё на дебиане под с++ (в смысле, компилятор)

@niXman · 11.09.2009, 13:13

glob(),

Сообщение от glob()

"www.haxx.se"

а после этих строк запятые ставить не нужно?

Добавлено через 12 минут
Ты бы хоть контрольные сообщения вставил для определения статуса curl_easy_perform(curl), и других. В общем, трудись.

@glob() · 11.09.2009, 13:17 **[ТС]**

Нужно. Это я уже тут, на форум когда копировал, не дописал.

@niXman · 11.09.2009, 13:19

glob(), Ну вот вставь вывод диагностических сообщений, и быстро поймешь в чем причина.

@glob() · 14.09.2009, 16:24 **[ТС]**

Сообщение от niXman

glob(), Ну вот вставь вывод диагностических сообщений, и быстро поймешь в чем причина.

А что для этого написать нужно?

@glob() · 15.09.2009, 10:27 **[ТС]**

И вообще в моём коде, основанном на этом примере, в явном виде идет утечка памяти.
Функцию, в которой это происходит я нашел. Но как можно отследить, почему это происходит?
Дело в том, что в явном виде (malloc, new) я переменные не определяю, и не очищаю, соответствено:

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
static int writer(char *data, size_t size, size_t nmemb, std::string *writerData)
{
    if (writerData == NULL) return 0;
    writerData->append(data, size*nmemb);
 
    return size * nmemb;
}
 
void get_page_as_browser(string url, string &buffer, int with_timeout = 15, bool with_cookies = false, bool with_redirects = true, bool convert_utf8 = true)
{
    double st;
    CURL *curl;
    curl = curl_easy_init();
    if (curl)
    {
        curl_easy_setopt(curl, CURLOPT_HEADER, 0);
        curl_easy_setopt(curl, CURLOPT_NOPROGRESS, 1L);
        curl_easy_setopt(curl, CURLOPT_MAXREDIRS, 5);
        curl_easy_setopt(curl, CURLOPT_SSL_VERIFYPEER, 0);
        curl_easy_setopt(curl, CURLOPT_SSL_VERIFYHOST, 0);
        curl_easy_setopt(curl, CURLOPT_VERBOSE, 0);
        curl_easy_setopt(curl, CURLOPT_CONNECTTIMEOUT, with_timeout);
        curl_easy_setopt(curl, CURLOPT_TIMEOUT, with_timeout);
        curl_easy_setopt(curl, CURLOPT_NOSIGNAL, 1);
        if (with_redirects) curl_easy_setopt(curl, CURLOPT_FOLLOWLOCATION, true);
        curl_easy_setopt(curl, CURLOPT_USERAGENT, get_random_user_agent());
        curl_easy_setopt(curl, CURLOPT_ENCODING, "");
        curl_easy_setopt(curl, CURLOPT_RANGE, "0-125000"); 
        curl_easy_setopt(curl, CURLOPT_URL, url.c_str());
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, writer);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &buffer);
        curl_easy_perform(curl);
 
        curl_easy_cleanup(curl);
    }
}

Функция get_page_as_browser(url, html, 25); вызывается в threads в несколько потоков, по окончанию работы данные из buffer сохраняются в файл и вызывается снова. И так до бесконечности.

Перед каждым вызовом get_page_as_browser, буффер очищается так:

C++
1
2
html = "";
html.erase();

Память при работе расходуется очень быстро и, в итоге, заканчивается.
Если закоментировать

C++
1
2
        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, writer);
        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &buffer);

данные будут выводиться не в буффер, а на экран и никаких потерь не происходит.

Вероятно косяк в функции static int writer, но как это отследить, не понимаю.
Подскажите, пожалуйста.

@niXman · 17.09.2009, 20:07

Сообщение от glob()

std::string *writerData

это у тебя объект типа std::string. после получения страницы, вызывай std::string.clear()

Новые блоги и статьи Все статьи Все блоги /
Автозаполнение реквизита при выборе элемента справочника Maks 27.03.2026 Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .	Сумматор с применением элементов трёх состояний. Hrethgir 26.03.2026 Тут. https:/ / fips. ru/ EGD/ ab3c85c8-836d-4866-871b-c2f0c5d77fbc Первый документ красиво выглядит, но без схемы. Это конечно не даёт никаких плюсов автору, но тем не менее. . . всё может быть. . .	Автозаполнение реквизитов при создании документа Maks 26.03.2026 Программный код из решения ниже размещается в модуле объекта документа, в процедуре "ПриСозданииНаСервере". Алгоритм проверки заполнения реализован для исключения перезаписи значения реквизита,. . .	Команды формы и диалоговое окно Maks 26.03.2026 1. Команда формы "ЗаполнитьЗапчасти". Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. В качестве источника данных. . .
Кому нужен AOT? DevAlt 26.03.2026 Решил сделать простой ланчер Написал заготовку: dotnet new console --aot -o UrlHandler var items = args. Split(":"); var tag = items; var id = items; var executable = args;. . .	Отправка уведомления на почту при создании или изменении элементов справочника Maks 24.03.2026 Программная отправка письма электронной почты на примере типового справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной записи электронной. . .	модель ЗдравоСохранения 5. Меньше увольнений- больше дохода! anaschu 24.03.2026 Теперь система здравосохранения уменьшает количество увольнений. 9TO2GP2bpX4 a42b81fb172ffc12ca589c7898261ccb/ https:/ / rutube. ru/ video/ a42b81fb172ffc12ca589c7898261ccb/ Слева синяя линия -. . .	Midnight Chicago Blues kumehtar 24.03.2026 Такой Midnight Chicago Blues, знаешь?. . Когда вечерние улицы становятся ночными, а ты не можешь уснуть. Ты идёшь в любимый старый бар, и бармен наливает тебе виски. Ты смотришь на пролетающие. . .

@odip 7176 / 3234 / 82 Регистрация: 17.06.2009 Сообщений: 14,164
	10.09.2009, 18:07
	Телепаты отдыхают ! Весь код приведи. И где ты это вообще проверяешь - какая ОС хотя бы ? 0

@glob() 0 / 0 / 0 Регистрация: 02.09.2009 Сообщений: 12
	11.09.2009, 13:17 [ТС]
	Нужно. Это я уже тут, на форум когда копировал, не дописал. 0

@niXman 3211 / 1459 / 74 Регистрация: 09.08.2009 Сообщений: 3,441 Записей в блоге: 2
	11.09.2009, 13:19
	glob(), Ну вот вставь вывод диагностических сообщений, и быстро поймешь в чем причина. 0