Форум программистов, компьютерный форум, киберфорум
С++ для начинающих
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
2 / 2 / 0
Регистрация: 10.12.2019
Сообщений: 51

Парсит сайт не полностью

28.11.2020, 14:18. Показов 551. Ответов 1
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Есть код
Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
#include <string>
#include <iostream>
#include "curl/curl.h"
//---------------------------------------------------------------------------
size_t write_data(char* ptr, size_t size, size_t nmemb, FILE* data)
{
    return fwrite(ptr, size, nmemb, data);
}
using namespace std;
//---------------------------------------------------------------------------
int main()
{
    // Открываем файлы для заголовка и тела
 
    const std::string header_filename = "head.txt";
    const std::string body_filename = "body.html";
 
    FILE* header_file = fopen(header_filename.c_str(), "w");
    if (header_file == NULL)
        return -1;
 
    FILE* body_file = fopen(body_filename.c_str(), "w");
    if (body_file == NULL)
        return -1;
 
    // Выполняем  запрос
    CURL* curl_handle = curl_easy_init();
    if (curl_handle)
    {
        const std::string url = "https://vimetop.ru/";
        curl_easy_setopt(curl_handle, CURLOPT_URL, url.c_str());
 
        // сохраняем тело
        curl_easy_setopt(curl_handle, CURLOPT_WRITEDATA, body_file);
        curl_easy_setopt(curl_handle, CURLOPT_WRITEFUNCTION, write_data);
 
        // сохраняем заголовок
        curl_easy_setopt(curl_handle, CURLOPT_WRITEHEADER, header_file);
 
        CURLcode res = curl_easy_perform(curl_handle);
        if (res != CURLE_OK)
        {
            cout << "curl_easy_perform() failed: %s\n" << curl_easy_strerror(res) << endl;
        }
        curl_easy_cleanup(curl_handle);
    }
 
    std::cout << "\nDone!" << std::endl;
    getchar();
    return 0;
}
Он парсит сайт и весь текст записывает в index.html, но когда я его открываю вижу не весь сайт а только его заголовки, что делать?
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
28.11.2020, 14:18
Ответы с готовыми решениями:

Не парсит сайт
Всем привет, столкнулась с проблемой не возможности пропарсить сайт, http://anoik.is/wormholes/H121, пробовала запросом get хотя бы...

Почему не парсит конкретный сайт?
Учусь. Для практики сделал анализатор тайтлов. открывается файл, запускается функция, которая парсит метатеги сайтов по урлам из файла, ...

Программа автоматически парсит сайт и не отвечает при отсутствии интернет-соединения
Моя программа автоматически парсит сайт, но как только соединение с интернетом открывается программа виснет на несколько минут, потом...

1
Native x86
Эксперт Hardware
 Аватар для quwy
6859 / 3791 / 1026
Регистрация: 13.02.2013
Сообщений: 11,861
28.11.2020, 15:04
Это потому что такой метод для современного веба уже не годится. Откройте этот сайт в браузере, нажмите Ctrl+U и сравните увиденное с тем, что дает ваша программа. Если там более-менее одно и то же, то значит программа работает правильно и дело в сайте.

Очень многие сайты для формирования страниц используют мегабайты скриптов, которые, выполняясь, подгружают контент с других URL-ов и распихивают его по практически пустой главной странице. Ваша программа только выкачивает страницу-пустышку, скрипты она не выполняет, и, следовательно, на выходе совсем не то, что отобразил бы браузер.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
28.11.2020, 15:04
Помогаю со студенческими работами здесь

Сайт полностью на js
Приветствую. Для прокачки скилов нативного js а также познания различных библиотек возникла идея написать сайт полностью на js. Хотелось...

Сайт полностью на пхп
здравствуйте а существуют сайты, сделанные полностью на пхп, без хтмл? если да, можете скинуть ссылку или код. сколько искал, везде...

Стырили полностью сайт.
Я являюсь владельцем сайта http://kurorta.net сегодня обнаружил полную копию своего сайта, на домене http://bydloblog.ru. Копия полная на...

Сайт полностью во flash
Подскажите, пожалуйста, кто-нибудь сталкивался с продвижением сайта сделанного полностью во Flash'е в тематике с достаточно высокой...

Сайт полностью выпал
Здравствуйте! несколько дней тому назад я обнаружил, что мой сайт полностью выпал из рамблера, ранее в индексе рамблера было около 4 тыс....


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Новые блоги и статьи
Очистка реквизитов документа при копировании
Maks 09.04.2026
Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .
модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий
anaschu 08.04.2026
https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI
Блокировка документа от изменений, если он открыт у другого пользователя
Maks 08.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .
Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка.
Hrethgir 08.04.2026
Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .
Модель ЗдрввоСохранения 7: больше работников, больше ресурсов.
anaschu 08.04.2026
работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ
Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики.
Hrethgir 07.04.2026
Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .
Горе от ума
kumehtar 07.04.2026
Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .
Использование значений реквизитов справочника в документе, с определенными условиями и правами
Maks 07.04.2026
1. Контроль срока действия договора Алгоритм из решения ниже реализован на примере нетипового документа "ЗаявкаНаРаботу", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru