Форум программистов, компьютерный форум, киберфорум
С++ для начинающих
Войти
Регистрация
Восстановить пароль
Карта форума Темы раздела Блоги Сообщество Поиск Заказать работу  
 
2 / 2 / 0
Регистрация: 10.12.2019
Сообщений: 51
1

Парсит сайт не полностью

28.11.2020, 14:18. Показов 386. Ответов 1
Метки нет (Все метки)

Author24 — интернет-сервис помощи студентам
Есть код
Код
#include <string>
#include <iostream>
#include "curl/curl.h"
//---------------------------------------------------------------------------
size_t write_data(char* ptr, size_t size, size_t nmemb, FILE* data)
{
    return fwrite(ptr, size, nmemb, data);
}
using namespace std;
//---------------------------------------------------------------------------
int main()
{
    // Открываем файлы для заголовка и тела

    const std::string header_filename = "head.txt";
    const std::string body_filename = "body.html";

    FILE* header_file = fopen(header_filename.c_str(), "w");
    if (header_file == NULL)
        return -1;

    FILE* body_file = fopen(body_filename.c_str(), "w");
    if (body_file == NULL)
        return -1;

    // Выполняем  запрос
    CURL* curl_handle = curl_easy_init();
    if (curl_handle)
    {
        const std::string url = "https://vimetop.ru/";
        curl_easy_setopt(curl_handle, CURLOPT_URL, url.c_str());

        // сохраняем тело
        curl_easy_setopt(curl_handle, CURLOPT_WRITEDATA, body_file);
        curl_easy_setopt(curl_handle, CURLOPT_WRITEFUNCTION, write_data);

        // сохраняем заголовок
        curl_easy_setopt(curl_handle, CURLOPT_WRITEHEADER, header_file);

        CURLcode res = curl_easy_perform(curl_handle);
        if (res != CURLE_OK)
        {
            cout << "curl_easy_perform() failed: %s\n" << curl_easy_strerror(res) << endl;
        }
        curl_easy_cleanup(curl_handle);
    }

    std::cout << "\nDone!" << std::endl;
    getchar();
    return 0;
}
Он парсит сайт и весь текст записывает в index.html, но когда я его открываю вижу не весь сайт а только его заголовки, что делать?
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
28.11.2020, 14:18
Ответы с готовыми решениями:

Не парсит сайт
Всем привет, столкнулась с проблемой не возможности пропарсить сайт,...

Почему не парсит конкретный сайт?
Учусь. Для практики сделал анализатор тайтлов. открывается файл, запускается функция, которая...

Программа автоматически парсит сайт и не отвечает при отсутствии интернет-соединения
Моя программа автоматически парсит сайт, но как только соединение с интернетом открывается...

Сайт полностью на js
Приветствую. Для прокачки скилов нативного js а также познания различных библиотек возникла идея...

1
Native x86
Эксперт Hardware
5514 / 3273 / 934
Регистрация: 13.02.2013
Сообщений: 10,424
28.11.2020, 15:04 2
Это потому что такой метод для современного веба уже не годится. Откройте этот сайт в браузере, нажмите Ctrl+U и сравните увиденное с тем, что дает ваша программа. Если там более-менее одно и то же, то значит программа работает правильно и дело в сайте.

Очень многие сайты для формирования страниц используют мегабайты скриптов, которые, выполняясь, подгружают контент с других URL-ов и распихивают его по практически пустой главной странице. Ваша программа только выкачивает страницу-пустышку, скрипты она не выполняет, и, следовательно, на выходе совсем не то, что отобразил бы браузер.
0
28.11.2020, 15:04
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
28.11.2020, 15:04
Помогаю со студенческими работами здесь

Сайт полностью на пхп
здравствуйте а существуют сайты, сделанные полностью на пхп, без хтмл? если да, можете скинуть...

Стырили полностью сайт.
Я являюсь владельцем сайта http://kurorta.net сегодня обнаружил полную копию своего сайта, на...

Сайт полностью во flash
Подскажите, пожалуйста, кто-нибудь сталкивался с продвижением сайта сделанного полностью во Flash'е...

Сайт полностью выпал
Здравствуйте! несколько дней тому назад я обнаружил, что мой сайт полностью выпал из рамблера,...

Сайт полностью на Ajax
Здравствуйте. Появился сайт полностью на Ajax. Как заставить ботов индексировать такой сайт?...

скачать сайт полностью
Ребята, подскажите пожалуйста каким образом можно полностью скачать весь сайт с базой данных без...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2024, CyberForum.ru