Взять значения из сайта

@gorin · Регистрация: 18.08.2009

Студворк — интернет-сервис помощи студентам

Доброе время суток форумчяни!
Мне в TRichEdit нужно вывести все ссылки сайта (любого сайта). Сайт этот я нашел, а вот как вытянуть хотя бы результат (выполнения скрипта)?
Вот сайт http://htmlweb.ru/analiz/sitemap.php

Добавлено через 18 минут
Вот как то нужно передать параметры
http://htmlweb.ru/analiz/sm.ph... reen&mail=

Добавлено через 40 секунд

C
1
http://htmlweb.ru/analiz/sm.php?url=http%3A%2F%2F1seook.16mb.com%2F&s=html&pr=0.8&prf=1&cf=weekly&lm=1&tit=1&robot=1&moved=1&rs=R&rsize=0&to=screen&mail=

@Avazart · 01.04.2012, 14:31

Сохранение страниц сайтов в формате html
Парсер для статистики
И в таком духе...
Тобиш нужно получить страницу и отпарсить её ( вручную или регулярными выражениями)

@kzru_hunter · 01.04.2012, 14:36

Можно ещё через объект InternetExplorer.Application. Проще будет, но дольше будет грузить страницу.

@Avazart · 01.04.2012, 14:46

По первой ссылке есть готовый проект "Загрузка файла по НТТР.rar" на RAD 2009 ничего сложного там нет

@gorin · 01.04.2012, 15:09 **[ТС]**

Avazart, Я знаю как вытягивать код, может я не правильно поставил вопрос!
Мне как то нужно узнать все страницы сайта!
Каким образом это можно сделать?

@Avazart · 01.04.2012, 15:43

На ум приходит только рекусивно шастать по ссылкам и выбирать по шаблону ссылки типа

cyberforum.ru/[что-то]

@gorin · 01.04.2012, 16:53 **[ТС]**

Avazart, Вот что то такое и нужно! Все ссылки сайта, как это делает ОНЛАЙН ГЕНЕРАТОР "Карта сайта" http://www.xml-sitemaps.com/
или этот
http://htmlweb.ru/analiz/sitemap.php

Добавлено через 25 минут
Avazart, Не знаете как это можно решить?

Добавлено через 36 минут
Поделитесь, может кто то это уже делал

Добавлено через 1 минуту
Я хочу написать программу которая по адресу сайта будет выводить в RichEdit все страницы сайта!!!

@Avazart · 01.04.2012, 17:10

Ну выбирать на главной странице сайта все ссылки и анализировать их, выбирать те которые принадлежат этому сайту затем переходить по ним повторять тоже самое с ними

@gorin · 01.04.2012, 17:54 **[ТС]**

Avazart, пример кода можешь показать.
Что нужно:
1. Указать сайт в Edit1
2. Button1 (событие)
3. Вывести все страницы сайта в RichEdit (или в что то другое)

Добавлено через 37 минут
Может кто то знает сайты в которых свойство передаются в командной строке браузера! При передачи параметров, чтобы был создан список ссылок!

@Avazart · 01.04.2012, 18:16

пример кода можешь показать

Да не сильно накладно.
Код для сохранения есть, надо сделать только парсер

@gorin · 01.04.2012, 18:23 **[ТС]**

Avazart, Приведите код, а парсер я в нете на ПХП посмосотрю

@Avazart · 01.04.2012, 19:04

Я же указал ссылку на загрузку HTTP

Добавлено через 25 минут
Я только не пойму как вы собираетесь php к с++ прикручивать..

@gorin · 01.04.2012, 19:39 **[ТС]**

Avazart, давай не будем смотреть на те темы, я прекрасно знаю как считывать информацию с интернета, нужно идти по поставленной задаче. Я как то подумывал создать страницу на ПХП что делает карту сайта и с ней работать, но это будет долговато, нужно как то это обойти, и сделать по проще!

Добавлено через 11 минут
Avazart, Вот смотри где то есть такая программа http://images.yandex.ua/yandse... rpt=simage

@Avazart · 01.04.2012, 19:41

Ну таким же макаром и с++.
Другого пути я не вижу полюбому надо парсить ссылки и я не уверен что будет намного быстрее

@gorin · 01.04.2012, 19:47 **[ТС]**

Avazart, или вот еще эта http://shop.ixbt.com/images/up... a9ed9c.jpg

Добавлено через 5 минут
Avazart, Так давай разберемся с этим парсером, я тоже гуглю сутра! буду признателен за помощь

@kzru_hunter · 01.04.2012, 19:51

Сообщение от gorin

Мне в TRichEdit нужно вывести все ссылки сайта (любого сайта)

Вот один из способов, правда долговато по времени выполняется:

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
//....
#include <ComObj.hpp>
//....
 
        Variant oIE = CreateOleObject("InternetExplorer.Application");
        oIE.OlePropertySet("Visible", true); // закоментировать, если не нужно отображать IE
        oIE.OleFunction("Navigate", "http://xtreme-jumps.eu/demos.php");
        while (oIE.OlePropertyGet("ReadyState") != 4) Sleep(50);
 
        Variant oDocument = oIE.OlePropertyGet("document");
        Variant oLinks = oDocument.OlePropertyGet("links");
        int iTotalLinks = oLinks.OlePropertyGet("Length");
        for ( int i = 0; i < iTotalLinks; i++ )
        {
                Variant item = oLinks.OleFunction("item", i);
                String s = item.OlePropertyGet("href");
                Memo1->Lines->Add(s);
        }
        oIE.OleFunction("Quit");

@Avazart · 01.04.2012, 19:56

А без Sleep(50) нельзя?

@kzru_hunter · 01.04.2012, 20:06

Сообщение от Avazart

А без Sleep(50) нельзя?

вроде бы нет.

@gorin · 01.04.2012, 20:15 **[ТС]**

kzru_hunter, Спасибо за пример, только одна проблема, я раз запустил, отлично выбрал все страницы на сайте, но при попытке запустить снова ошибка выскочила от Прожега "OLE error 800704A6, ProgID: "InternetExplorer.Application" "

@kzru_hunter · 01.04.2012, 20:22

gorin у меня такого не было.
попробуй тогда через парсер:
если стоит билдер6, то простой вариант - это http://regexpstudio.com/ru/TRegExpr/TRegExpr.html
если стоит XE и выше, то должен быть boost:regex

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .	SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer 8Observer8 08.02.2026 Содержание блога Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .	SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств 8Observer8 07.02.2026 Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .

@Avazart 8488 / 6155 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	01.04.2012, 14:31
	Сохранение страниц сайтов в формате html Парсер для статистики И в таком духе... Тобиш нужно получить страницу и отпарсить её ( вручную или регулярными выражениями) 0

@kzru_hunter 1124 / 795 / 101 Регистрация: 01.02.2011 Сообщений: 1,887 Записей в блоге: 1
	01.04.2012, 14:36
	Можно ещё через объект InternetExplorer.Application. Проще будет, но дольше будет грузить страницу. 0

@Avazart 8488 / 6155 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	01.04.2012, 14:46
	По первой ссылке есть готовый проект "Загрузка файла по НТТР.rar" на RAD 2009 ничего сложного там нет 0

@gorin 209 / 16 / 4 Регистрация: 18.08.2009 Сообщений: 571
	01.04.2012, 15:09 [ТС]
	Avazart, Я знаю как вытягивать код, может я не правильно поставил вопрос! Мне как то нужно узнать все страницы сайта! Каким образом это можно сделать? 0

@Avazart 8488 / 6155 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	01.04.2012, 15:43
	На ум приходит только рекусивно шастать по ссылкам и выбирать по шаблону ссылки типа cyberforum.ru/[что-то] 0

@gorin 209 / 16 / 4 Регистрация: 18.08.2009 Сообщений: 571
	01.04.2012, 16:53 [ТС]
	Avazart, Вот что то такое и нужно! Все ссылки сайта, как это делает ОНЛАЙН ГЕНЕРАТОР "Карта сайта" http://www.xml-sitemaps.com/ или этот http://htmlweb.ru/analiz/sitemap.php Добавлено через 25 минут Avazart, Не знаете как это можно решить? Добавлено через 36 минут Поделитесь, может кто то это уже делал Добавлено через 1 минуту Я хочу написать программу которая по адресу сайта будет выводить в RichEdit все страницы сайта!!! 0

@Avazart 8488 / 6155 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	01.04.2012, 17:10
	Ну выбирать на главной странице сайта все ссылки и анализировать их, выбирать те которые принадлежат этому сайту затем переходить по ним повторять тоже самое с ними 0

@gorin 209 / 16 / 4 Регистрация: 18.08.2009 Сообщений: 571
	01.04.2012, 17:54 [ТС]
	Avazart, пример кода можешь показать. Что нужно: 1. Указать сайт в Edit1 2. Button1 (событие) 3. Вывести все страницы сайта в RichEdit (или в что то другое) Добавлено через 37 минут Может кто то знает сайты в которых свойство передаются в командной строке браузера! При передачи параметров, чтобы был создан список ссылок! 0

@gorin 209 / 16 / 4 Регистрация: 18.08.2009 Сообщений: 571
	01.04.2012, 18:23 [ТС]
	Avazart, Приведите код, а парсер я в нете на ПХП посмосотрю 0

@Avazart 8488 / 6155 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	01.04.2012, 19:04
	Я же указал ссылку на загрузку HTTP Добавлено через 25 минут Я только не пойму как вы собираетесь php к с++ прикручивать.. 0

@gorin 209 / 16 / 4 Регистрация: 18.08.2009 Сообщений: 571
	01.04.2012, 19:39 [ТС]
	Avazart, давай не будем смотреть на те темы, я прекрасно знаю как считывать информацию с интернета, нужно идти по поставленной задаче. Я как то подумывал создать страницу на ПХП что делает карту сайта и с ней работать, но это будет долговато, нужно как то это обойти, и сделать по проще! Добавлено через 11 минут Avazart, Вот смотри где то есть такая программа http://images.yandex.ua/yandse... rpt=simage 0

@Avazart 8488 / 6155 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	01.04.2012, 19:41
	Ну таким же макаром и с++. Другого пути я не вижу полюбому надо парсить ссылки и я не уверен что будет намного быстрее 0

@gorin 209 / 16 / 4 Регистрация: 18.08.2009 Сообщений: 571
	01.04.2012, 19:47 [ТС]
	Avazart, или вот еще эта http://shop.ixbt.com/images/up... a9ed9c.jpg Добавлено через 5 минут Avazart, Так давай разберемся с этим парсером, я тоже гуглю сутра! буду признателен за помощь 0

@Avazart 8488 / 6155 / 615 Регистрация: 10.12.2010 Сообщений: 28,683 Записей в блоге: 30
	01.04.2012, 19:56
	А без Sleep(50) нельзя? 0

@gorin 209 / 16 / 4 Регистрация: 18.08.2009 Сообщений: 571
	01.04.2012, 20:15 [ТС]
	kzru_hunter, Спасибо за пример, только одна проблема, я раз запустил, отлично выбрал все страницы на сайте, но при попытке запустить снова ошибка выскочила от Прожега "OLE error 800704A6, ProgID: "InternetExplorer.Application" " 0

@kzru_hunter 1124 / 795 / 101 Регистрация: 01.02.2011 Сообщений: 1,887 Записей в блоге: 1
	01.04.2012, 20:22
	gorin у меня такого не было. попробуй тогда через парсер: если стоит билдер6, то простой вариант - это http://regexpstudio.com/ru/TRegExpr/TRegExpr.html если стоит XE и выше, то должен быть boost:regex 0