Форум программистов, компьютерный форум, киберфорум
Java SE (J2SE)
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск  
 
 
Рейтинг 4.59/37: Рейтинг темы: голосов - 37, средняя оценка - 4.59
54 / 54 / 2
Регистрация: 04.03.2012
Сообщений: 495

сохранение веб страниц

19.11.2012, 18:16. Показов 8358. Ответов 25
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Привет,помогите сделать такую весчь:Допустим у нас есть текстовый файл,в нем много ссылок,надо ,чтобы программа по этим ссылкам прошлась,и сохранила всю информацию в формате html, чтобы на каждую ссылку новый файл,вот ниже код:

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
import java.net.*;
import java.io.*;
 
public class url
{
      public static void main(String[] args)
      {
           try
                  {
                    URL PageUrl;
                    URLConnection GetConn = null;
                    GetConn = null;
                   
                     PageUrl = new URL("https://www.google.ru/");
                     GetConn = PageUrl.openConnection();
                    //establish connection:
                    GetConn.connect();
                    
                    InputStreamReader ReadIn = new InputStreamReader(GetConn.getInputStream());
                    BufferedReader BufData = new BufferedReader(ReadIn);
                    String htmlFileName = ("C:\\hello.html");
                    FileWriter FWriter = new FileWriter(htmlFileName);
                    BufferedWriter BWriter = new BufferedWriter(FWriter);
                    String UrlData = null;
                    while ((UrlData = BufData.readLine()) != null)
                    {
                          BWriter.write(UrlData);
                          BWriter.newLine();
                    }
                    BWriter.close();
              }//end try
              catch(IOException io)
              {
                   System.out.println(io);
              }
      }
}
Он просто сохраняет в файл,код однгой странички,в данном случае https://www.google.ru/,вот помогите решить проблемку

Добавлено через 1 минуту
Для чтения из файла,наверно,(чтобы ссылки добыть) лучше использовать BufferedReader, плюс у него еще readLine() есть.

Добавлено через 28 минут
Просто в файле где хранятся ссылки(например url.txt), каждая новая строка это ссылка
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
19.11.2012, 18:16
Ответы с готовыми решениями:

Редактор веб страниц на java, обращение через броузер
Вопрос - можно ли создать редактор веб страниц и работатьс ним через броузер? Если да, то что читать и вообще в каком направлении работать?...

Автоматический скриншот веб-страниц по ссылкам и сохранение в папку
Добрый день! Ситуация такая - есть таблица Excel со столбцами нумерации и гиперссылок, надо чтоб автоматически делались скриншоты по...

Открытие нескольких веб-страниц, на одной главное веб-странице
Всем доброго времени суток. Перед новым годом, нам всем задали индивидуальные задания, но я сильно заболел а когда вышел с больницы,...

25
54 / 54 / 2
Регистрация: 04.03.2012
Сообщений: 495
25.11.2012, 15:34  [ТС]
Студворк — интернет-сервис помощи студентам
Гигантское спасибо Drygba ,можно вам немножко еще под надоедать пожалуйста,вот смотрите мне нужно из тегов <meta оставить только
<meta content="Поиск информации в интернете: веб страницы, картинки, видео и многое другое." name="description">
<meta name="keywords" content="компьютерный форум программистов киберфорум сайберфорум сайбер компьютеры программирование софт" />

,и вообще мне надо оставить только текст без тегов
(Поиск информации в интернете: веб страницы, картинки, видео и многое другое.)
,помогите еще немного пожалуйста)
0
 Аватар для Drygba
512 / 454 / 119
Регистрация: 17.02.2012
Сообщений: 1,032
Записей в блоге: 1
25.11.2012, 23:21
есть такая пословица - "если хочешь накормить человека подари ему удочку и научи рыбачить", ну или как то так звучит.
Вам дали все что надо, доделайте что вам надо сами - приложив немного усилий
1
54 / 54 / 2
Регистрация: 04.03.2012
Сообщений: 495
26.11.2012, 15:15  [ТС]
Хоть намекните или помогите с регуляркой, по моему так начинается <meta\\s+content\\s*=,а дальше не знаю(
И куда эту регулярку потом вставлять?

Добавлено через 28 минут
Можете вы пожалуйста написать)оставшуюся часть я буду мучаться долго,а вы вон быстро,все делаете)
0
54 / 54 / 2
Регистрация: 04.03.2012
Сообщений: 495
28.11.2012, 18:51  [ТС]
Цитата Сообщение от Drygba Посмотреть сообщение
Вам дали все что надо, доделайте что вам надо сами - приложив немного усилий
Вот решил на простом примере сделать:

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
import java.util.regex.Matcher;
import java.util.regex.Pattern;
 
public class test
{
    public static void main(String[] args) 
    {
         String tekst = "<meta content=\"Java forums\">";
         String regexx = "<meta\\s+content\\s*=(\"[^\"]*\")[^<]";
         Pattern p = Pattern.compile(regexx);
         Matcher m = p.matcher(tekst);
         System.out.println(m.replaceAll("$1")); 
    }
}

Но у меня выводит не Java forums,а "Java forums",как исправить?
И еще вопрос если у меня будет еще name="description",то как сделать регулярку ,чтобы программа на name="description" внимания не обращала

Добавлено через 29 минут
вроде бы вот так мне вывело без кавычек
Java
1
2
3
4
5
 String tekst = "<meta content=\"Java forums\">";
         String regex = "<meta\\s+content\\s*=[\"](.*?)[\"][^<]";
         Pattern p = Pattern.compile(regex);
         Matcher m = p.matcher(tekst);
         System.out.println(m.replaceAll("$1"));
,только как теперь это в код добавить
Цитата Сообщение от Drygba Посмотреть сообщение
два метода добавить
Тут их как сделать?

Добавлено через 48 секунд
name="description",все еще меня волнует,как сделать,чтобы он не учитывался

Добавлено через 14 секунд
name="description",все еще меня волнует,как сделать,чтобы он не учитывался

Добавлено через 8 минут
Drygba,вот немножко еще помогите,вот этот код опять весь код возвращает:
Java
1
2
3
4
5
6
7
8
9
10
11
 private static String meta(String str) {
            StringBuffer sb = new StringBuffer();
     
            Pattern pat = Pattern.compile("<meta\\s+content\\s*=[\"](.*?)[\"][^<]");
            Matcher mat = pat.matcher(str);
            while (mat.find()) {
                sb.append(mat.replaceAll("$1") + "\n");
     
            }
            return sb.toString();
        }
Добавлено через 19 минут
Все сдаюсь)не знаю как исправить это(,хотелось только текс ,а он выводит весь код,закотелось только текст ,а он выводит теги без < закрывающих(
0
 Аватар для Drygba
512 / 454 / 119
Регистрация: 17.02.2012
Сообщений: 1,032
Записей в блоге: 1
29.11.2012, 01:33
Цитата Сообщение от vantyz Посмотреть сообщение
,и вообще мне надо оставить только текст без тегов
(Поиск информации в интернете: веб страницы, картинки, видео и многое другое.)
замените метод
Java
1
private static String meta(String str)
на
Java
1
2
3
4
5
6
7
8
9
10
private static String meta(String str) {
        StringBuffer sb = new StringBuffer();
        Pattern pat = Pattern.compile("<meta\\s.+?>");
        Matcher mat = pat.matcher(str);
        while (mat.find()) {
            sb.append((mat.group() + "\n").replaceAll("<meta\\s.+content=(\"|')?", "").
                    replaceAll("(\"|')\\s/>", ""));
        }
        return sb.toString();
    }
будет только текст после content
1
54 / 54 / 2
Регистрация: 04.03.2012
Сообщений: 495
29.11.2012, 16:03  [ТС]
Ой спасибо,Drygba - жму руку.Значит вот этой проге все-равно есть ли name="description",или нет его?

Добавлено через 11 минут
Кстати,с гуглом проблемы при сохранении,он не вывел просто текст,а вывел так
HTML5
1
<meta content="Поиск информации в интернете: веб страницы, картинки, видео и многое другое." name="description">
Добавлено через 1 минуту
А вот с форумом,все в порядке
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
29.11.2012, 16:03

Сохранение страниц
У меня возможно тупой вопрос. Можно ли в базе данных сохранять не мелкую информацию, а например, целые статьи... От 10к знаков. Или это не...

Парсинг веб страниц
не получается парсить веб страницу сайта зннакомств string url = &quot;http://tabor.ru/friends/list.php&quot;; ...

Отображение веб страниц
Доброго времени суток) Возник следующий вопрос, прошу помощи найти ответ. Возможно ли отображать веб-страницу на форме? И если да,...

Парсинг веб страниц
Всем привет! Суть задачи нужен парсер сайта... Скачать страницу с глубиной рекурсии до 5 (максимум.) Цель - дальнейший анализ...

ASPX веб-страниц
Добрый день, мастаки) Вопрос следующий: я на виртуальном сервере под ОС Linux Ubuntu поднял сайт, на нем есть личный кабинет, это...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
26
Ответ Создать тему
Новые блоги и статьи
Просмотровщик HLP и конвертер в CHM
Argus19 16.11.2026
Просмотровщик HLP и конвертер в CHM Давно хотел переделать справку Microsoft® Win32® Programmer's Reference, чтобы иметь её под рукой. Но использовать несколько программ не удобно. Искал другие. . .
BitTorrent (версия 7.11 English) и Меню Настройки
russiannick 15.11.2026
Пункты, отвечающие за отключение обновлений в BitTorrent версии 7. 11 (английской) Options Preferences General Language
Транслитерация текста с кириллицы на латиницу (вариант №4)
Maks 15.11.2026
Что-то я перемудрил с предыдущими версиями, в этот раз сделал всё проще, обратившись к функции "СтрокаЛатиницей" из типового общего модуля "СтроковыеФункцииКлиент". В данной функции нет апострофов,. . .
BitTorrent (версия 4.3.9) и Меню Настройки
russiannick 15.11.2026
В меню Настройки можно отключить автоматическое обновление программы. Карта этого меню приложена ниже. Нужный пункт выделен красным. Сервис Настройки Поведение
Транслитерация текста с кириллицы на латиницу (вариант №3)
Maks 15.11.2026
Обновленная версия предыдущей обработки. Изменения коснулись букв: Ъ, Ы, Ь, Э, отображения которых зависят от положения реквизита "Транслитерация имён". Изменено отображение буквы Й. Добавлена. . .
Транслитерация текста с кириллицы на латиницу (вариант №2)
Maks 13.11.2026
Обновленная версия ранее созданной обработки. Добавлено: - Проверка исходного текста на кириллицу, через обращение к стандартной функции "ТолькоКириллицаВСтроке" из общего модуля. . .
Часы с термометром и праздничным календарем
yariko 12.11.2026
Сегодня мы рассмотрим как можно сделать отличные многофункциональные часы. Итак, поставим конкретную задачу: разработать часы с календарем, двумя термодатчиками, выводом поздравительных сообщений. . .
Транслитерация текста с кириллицы на латиницу (вариант №1)
Maks 11.11.2026
Решил облегчить жизнь себе и коллегам админам при создании электронных почтовых ящиков для пользователей, в результате написал обработку "Транслитерация текста" с кириллицы на латиницу, а в ней. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru