Форум программистов, компьютерный форум, киберфорум
C# для начинающих
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.60/5: Рейтинг темы: голосов - 5, средняя оценка - 4.60
0 / 0 / 0
Регистрация: 15.06.2012
Сообщений: 16

C диапазона страниц вытянуть все ссылки

28.06.2012, 10:08. Показов 1020. Ответов 3
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Друзья, надеюсь на вашу помощь

Есть Диапазон страниц,

www.blabla.com\blablabla\bla\1\
www.blabla.com\blablabla\bla\2\
www.blabla.com\blablabla\bla\3\

с которых нужно вытянуть ссылки вида "http:\/\/geo-samples.beatport.com\/lofi\/3604572.LOFI.mp3", меняется только номер "3604572" и записать их в массив
как я понял парсинг не совсем подходит (на примете был HtmlAgilityPack), лучше через регулярные выражения, или всё же это завсит от объема обрабатываемых данных ? Помогите пожалуйста примером кода
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
28.06.2012, 10:08
Ответы с готовыми решениями:

Как из диапазона цифр и букв вытянуть цифру соответствующую букве?
Имеется диапазон букв, 9 столбцов, каждому столбцу присвоена цифра. Необходимо, чтобы в ячейке при наборе последовательности букв, в другой...

Вытянуть число из ссылки
Привет, форумчане! Парсю с сайта список страниц, нужен номер последней страницы. Получаю последнюю ссылку в списке страниц через bs: ...

Вытянуть ссылки и их названия
Доброго времени суток форумчане! Помогите реализовать следующее, нужно вытянуть ссылки и их названия (<a...

3
24 / 23 / 3
Регистрация: 21.04.2012
Сообщений: 253
28.06.2012, 16:53

Не по теме:

А я попробовал зайти на тот сайт...


Я вот так вот парсил все картинки с определённого сайта и скачавал их

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Windows.Forms;
using System.Net;
using System.IO;
 
namespace WindowsFormsApplication1
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }
        int q = 0;
        private void button1_Click(object sender, EventArgs e)
        {
            string url = textBox1.Text;
            HttpWebRequest myRequest = (HttpWebRequest)HttpWebRequest.Create(url);
            textBox2.Text += "Скачивание страницы...\r\n";
            HttpWebResponse myResponse = (HttpWebResponse)myRequest.GetResponse();
            textBox2.Text += "Скачивание окончено\r\n";
            StreamReader sr = new StreamReader(myResponse.GetResponseStream(), Encoding.GetEncoding(1251));
            string html = sr.ReadToEnd();
            string[] tmp = html.Split('"');
            List<string> urls = new List<string>();
            foreach(string str in tmp)
            {
                if (str.EndsWith(".gif") || str.EndsWith(".jpeg") || str.EndsWith(".jpg") || str.EndsWith(".png"))
                {
                    if (str.StartsWith("http://parkourforum.ru") != true && str.StartsWith("http"))
                    {
                        urls.Add(str);
                    }
                }
            }
            WebClient webClient = new WebClient();
            Directory.CreateDirectory("photo");
            foreach (string u in urls)
            {
                
                try
                {
 
                    if (u.EndsWith(".gif"))
                    {
                        string du = (@"photo/" + q + ".gif");
                        webClient.DownloadFile(u, du);
                        textBox2.Text += "Файл " + q + ".gif загружен\r\n";
                    }
                    else
                    {
                        string du = (@"photo/" + q + ".png");
                        webClient.DownloadFile(u, du);
                        textBox2.Text += "Файл " + q + ".png загружен\r\n";                        
                    }
                }
                catch(Exception ex)
                {
                    textBox2.Text += "Ошибка " + ex;
                }                
                q++;
            }
        }
    }
}
Т.е. скачивал страницу, далее используя разделитель " , я разделил код на куски(среди которых и были мне нужные ссылки), после чего просто проверял заканчивался ли текст элемента массива на формат картинки(тебе, если делать моим методом, то надо проверять на .mp3) и писал в список

или же тебе не пример, а сразу код написать ?
0
0 / 0 / 0
Регистрация: 15.06.2012
Сообщений: 16
28.06.2012, 17:07  [ТС]
спасибо за пример, уже разобрался.

Другой вопрос, скачиваю страницу тоже через httpwebrequest, при выполнении этой функции программа как бы зависает на 10-20 секунд (зависит от страницы). Как это можно устранить? В браузере же всё нормально.

мб страницу нужно скачивать кусками, а не целиком в переменную сделать что-то вроде буфера, ну или воспользоваться сторонней библиотекой?
0
Администратор
Эксперт .NET
 Аватар для tezaurismosis
9674 / 4826 / 763
Регистрация: 17.04.2012
Сообщений: 9,664
Записей в блоге: 14
28.06.2012, 18:02
Цитата Сообщение от alexs43 Посмотреть сообщение
программа как бы зависает на 10-20 секунд
За это время загружается страница
Цитата Сообщение от alexs43 Посмотреть сообщение
Как это можно устранить?
Воспользуйтесь асинхронной загрузкой (BeginInvoke и т.д.) или потоками, MSDN в помощь
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
28.06.2012, 18:02
Помогаю со студенческими работами здесь

Вытянуть из именованной ссылки ссылку
Добрый день господа программисты и системные администраторы. У меня такой, немного тупой, вопрос. Как можно из ячейки с именованной ссылкой...

как вытянуть картинку с ссылки
обычный метод открыть фон тут не проходит , сохраняет только ссылку а не картинку , в коде CSS искал пути для картинок но так и не нашел ,...

Вывести все четные и нечетные числа из диапазона диапазона от А до В включительно
Помогите решить: Вывести все четные и нечетные числа из диапазона от А до В включительно. Решить...

Печать диапазона страниц (компонент PrintDialog1)
Ребята, есть на форме PrintDialog, OleContainer. С печатью все было ОК(печать всего содержимого Word-документа). Но стало нужно...

Как сделать случайный переход на одну из диапазона страниц
Подскажите, пожалуйста, как сделать случайный переход на одну из диапазона страниц.


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
4
Ответ Создать тему
Новые блоги и статьи
AkelPad-скрипты, структуры, и немного лирики..
testuser2 05.04.2026
Такая программа, как AkelPad существует уже давно, и также давно существуют скрипты под нее. Тем не менее, прога живет, периодически что-то не спеша дополняется, улучшается. Что меня в первую очередь. . .
Отображение реквизитов в документе по условию и контроль их заполнения
Maks 04.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеСпецтехники", разработанного в конфигурации КА2. Данный документ берёт данные из другого нетипового документа. . .
Фото всей Земли с борта корабля Orion миссии Artemis II
kumehtar 04.04.2026
Это первое подобное фото сделанное человеком за 50 лет. Снимок называют новым вариантом легендарной фотографии «The Blue Marble» 1972 года, сделанной с борта корабля «Аполлон-17». Новое фото. . .
Вывод диалогового окна перед закрытием, если документ не проведён
Maks 04.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать программный контроль на предмет проведения документа. . .
Программный контроль заполнения реквизитов табличной части документа
Maks 02.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: 1. Реализовать контроль заполнения реквизита. . .
wmic не является внутренней или внешней командой
Maks 02.04.2026
Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/
Программная установка даты и запрет ее изменения
Maks 02.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .
Вывод данных в справочнике через динамический список
Maks 01.04.2026
Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru