Форум программистов, компьютерный форум, киберфорум
C# для начинающих
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.60/5: Рейтинг темы: голосов - 5, средняя оценка - 4.60
0 / 0 / 0
Регистрация: 15.06.2012
Сообщений: 16

C диапазона страниц вытянуть все ссылки

28.06.2012, 10:08. Показов 999. Ответов 3
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Друзья, надеюсь на вашу помощь

Есть Диапазон страниц,

www.blabla.com\blablabla\bla\1\
www.blabla.com\blablabla\bla\2\
www.blabla.com\blablabla\bla\3\

с которых нужно вытянуть ссылки вида "http:\/\/geo-samples.beatport.com\/lofi\/3604572.LOFI.mp3", меняется только номер "3604572" и записать их в массив
как я понял парсинг не совсем подходит (на примете был HtmlAgilityPack), лучше через регулярные выражения, или всё же это завсит от объема обрабатываемых данных ? Помогите пожалуйста примером кода
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
28.06.2012, 10:08
Ответы с готовыми решениями:

Как из диапазона цифр и букв вытянуть цифру соответствующую букве?
Имеется диапазон букв, 9 столбцов, каждому столбцу присвоена цифра. Необходимо, чтобы в ячейке при наборе последовательности букв, в другой...

Вытянуть число из ссылки
Привет, форумчане! Парсю с сайта список страниц, нужен номер последней страницы. Получаю последнюю ссылку в списке страниц через bs: ...

Вытянуть ссылки и их названия
Доброго времени суток форумчане! Помогите реализовать следующее, нужно вытянуть ссылки и их названия (<a...

3
24 / 23 / 3
Регистрация: 21.04.2012
Сообщений: 253
28.06.2012, 16:53

Не по теме:

А я попробовал зайти на тот сайт...


Я вот так вот парсил все картинки с определённого сайта и скачавал их

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Windows.Forms;
using System.Net;
using System.IO;
 
namespace WindowsFormsApplication1
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }
        int q = 0;
        private void button1_Click(object sender, EventArgs e)
        {
            string url = textBox1.Text;
            HttpWebRequest myRequest = (HttpWebRequest)HttpWebRequest.Create(url);
            textBox2.Text += "Скачивание страницы...\r\n";
            HttpWebResponse myResponse = (HttpWebResponse)myRequest.GetResponse();
            textBox2.Text += "Скачивание окончено\r\n";
            StreamReader sr = new StreamReader(myResponse.GetResponseStream(), Encoding.GetEncoding(1251));
            string html = sr.ReadToEnd();
            string[] tmp = html.Split('"');
            List<string> urls = new List<string>();
            foreach(string str in tmp)
            {
                if (str.EndsWith(".gif") || str.EndsWith(".jpeg") || str.EndsWith(".jpg") || str.EndsWith(".png"))
                {
                    if (str.StartsWith("http://parkourforum.ru") != true && str.StartsWith("http"))
                    {
                        urls.Add(str);
                    }
                }
            }
            WebClient webClient = new WebClient();
            Directory.CreateDirectory("photo");
            foreach (string u in urls)
            {
                
                try
                {
 
                    if (u.EndsWith(".gif"))
                    {
                        string du = (@"photo/" + q + ".gif");
                        webClient.DownloadFile(u, du);
                        textBox2.Text += "Файл " + q + ".gif загружен\r\n";
                    }
                    else
                    {
                        string du = (@"photo/" + q + ".png");
                        webClient.DownloadFile(u, du);
                        textBox2.Text += "Файл " + q + ".png загружен\r\n";                        
                    }
                }
                catch(Exception ex)
                {
                    textBox2.Text += "Ошибка " + ex;
                }                
                q++;
            }
        }
    }
}
Т.е. скачивал страницу, далее используя разделитель " , я разделил код на куски(среди которых и были мне нужные ссылки), после чего просто проверял заканчивался ли текст элемента массива на формат картинки(тебе, если делать моим методом, то надо проверять на .mp3) и писал в список

или же тебе не пример, а сразу код написать ?
0
0 / 0 / 0
Регистрация: 15.06.2012
Сообщений: 16
28.06.2012, 17:07  [ТС]
спасибо за пример, уже разобрался.

Другой вопрос, скачиваю страницу тоже через httpwebrequest, при выполнении этой функции программа как бы зависает на 10-20 секунд (зависит от страницы). Как это можно устранить? В браузере же всё нормально.

мб страницу нужно скачивать кусками, а не целиком в переменную сделать что-то вроде буфера, ну или воспользоваться сторонней библиотекой?
0
Администратор
Эксперт .NET
 Аватар для tezaurismosis
9670 / 4823 / 762
Регистрация: 17.04.2012
Сообщений: 9,661
Записей в блоге: 14
28.06.2012, 18:02
Цитата Сообщение от alexs43 Посмотреть сообщение
программа как бы зависает на 10-20 секунд
За это время загружается страница
Цитата Сообщение от alexs43 Посмотреть сообщение
Как это можно устранить?
Воспользуйтесь асинхронной загрузкой (BeginInvoke и т.д.) или потоками, MSDN в помощь
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
28.06.2012, 18:02
Помогаю со студенческими работами здесь

Вытянуть из именованной ссылки ссылку
Добрый день господа программисты и системные администраторы. У меня такой, немного тупой, вопрос. Как можно из ячейки с именованной ссылкой...

как вытянуть картинку с ссылки
обычный метод открыть фон тут не проходит , сохраняет только ссылку а не картинку , в коде CSS искал пути для картинок но так и не нашел ,...

Вывести все четные и нечетные числа из диапазона диапазона от А до В включительно
Помогите решить: Вывести все четные и нечетные числа из диапазона от А до В включительно. Решить...

Печать диапазона страниц (компонент PrintDialog1)
Ребята, есть на форме PrintDialog, OleContainer. С печатью все было ОК(печать всего содержимого Word-документа). Но стало нужно...

Как сделать случайный переход на одну из диапазона страниц
Подскажите, пожалуйста, как сделать случайный переход на одну из диапазона страниц.


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
4
Ответ Создать тему
Новые блоги и статьи
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост.
Programma_Boinc 28.12.2025
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / **********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / **********/ gallery/ bKBkQFf Пост отсюда. . .
Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США.
Programma_Boinc 26.12.2025
Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru