Как оптимизировать код, где используется много методов .Contains?

@Vlad10 · Регистрация: 12.06.2011

Студворк — интернет-сервис помощи студентам

Здравствуйте! Есть задача поиска всех url'ов на каком то сайте и найти в них битые/небитые. Задачу решил с использованием Selenium WebDriver. В его помощью я легко получаю все нужные мне ссылки. Но вот только после того, как страница сайта была загружена и из её кода были выдраны url'ы, мне нужно проверить, не обрабатывал ли я уже такую url'ку, нет ли её уже в каком нибудь списке. Для этого использую метод .Contains. Вот только использую аж 5 штук подряд) И получается ситуация, что страница уже загружена, а из-за моих проверок прога висит. Можно ли как то оптимизировать мой код:

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
static void Main(string[] args)
        {
            IWebDriver driver = new ChromeDriver();
            //----------------------------------------------
            
            ArrayList brokenLinks = new ArrayList();
            ArrayList workingLinks = new ArrayList();
            ArrayList visitedLinks = new ArrayList();
            ArrayList externalLinksToVisit = new ArrayList();
            Stack<string> internalLinksToVisit = new Stack<string>();
            bool needToStop = false;
            string domainName = "http://isokor.pinstudio.ru/";
            string url = string.Empty;
            string startUrl = string.Empty; 
            HttpWebRequest webRequest = null;
            HttpWebResponse response = null;
 
            internalLinksToVisit.Push(domainName);
 
            while (needToStop == false)
            {
                startUrl = internalLinksToVisit.Pop();
                driver.Navigate().GoToUrl(startUrl);
                visitedLinks.Add(startUrl);
 
                try
                {
                    webRequest = (HttpWebRequest)WebRequest.Create(startUrl);
                    webRequest.AllowAutoRedirect = false;
                    webRequest.Timeout = 5000;
 
                    response = (HttpWebResponse)webRequest.GetResponse();
                    Console.WriteLine(startUrl + " - " + ((int)response.StatusCode).ToString());
 
                    if (response.StatusCode != HttpStatusCode.OK && response.StatusCode != HttpStatusCode.Moved && response.StatusCode != HttpStatusCode.MovedPermanently)
                    {
                        brokenLinks.Add(startUrl);
                    }
                    else
                    {
                        workingLinks.Add(startUrl);
                    }
                }
                catch (NotSupportedException)
                {
                    Console.WriteLine(startUrl + " - " + "невозможно определить код ответа");
                }
                catch (WebException e)
                {
                    brokenLinks.Add(startUrl + " - " + ((int)((HttpWebResponse)e.Response).StatusCode).ToString());
                    Console.WriteLine(startUrl + " - " + ((int)((HttpWebResponse)e.Response).StatusCode).ToString());
                }
                finally
                {
                    response.Close();
                }
 
                foreach (IWebElement element in driver.FindElements(By.TagName("a")))
                {
                    url = element.GetAttribute("href");
 
                    if (url != null)
                    {
                        if (url.Contains("#"))
                        {
                            continue;
                        }
 
                        if (internalLinksToVisit.Contains(url) == false && externalLinksToVisit.Contains(url) == false && visitedLinks.Contains(url) == false)
                        {
                            if (url.Contains(domainName) == true)
                            {
                                internalLinksToVisit.Push(url);
                            }
                            else
                            {
                                externalLinksToVisit.Add(url);
                            }
                        }
                    }
                }
 
                if (internalLinksToVisit.Count == 0)
                {
                    needToStop = true;
                }
            }
            
            //----------------------------------------------
 
            driver.Quit();
            Console.ReadKey();
        }
    }

Psilon · 22.04.2013, 20:17

Vlad10, потоков столько, сколько ядер. Например, для i5 будет 4, для i7+HT будет уже 8, ну и т.д.

Насчет исключений: не знаю, смотреть надо.

Добавлено через 1 минуту
в AggregateException должно быть написано, какие исключения привели к нему. Смотрите на msdn и отладчик.

@Vlad10 · 22.04.2013, 20:21 **[ТС]**

И ещё насчёт форича: Разве это правильно - создавать новые объекты HttpWebResponse и HttpWebRequest? Может из-за этого вылезает ошибка?

Psilon · 22.04.2013, 21:31

Vlad10, это локальные объекты, они невзаимосвязанны

@Vlad10 · 22.04.2013, 21:45 **[ТС]**

Сообщение от Psilon

Vlad10, это локальные объекты, они невзаимосвязанны

Я знаю, что не взаимосвязаны. Просто они создаются в каждой итерации, разве это не доп загрузка оперативки и доп время работы?

@Vlad10 · 22.04.2013, 22:28 **[ТС]**

Вот словил это исключение. Только что делать с ним не знаю. Получается, что при проверке какой то ссылки оно сваливается. Ладно, catcheм поймать можно, только как эту ссылку проверить, на которой он свалился?

@Vlad10 · 22.04.2013, 23:47 **[ТС]**

Он пишет типа, что ссылка на объект не указывает на экземпляр объекта. Фигня какая то. И в инете ничего толкового не нашёл, но у кучи людей именно в фориче такая лажа происходит.

Psilon · 23.04.2013, 02:23

Сообщение от Vlad10

Я знаю, что не взаимосвязаны. Просто они создаются в каждой итерации, разве это не доп загрузка оперативки и доп время работы?

Оптимизатор все равно их переместит куда ему будет выгоднее, а код пишется для человека. Так что нет, не доп.загрузка.

насчет ошибки: какую строчку подчеркивает студия когда вылетает?

@Vlad10 · 23.04.2013, 11:09 **[ТС]**

Дома он подчеркивал весь блок ForEach и писал, что объект не найден. Сейчас я запустил прогу на работе, в 1 раз он мне написал, что какая то непонятная ошибка изза оптимизации кода, потом тоже самое, потом что индекс какой то не найден в каком то массиве, а в 4 раз всё нормально. ААААААААААААААА, что за???
Если убрать паралельный форич, то всё ок. Что с ним такое? Почему он все время ошибки какие то вываливает непонятные?

На работе всё время сваливался тут:
catch (WebException e)
{
brokenLinks.Add(link + " - " + ((int)((HttpWebResponse)e.Response).Stat usCode).ToString());
Console.WriteLine(link + " - " + ((int)((HttpWebResponse)e.Response).Stat usCode).ToString());
}

@Vlad10 · 23.04.2013, 11:12 **[ТС]**

Вот, выловил:

@Vlad10 · 24.04.2013, 00:36 **[ТС]**

Кстати насчёт сортировки: http://professorweb.ru/my/csha... /12_12.php. Есть и класс SortedSet.

@Vlad10 · 25.04.2013, 16:13 **[ТС]**

Решил проблему. Вот какой должен быть код:

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
 Parallel.ForEach(visitedUrls, visitedUrl =>
                {
                    HttpWebResponse response = null;
 
                    try
                    {
                        HttpWebRequest webRequest = (HttpWebRequest)WebRequest.Create(visitedUrl);
 
                        webRequest.AllowAutoRedirect = false;
                        webRequest.Timeout = 5000;
                        response = (HttpWebResponse)webRequest.GetResponse();
                        Console.WriteLine(i++.ToString() + ". " + visitedUrl + " - " + ((int)response.StatusCode).ToString() + " (" + response.StatusDescription + ")");
                        Console.WriteLine("Тип: " + response.ContentType);
 
                        if (response.StatusCode != HttpStatusCode.OK && response.StatusCode != HttpStatusCode.Moved && response.StatusCode != HttpStatusCode.MovedPermanently)
                        {
                            brokenUrls.Add(visitedUrl);
                        }
                        else
                        {
                            workingUrls.Add(visitedUrl);
                        }
                    }
                    catch (NotSupportedException)
                    {
                        Console.WriteLine(visitedUrl + " - " + "невозможно определить код ответа");
                    }
                    catch (WebException e)
                    {
                        if (e.Status == WebExceptionStatus.ProtocolError)
                        {
                            brokenUrls.Add(visitedUrl + " - " + ((int)((HttpWebResponse)e.Response).StatusCode).ToString());
                            Console.WriteLine(i++.ToString() + ". " + visitedUrl + " - " + ((int)((HttpWebResponse)e.Response).StatusCode).ToString() + " (" + response.StatusDescription + ")");
                        }
                    }
                    finally
                    {
                        if (response != null)
                        {
                            response.Close();
                        }
                    }
                });

Проблема решена, всё работает довольно таки быстро. Ура!

Добавлено через 19 минут
Небольная поправка, вот такой:

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
Parallel.ForEach(visitedUrls, visitedUrl =>
                {
                    HttpWebResponse response = null;
 
                    try
                    {
                        HttpWebRequest webRequest = (HttpWebRequest)WebRequest.Create(visitedUrl);
 
                        webRequest.AllowAutoRedirect = false;
                        webRequest.Timeout = 5000;
                        response = (HttpWebResponse)webRequest.GetResponse();
                        Console.WriteLine(i++.ToString() + ". " + visitedUrl + " - " + ((int)response.StatusCode).ToString() + " (" + response.StatusDescription + ")");
                        Console.WriteLine("Тип: " + response.ContentType);
 
                        if (response.StatusCode != HttpStatusCode.OK && response.StatusCode != HttpStatusCode.Moved && response.StatusCode != HttpStatusCode.MovedPermanently)
                        {
                            brokenUrls.Add(visitedUrl);
                        }
                        else
                        {
                            workingUrls.Add(visitedUrl);
                        }
                    }
                    catch (NotSupportedException)
                    {
                        Console.WriteLine(visitedUrl + " - " + "невозможно определить код ответа");
                    }
                    catch (WebException e)
                    {
                        if (e.Status == WebExceptionStatus.ProtocolError)
                        {
                            brokenUrls.Add(visitedUrl + " - " + ((int)((HttpWebResponse)e.Response).StatusCode).ToString());
                            Console.WriteLine(i++.ToString() + ". " + visitedUrl + " - " + ((int)((HttpWebResponse)e.Response).StatusCode).ToString() + " (" + ((HttpWebResponse)e.Response).StatusDescription + ")");
                        }
                    }
                    finally
                    {
                        if (response != null)
                        {
                            response.Close();
                        }
                    }
                });

Тему в общем то можно закрывать.

Новые блоги и статьи Все статьи Все блоги /
Саморегулирующийся социальный контракт для сервера cross-section. Hrethgir 14.08.2026 С кодом конечно таких глубоких размышлений пока не было, впрочем я уже привык к алгоритмизации. Суть предмета записи: снова в диалоге с нейросетью (я взял пока себе ник для учётки админа - Rector). . . .	Часы электронные Uhbif79 12.08.2026 Выкладываю программу часов. Программа позволяет: 1. Использовать системное время и дату, 2. Есть возможность вводить время и дату вручную. 3. Реализованы 2 будильника: начало и конец рабочего дня. . . .	Часы с будильником на основе класса QLCDNumber Uhbif79 12.08.2026 Всем добрый день, выкладываю программу часов с будильником на основе класса QLCDNumber. Здесь я пробовал самостоятельно создавал классы, впервые столкнулся с видимостью переменной одного класса из. . .	Установка MinGW GCC 16.2 и CMake 8Observer8 10.08.2026 VK Видео: https:/ / vkvideo. ru/ video-240781534_456239017 YouTube: eY5-5PyI9NM Текстовая версия
Неделя из жизни имитационной модели склада: мои кривые руки растут, откуда надо anaschu 10.08.2026 Неделя из жизни имитационной модели склада: как я почти написал неправильную логику и что с этим делать Работаю сейчас над учебно-рабочим проектом: строю в AnyLogic имитационную модель процессов. . .	Калькулятор для расчета родства russiannick 07.08.2026 1. Задача: Создать калькулятор для расчета родства. Родственных связей существует 8 ступеней, такие как: p - отец P - мать q - муж Q - жена b - брат B - сестра s - сын S - дочь	Мир по моей воле kumehtar 07.08.2026 Когда-то кажется, что всё просто. Ты весь такой светлый. Причиняешь добро. Борешься за справедливость в этом тёмном мире. Потом начинаешь замечать одну неприятную вещь. Почти каждый хороший. . .	Кредитный калькулятор Maks 05.08.2026 Решение задачи по прикладной информатике средствами 1С. Задача: Напишите приложение-калькулятор, которое помогает рассчитывать параметры кредита для аннуитетного и дифференцированного видов. . .

Psilon Master of Orion 6102 / 4958 / 905 Регистрация: 10.07.2011 Сообщений: 14,522 Записей в блоге: 5
	22.04.2013, 20:17
	Vlad10, потоков столько, сколько ядер. Например, для i5 будет 4, для i7+HT будет уже 8, ну и т.д. Насчет исключений: не знаю, смотреть надо. Добавлено через 1 минуту в AggregateException должно быть написано, какие исключения привели к нему. Смотрите на msdn и отладчик. 0

@Vlad10 4 / 4 / 1 Регистрация: 12.06.2011 Сообщений: 111
	22.04.2013, 20:21 [ТС]
	И ещё насчёт форича: Разве это правильно - создавать новые объекты HttpWebResponse и HttpWebRequest? Может из-за этого вылезает ошибка? 0

Psilon Master of Orion 6102 / 4958 / 905 Регистрация: 10.07.2011 Сообщений: 14,522 Записей в блоге: 5
	22.04.2013, 21:31
	Vlad10, это локальные объекты, они невзаимосвязанны 0

@Vlad10 4 / 4 / 1 Регистрация: 12.06.2011 Сообщений: 111
	22.04.2013, 22:28 [ТС]
	Вот словил это исключение. Только что делать с ним не знаю. Получается, что при проверке какой то ссылки оно сваливается. Ладно, catcheм поймать можно, только как эту ссылку проверить, на которой он свалился? Миниатюры 0

@Vlad10 4 / 4 / 1 Регистрация: 12.06.2011 Сообщений: 111
	22.04.2013, 23:47 [ТС]
	Он пишет типа, что ссылка на объект не указывает на экземпляр объекта. Фигня какая то. И в инете ничего толкового не нашёл, но у кучи людей именно в фориче такая лажа происходит. 0

@Vlad10 4 / 4 / 1 Регистрация: 12.06.2011 Сообщений: 111
	23.04.2013, 11:09 [ТС]
	Дома он подчеркивал весь блок ForEach и писал, что объект не найден. Сейчас я запустил прогу на работе, в 1 раз он мне написал, что какая то непонятная ошибка изза оптимизации кода, потом тоже самое, потом что индекс какой то не найден в каком то массиве, а в 4 раз всё нормально. ААААААААААААААА, что за??? Если убрать паралельный форич, то всё ок. Что с ним такое? Почему он все время ошибки какие то вываливает непонятные? На работе всё время сваливался тут: catch (WebException e) { brokenLinks.Add(link + " - " + ((int)((HttpWebResponse)e.Response).Stat usCode).ToString()); Console.WriteLine(link + " - " + ((int)((HttpWebResponse)e.Response).Stat usCode).ToString()); } 0

@Vlad10 4 / 4 / 1 Регистрация: 12.06.2011 Сообщений: 111
	23.04.2013, 11:12 [ТС]
	Вот, выловил: Миниатюры 0

@Vlad10 4 / 4 / 1 Регистрация: 12.06.2011 Сообщений: 111
	24.04.2013, 00:36 [ТС]
	Кстати насчёт сортировки: http://professorweb.ru/my/csha... /12_12.php. Есть и класс SortedSet. 0

Опции темы