Многопоточные проблемы

@Egor1029 · Регистрация: 10.09.2020

Студворк — интернет-сервис помощи студентам

Столкнулся с проблемой. Необходимо сделать многопоточный парсер.

Загружаем куки , выбираем кол-во потоков тыкаем старт. Далее софт отправляет на сайты GET запросы и парсит с них информацию.

Не могу понять с многопоточностью , чтобы проверяло сразу несколько разных кук. List<string> (в котором содержаться куки) перезаписывается каждый раз с новым потоком , а это не подходит.

в идеале загружаем куки , софт работает в несколько независимых потоков , каждый Поток записывает СВОИ куки и работает с ними. Как это можно реализовать?

Как пример Лог Чекер. Проблема в том , что я даже не знаю в какую сторону смотреть..

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Diagnostics;
using System.Drawing;
using System.IO;
using System.Linq;
using System.Text;
using System.Text.RegularExpressions;
using System.Threading;
using System.Threading.Tasks;
using System.Windows.Forms;
using xNet;
using HtmlAgilityPack;
using HtmlDocument = HtmlAgilityPack.HtmlDocument;
 
namespace SiteChecker
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }
        List<string> dirs = new List<string>();
        List<string> proxylist = new List<string>();
        List<string> output = new List<string>();
        /*
         * ================================================================================================
         * ЗАГРУЗКА КУКИ================================================================================================
         * ================================================================================================
         */
        private void guna2TextBox1_MouseClick(object sender, MouseEventArgs e)
        {
            guna2HtmlLabel2.Text = "Всего логов в папке: 0";
            dirs.Clear();
            FolderBrowserDialog dialog = new FolderBrowserDialog();
            dialog.Description = "Выбрать папку с логами";
            if (dialog.ShowDialog() == DialogResult.OK)
            {
                guna2ProgressBar1.Value = 0;
                guna2ProgressBar1.Maximum = (Directory.GetDirectories(dialog.SelectedPath).Length);
                guna2TextBox1.Text = dialog.SelectedPath;
                DirectoryInfo dir = new DirectoryInfo(guna2TextBox1.Text);
                    foreach (var item in dir.GetDirectories())
                    {
                        dirs.Add(item.FullName);
                        guna2ProgressBar1.Value += 1;
                    }
            }
            guna2HtmlLabel2.Text = "Всего логов в папке: " + dirs.Count.ToString();
            MessageBox.Show("Загружено " + dirs.Count + " куки!");
            guna2ProgressBar3.Maximum = dirs.Count;
        }
 
        /*
         * ================================================================================================
         * ЗАГРУЗКА ПРОКСИ================================================================================================
         * ================================================================================================
         */
 
        private async void guna2TextBox2_MouseClick(object sender, MouseEventArgs e)
        {
            proxylist.Clear();
            guna2HtmlLabel13.Text = "Всего прокси: 0";
            OpenFileDialog proxyfile = new OpenFileDialog();
            proxyfile.Filter = "Proxy txt (*.txt)|*.txt|All files (*.*)|*.*";
            proxyfile.Title = "Выбрать Proxy файл";
            if (proxyfile.ShowDialog() == DialogResult.OK)
            {
                guna2ProgressBar2.Value = 0;
                int linesCount = System.IO.File.ReadAllLines(proxyfile.FileName).Length;
                guna2ProgressBar2.Maximum = linesCount;
                guna2TextBox2.Text = proxyfile.FileName;
                using (System.IO.StreamReader read = new System.IO.StreamReader(guna2TextBox2.Text))
                {
                    await Task.Run(() =>
                    {
                        foreach (string str in read.ReadToEnd().Split(new Char[] { ' ', '\r' }))
                        {
                            proxylist.Add(str);
                            guna2ProgressBar2.Value += 1;
                        }
                    });
                    guna2HtmlLabel13.Text = "Всего прокси: " + proxylist.Count.ToString();
                    MessageBox.Show("Добавлено " + proxylist.Count + " прокси!");
                }
            }
        }
        
        private void button_Click(object sender, EventArgs e)
        {
            CheckSwitch(); //Пускаем для проверки выключений
        }
 
        private async void StartThread()
        {
 
            //ВОТ ТУТ ДОЛЖНО ВСЕ НАЧИНАТЬСЯ
 
        }
 
        /*
         * 
         * ==================================================================================
         * СОХРАНЕНИЯ==================================================================================
         * ==================================================================================
         * 
         */
 
        string Saveing(string domain)
        {
            string dirsave = Folder() + "\\" + domain;
            if (Directory.Exists(dirsave) == false)
            {
                Directory.CreateDirectory(dirsave);
            }
            string save = dirsave;
            return save;
        }
 
        /*
         * 
         * =======================================================================================================================
         * ВЫКЛЮЧЕНИЯ=======================================================================================================================
         * =======================================================================================================================
         * 
         */
        private void CheckSettings()
        {
            if (guna2ToggleSwitch1.Checked == true)
            {
                guna2HtmlLabel19.Text = "0";
            }
            else { guna2HtmlLabel19.Text = "NULL"; }
            if (guna2ToggleSwitch2.Checked == true)
            {
                guna2HtmlLabel20.Text = "0";
            }
            else { guna2HtmlLabel20.Text = "NULL"; }
            if (guna2ToggleSwitch3.Checked == true)
            {
                guna2HtmlLabel21.Text = "0";
            }
            else { guna2HtmlLabel21.Text = "NULL"; }
            if (guna2ToggleSwitch4.Checked == true)
            {
                guna2HtmlLabel22.Text = "0";
            }
            else { guna2HtmlLabel22.Text = "NULL"; }
            if (guna2ToggleSwitch6.Checked == true)
            {
                guna2HtmlLabel23.Text = "0";
            }
            else { guna2HtmlLabel23.Text = "NULL"; }
        }
        /*
         * ===================================================================================
         * СВЯЗКА ТРЕКБАРА И ТЕКСТБОКС 3===================================================================================
         * ===================================================================================
         */
 
        private void guna2TextBox3_TextChanged(object sender, EventArgs e)
        {
            try{guna2TrackBar1.Value = Convert.ToInt32(guna2TextBox3.Text);} catch { }
        }
 
        private void guna2TrackBar1_Scroll(object sender, ScrollEventArgs e)
        {
            try{guna2TextBox3.Text = guna2TrackBar1.Value.ToString();}catch{ }
        }
 
        /*
         * ===================================================================================
         * ПРОВЕРКА СВИЧЕЙ===================================================================================
         * ===================================================================================
         */
        private void CheckSwitch()
        {
            if (guna2ToggleSwitch1.Checked == false &&
                guna2ToggleSwitch2.Checked == false &&
                guna2ToggleSwitch3.Checked == false &&
                guna2ToggleSwitch4.Checked == false &&
                guna2ToggleSwitch5.Checked == false &&
                guna2ToggleSwitch6.Checked == false &&
                guna2ToggleSwitch6.Checked == false)
            {
                MessageBox.Show("Необходимо выбрать хотя бы один пункт!", "Внимание!", MessageBoxButtons.OK, MessageBoxIcon.Error);
            }
            else { CheckSettings(); StartThread(); }
        }
 
        /*
         * ===================================================================================
         * ПАПКА===================================================================================
         * ===================================================================================
         */
        static string Folder()
        {
            string s = DateTime.Now.ToString();
            s = DateTime.Parse(s).ToShortDateString();
            string newFolder = "Checked_" + s;
            string programdir = Path.GetDirectoryName(System.Reflection.Assembly.GetExecutingAssembly().Location);
            if (Directory.Exists(programdir + "\\" + newFolder) == false)
            {
                Directory.CreateDirectory(programdir + "\\" + newFolder);
            }
            string path = programdir + "\\" + newFolder;
            return path;
        }
    }
}

@Рядовой · 07.02.2021, 18:31

Сообщение от Egor1029

Проблема в том , что я даже не знаю в какую сторону смотреть..

Архитектура ПО в WinForms (FAQ & HowTo)
перепешите текущий вариант и можно будет подумать над многопоточностью

@Egor1029 · 07.02.2021, 18:47 **[ТС]**

Не совсем вас понял..

@Рядовой · 07.02.2021, 18:59

Egor1029, ну у вас в коде каша из логики и работы с контролами. Людям, не знающим, что такое guna2HtmlLabel13 вообще не очевидно, что это и как это все работает и уж тем более не понятно, как это переделать на многопточность. Вот я вам и предложил переписать код по человечески, а то ответа вы не дождетесь..

@Egor1029 · 07.02.2021, 19:11 **[ТС]**

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
       private void TextBox1_MouseClick(object sender, MouseEventArgs e)
        {
            Label2.Text = "Всего логов в папке: 0";
            dirs.Clear();
            FolderBrowserDialog dialog = new FolderBrowserDialog();
            dialog.Description = "Выбрать папку с логами";
            if (dialog.ShowDialog() == DialogResult.OK)
            {
                ProgressBar1.Value = 0;
                ProgressBar1.Maximum = (Directory.GetDirectories(dialog.SelectedPath).Length);
                TextBox1.Text = dialog.SelectedPath;
                DirectoryInfo dir = new DirectoryInfo(TextBox1.Text);
                    foreach (var item in dir.GetDirectories())
                    {
                        dirs.Add(item.FullName);
                        ProgressBar1.Value += 1;
                    }
            }
            lLabel2.Text = "Всего логов в папке: " + dirs.Count.ToString();
            MessageBox.Show("Загружено " + dirs.Count + " куки!");
            ProgressBar3.Maximum = dirs.Count;
        }
 
        private async void TextBox2_MouseClick(object sender, MouseEventArgs e)
        {
            proxylist.Clear();
            Label13.Text = "Всего прокси: 0";
            OpenFileDialog proxyfile = new OpenFileDialog();
            proxyfile.Filter = "Proxy txt (*.txt)|*.txt|All files (*.*)|*.*";
            proxyfile.Title = "Выбрать Proxy файл";
            if (proxyfile.ShowDialog() == DialogResult.OK)
            {
                ProgressBar2.Value = 0;
                int linesCount = System.IO.File.ReadAllLines(proxyfile.FileName).Length;
                ProgressBar2.Maximum = linesCount;
                TextBox2.Text = proxyfile.FileName;
                using (System.IO.StreamReader read = new System.IO.StreamReader(TextBox2.Text))
                {
                    await Task.Run(() =>
                    {
                        foreach (string str in read.ReadToEnd().Split(new Char[] { ' ', '\r' }))
                        {
                            proxylist.Add(str);
                            ProgressBar2.Value += 1;
                        }
                    });
                    Label13.Text = "Всего прокси: " + proxylist.Count.ToString();
                    MessageBox.Show("Добавлено " + proxylist.Count + " прокси!");
                }
            }
        }
        
        private void button_Click(object sender, EventArgs e)
        {
            CheckSwitch(); //Пускаем для проверки выключений
        }
 
        private void StartThread()
        {
            
        }

@Рядовой · 07.02.2021, 19:50

Egor1029, ну как, по твоему, можно переделать этот кусок на многопоточность?

C#
1
2
3
4
5
proxylist.Clear();
            Label13.Text = "Всего прокси: 0";
            OpenFileDialog proxyfile = new OpenFileDialog();
            proxyfile.Filter = "Proxy txt (*.txt)|*.txt|All files (*.*)|*.*";
            proxyfile.Title = "Выбрать Proxy файл";

@Egor1029 · 07.02.2021, 20:07 **[ТС]**

Ну дык это же происходит при нажатии мыши. По сути в этом куске просто прокси загружаются в лист

Новые блоги и статьи Все статьи Все блоги /
модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .	Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .	Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ
Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики. Hrethgir 07.04.2026 Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .	Горе от ума kumehtar 07.04.2026 Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .	Использование значений реквизитов справочника в документе, с определенными условиями и правами Maks 07.04.2026 1. Контроль срока действия договора Алгоритм из решения ниже реализован на примере нетипового документа "ЗаявкаНаРаботу", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если. . .	Доступность команды формы по условию Maks 07.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: сделать доступной кнопку (команда формы "ЗавершитьСписание") при. . .

@Egor1029 1 / 1 / 0 Регистрация: 10.09.2020 Сообщений: 69
	07.02.2021, 18:47 [ТС]
	Не совсем вас понял.. 0

@Рядовой 1524 / 914 / 329 Регистрация: 17.05.2015 Сообщений: 3,438
	07.02.2021, 18:59
	Egor1029, ну у вас в коде каша из логики и работы с контролами. Людям, не знающим, что такое guna2HtmlLabel13 вообще не очевидно, что это и как это все работает и уж тем более не понятно, как это переделать на многопточность. Вот я вам и предложил переписать код по человечески, а то ответа вы не дождетесь.. 0

@Egor1029 1 / 1 / 0 Регистрация: 10.09.2020 Сообщений: 69
	07.02.2021, 20:07 [ТС]
	Ну дык это же происходит при нажатии мыши. По сути в этом куске просто прокси загружаются в лист 0