Форум программистов, компьютерный форум, киберфорум
C++
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 5.00/11: Рейтинг темы: голосов - 11, средняя оценка - 5.00
0 / 0 / 0
Регистрация: 17.03.2019
Сообщений: 9

Как использовать ограниченное количество потоков?

14.08.2020, 18:38. Показов 2223. Ответов 12

Студворк — интернет-сервис помощи студентам
У меня есть вектор с именами .txt файлов в текущей директории.
И есть n - кол-во потоков, которые задаёт пользователь.
Как прочитать эти файлы в n потоках?
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
14.08.2020, 18:38
Ответы с готовыми решениями:

Как создать неопределенное (т.е. не ограниченное в коде) количество экземпляров класса?
Если кратко, опишу задачу так. Есть баланс предприятия - "срез" показателей, который характеризуется рядом параметров (считай, большая...

Ограниченное количество одновременно работающих потоков без ThreadPool
К делу. Так это работает в ThreadPool ThreadPool.QueueUserWorkItem(clientObject.Process); ThreadPool.SetMaxThreads(3, 3); Как это...

Как выводить ограниченное количество данных по страницам?
Добрый вечер, как разбить доп. 10 тем на 2 страницы??? <?php $result = mysql_query("SELECT " . ...

12
6772 / 4565 / 1844
Регистрация: 07.05.2019
Сообщений: 13,726
14.08.2020, 18:51
Цитата Сообщение от Vanya Pipkin Посмотреть сообщение
Как прочитать эти файлы в n потоках?
Делаешь счётчик std::atomic<size_t> и увеличиваешь его в потоках, пока он меньше размера массива
0
Эксперт С++
 Аватар для Avazart
8484 / 6151 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
14.08.2020, 23:35
Цитата Сообщение от Vanya Pipkin Посмотреть сообщение
У меня есть вектор с именами .txt файлов в текущей директории.
И есть n - кол-во потоков, которые задаёт пользователь.
Как прочитать эти файлы в n потоках?
Есть такой термин пул потоков.
На практике можно реализовать потокобезопасную очередь (тоже термин) тут засунуть файлы.
Создать N потоков и каждый поток должен пытаться из очереди "вытянуть" файл (или сразу M файлов за раз) и работать с ним(и).
0
 Аватар для igorrr37
2872 / 2019 / 991
Регистрация: 21.12.2010
Сообщений: 3,751
Записей в блоге: 10
15.08.2020, 14:32
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
#include <iostream>
#include <mutex>
#include <vector>
#include <string>
#include <chrono>
#include <thread>
#include <fstream>
 
using namespace std::chrono_literals;
 
int main()
{
    std::vector<std::string> vct; // вектор с именами
    for(int i = 0; i < 200'000; ++i)
    {
        vct.emplace_back(std::to_string(i) + ".txt");
    }
 
    std::mutex mtxVct, mtxCout;
    auto lmd = [&mtxVct, &mtxCout, &vct]()
    {
        while(true)
        {
            mtxVct.lock();
            if(vct.size() != 0)
            {
                std::ifstream ifs{vct.back()};
                vct.pop_back();
                mtxVct.unlock();
                //std::this_thread::sleep_for(1ms);
                if(ifs.is_open())
                {
                    // обработка файла
                    mtxCout.lock();
                    std::cout << std::this_thread::get_id() << std::endl;
                    mtxCout.unlock();
                    ifs.close();
                }
            }
            else
            {
                mtxVct.unlock();
                break;
            }
        }
    };
 
    std::vector<std::thread> vt;
    int n = 4; // число потоков
    for(int i = 0; i < n; ++i)
    {
        vt.emplace_back(lmd);
    }
    for(auto& thr : vt)
    {
        thr.join();
    }
}
0
6772 / 4565 / 1844
Регистрация: 07.05.2019
Сообщений: 13,726
15.08.2020, 14:45
igorrr37, конструктор std::ifstream он не noexcept, поэтому блокировать здесь мьютекс напрямую, при помощи lock/unlock, не стоит, лучше воспользоваться std::lock_guard. Ещё лучше вынести этот конструктор из-под блокировки.
Ну и
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
std::mutex mtxCout;
std::atomic<size_t> n{0};
auto lmd = [&n, &mtxCout, &vct]()
{
    while (true)
    {
        const size_t i = ++n;
        if (i >= vct.size())
            break;
 
        std::ifstream ifs{vct[i]};
 
        //std::this_thread::sleep_for(1ms);
        if(ifs.is_open())
1
 Аватар для igorrr37
2872 / 2019 / 991
Регистрация: 21.12.2010
Сообщений: 3,751
Записей в блоге: 10
15.08.2020, 15:41
oleg-m1973, да можно вынести конструктор из-под блокировки. А вот в этой строчке
C++
1
const size_t i = ++n;
после инкремента и до присваивания сможет влезть другой поток и инкрементировать n ?
0
6772 / 4565 / 1844
Регистрация: 07.05.2019
Сообщений: 13,726
15.08.2020, 16:06
Цитата Сообщение от igorrr37 Посмотреть сообщение
после инкремента и до присваивания сможет влезть другой поток и инкрементировать n ?
Нет, оператор ++ уже вернёт значение и его никто уже не изменит. Так что всё будет нормально.
1
262 / 151 / 33
Регистрация: 29.06.2019
Сообщений: 1,515
17.09.2020, 14:36
Цитата Сообщение от igorrr37 Посмотреть сообщение
auto lmd = [&mtxVct, &mtxCout, &vct]()
долго смотрела на это... - всё равно смущает:
а разве main() поток не может закончится до того, как отработают потоки с такой лямбды?..
т.е. все захваченные ссылки ведь могут стать dangling ref до того, как потоки, запущенные е с лямбды, завершат свою работу?

Добавлено через 5 минут
хотя, наверно, если в main'е надо ждать
Цитата Сообщение от igorrr37 Посмотреть сообщение
for(auto& thr : vt)
{
thr.join();
}
- наверно, потоки, запущенные, не завершаться раньше main()...
всё-таки join() - блокирующая операция...
вопрос снят

Добавлено через 5 часов 27 минут
оставлю, раз уж сделала... работает ведь... вариант на async
=====
столько раз бывала в deadlock'ах (p29), что не люблю mutex...
попробовала asynchronous-threads отсюда
Кликните здесь для просмотра всего текста
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
#include <sstream> 
#include <iostream>
#include <fstream>
 
#include <vector>
#include <mutex>
#include <future>
 
#include <filesystem>
 
namespace fs = std::filesystem;
 
using namespace std;
 
// https://codeyarns.com/2015/04/24/asynchronous-threads-in-c/
class DoWorkClass 
{ 
    private:
        std::vector<string>  _data; 
        std::vector<std::future<string>> fut_vec; 
        int qtyThrs=4;
        std::mutex g_display_mutex;     // for cout...
        
    public: 
    DoWorkClass (std::vector<string>& data):_data(data){};
    ~DoWorkClass (){};
    
    string DoRead(string fName) 
     { 
         // Do some hard computation using fName  
         ifstream f(fName);      
         stringstream s;
         if (f) {
             s << f.rdbuf();    // присваиваем буферу s значение
             f.close();
             g_display_mutex.lock();
             cout << fName << ": " << s.str()<< '\n';   // и выводим в консоль
             g_display_mutex.unlock();
         }
            return ("done fx DoRead " + fName + "\n");
     } 
    
    void DoAsync() 
     {   
         int i=0;
         int ii=0;
         int q=qtyThrs;
         while (true) { 
            g_display_mutex.lock();         
            std::cout << "fx DoAsync getting Start:"  << std::endl;
            g_display_mutex.unlock();
              
             // Create qtyThrs async threads 
             for (int i = ii; i < q; ++i)           
             {    
                if (!_data.empty())
                {   fut_vec.push_back(std::async(std::launch::async, &DoWorkClass::DoRead,  this, string(_data.back())));
                    _data.pop_back();
                }
             }
 
             // Collect results from qtyThrs async threads - BLOCKING .get()
             string result = "";
             if(qtyThrs>fut_vec.size()) q=q-qtyThrs+fut_vec.size(); 
             
             for (int j = ii; j < fut_vec.size(); ++j)           
                    result += (fut_vec[j].get()); 
             
             g_display_mutex.lock();
             std::cout << "fx DoAsync getting Finish: \n" << result << std::endl ; 
             g_display_mutex.unlock();
             
             if (_data.empty()) { break;}
             else {
                 ii+=qtyThrs;
                 q+=qtyThrs;
             }
         }
     } 
};
 
int main(int argc, const char *argv[])
{
    std::vector<string> v; // вектор с адресами файлов
    
    fs::path p = fs::current_path();
    p/="test";  
    cout << p << "\n";
    // https://www.bfilipek.com/2017/08/cpp17-details-filesystem.html#working-with-the-path-object
    for (const auto& entry : fs::directory_iterator(p))
    {
        auto filename = entry.path().filename();    //cout << typeid(filename).name() << endl;
        if (fs::is_directory(entry.status()))
            break;
        else if (fs::is_regular_file(entry.status())) {
            string s{entry.path().filename().u8string()};
            v.emplace_back(s);      //cout << entry << '\n' << filename << endl;
        }
    }   
    
    // тестово вектор с адресами файлов
    //for(int i = 0; i < v.size(); ++i)
    //    cout << v[i] << endl;
 
    // асинхр. действия с файлами
    
    DoWorkClass obj(v);
    obj.DoAsync();
 
    system("pause");
    return 0;
}

недостаток - блокирование после каждого блока фьючей (по количеству потоков), можно количество потоков изменять в классе...
код берёт файлы из директории test рядом с app...
синхронизация только на cout (может, где и перестаралась?)...
вектор файлов синхронизировать в данном случае не вижу оснований - т.к. все filePaths запускаются поочерёдно в for-loop'e...
ну, и потом ожидание ответа, что огорчает ... наверно, с фьючами по-другому никак (не впихнуть в потоки новые элементы из вектора, только если на нач. этапе до помещения во фьюч - но это др история - переделывать надо )...
вобщем, такой класс ещё бы дорабатывать - т.к. порядок блокировок не идеальный... и exception'ы из фьючей ещё бы поотлавливать, если возможны на реальных данных...
p.s.
thread_safe_stack оказывается простой (c21), или на mtx+cv... пригодится может, если перерабатывать мой код, да и класс...
главное начать
0
6772 / 4565 / 1844
Регистрация: 07.05.2019
Сообщений: 13,726
17.09.2020, 15:22
Цитата Сообщение от JeyCi Посмотреть сообщение
g_display_mutex.lock();
             cout << fName << ": " << s.str()<< '\n';   // и выводим в консоль
             g_display_mutex.unlock();
Не лень тебе каждый раз писать эти g_display_mutex.lock/unlock? Это во-первых.
Во-вторых - там может возникнуть исключение, в результате получишь дедлок. Привыкай к таким вещам относиться серьёзно.
C++
1
2
3
4
5
6
7
template <typename... TT>
void Print(TT&&... vals)
{
    static std::mutex _mx;
    std::lock_guard lock(_mx);
    (std::cout << ... << vals) << std::endl;
}
1
262 / 151 / 33
Регистрация: 29.06.2019
Сообщений: 1,515
17.09.2020, 15:50
ок - посмотрю, покопаюсь... template красивый ... да ещё если от deadlock'ов защищает - то, что надо...
p.s.
только в моём коде - сразу поправить в сборе путей файлов - строка 95-96
C++
1
2
        else if (fs::is_regular_file(entry.status())) {
            string s{entry.path().u8string()};
т. к. сначала тестила файлы рядом с проектом - потом поправила на отдельную папку рядом...
0
Эксперт С++
 Аватар для Avazart
8484 / 6151 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
17.09.2020, 15:52
Кстати кто знает какая разница в использовании u8string и string ?
0
6772 / 4565 / 1844
Регистрация: 07.05.2019
Сообщений: 13,726
17.09.2020, 15:58
Цитата Сообщение от Avazart Посмотреть сообщение
Кстати кто знает какая разница в использовании u8string и string ?
Скорее всего никакой, кроме типа char8_t. Но, по-моему, уже неплохо.
0
Эксперт С++
 Аватар для Avazart
8484 / 6151 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
17.09.2020, 16:06
Цитата Сообщение от oleg-m1973 Посмотреть сообщение
Скорее всего никакой, кроме типа char8_t. Но, по-моему, уже неплохо.
А как по мне очень плохо.
Ведь по сути это тот же "тупой" контейнер.
Т.е. по нормально должен быть совсем другой класс специально заточенный под utf8.
Поведение должно быть другое для доступа по индексу, для кол-ва символов и наверное еще чего-то.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
17.09.2020, 16:06
Помогаю со студенческими работами здесь

Как вывести запрос ограниченное количество записей
например как вывести в запросе &quot;4&quot; первые 3 палия выложите пример пожалуйста используя этот файл

Как заставить ListView показывать ограниченное количество элементов?
Будет динамично заполняющийся лист Как сделать чтобы ListView показывал ограниченное кол-во items, а при нажатии на кнопку more...

Ограниченное количество запусков
Всем доброго времени суток, необходимо защитить программу путём ограничения количества запусков, но не до конца понимаю как это сделать,...

Ограниченное количество строк в memo
Подскажите как сделать ограниченное количество вводимых строк в memo. Допустим можно ввести только 20 строк, больше что бы пользователь не...

Выводиться ограниченное количество товаров
Добрый вечер! Проблема заключается в следующем: Было загружено 12 товаров с торговыми предложениями в раздел &quot;Мебель из дерева&quot;,...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
13
Ответ Создать тему
Новые блоги и статьи
http://iceja.net/ математические сервисы
iceja 20.01.2026
Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .
http://iceja.net/ сервер решения полиномов
iceja 18.01.2026
Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .
Расчёт переходных процессов в цепи постоянного тока
igorrr37 16.01.2026
/ * Дана цепь постоянного тока с R, L, C, k(ключ), U, E, J. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа, решает её и находит переходные токи и напряжения на элементах схемы. . . .
Восстановить юзерскрипты Greasemonkey из бэкапа браузера
damix 15.01.2026
Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .
Сукцессия микоризы: основная теория в виде двух уравнений.
anaschu 11.01.2026
https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/
WordPad для Windows 11
Jel 10.01.2026
WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .
Classic Notepad for Windows 11
Jel 10.01.2026
Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .
Почему дизайн решает?
Neotwalker 09.01.2026
В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru