Определить, сколько раз каждый символ встречается в файле через многопоточность

@olena_nov · Регистрация: 11.12.2017

Студворк — интернет-сервис помощи студентам

Мой код:

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
#include "stdafx.h"
#include <fstream>
#include <iostream>
#include <vector>
 
using namespace std;
void TextThread(std::string str)
{
    std::ifstream text(str);
    if (!text)
        std::cout << "No open file" << "\n";
    
    std::vector<char> symvol;
    symvol.reserve(256);
 
    for (char x; text >> x;)
        ++symvol[x];
}
 
 
 
 
int main()
{
    TextThread("D:\\text.txt");
    return 0;
}

Я начала делать. Записала в вектор с файла. теперь мне нужно по идее расбить на равные части вектор и делать многопоточность. но я не пойму как мне эта дедать. Нужна ваша помощь.

@igorrr37 · 16.01.2018, 14:28

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
#include <iostream>
#include <fstream>
#include <thread>
#include <atomic>
#include <cstdlib>
#include <string>
#include <iterator>
 
void func(std::string const& str, int ib, int ie, std::atomic<int> arr[256])
{
    for (int i = ib; i < ie; ++i)
    {
        ++arr[str[i]];
    }
}
 
int main() 
{
    std::ifstream ifs("in.txt");
    if (!ifs.is_open())
    {
        std::cerr << "Unable to open input file\n";
        exit(1);
    }
    std::atomic<int> arr[256] = {};
    std::string str((std::istreambuf_iterator<char>(ifs.rdbuf())), std::istreambuf_iterator<char>());
    std::thread t1(func, str, 0, str.size() / 2, arr);
    std::thread t2(func, str, str.size() / 2, str.size(), arr);
    t1.join();
    t2.join();
    for (int i = 0; i < 256; ++i)
    {
        if (arr[i] != 0)
        {
            std::cout << char(i) << " - " << arr[i] << std::endl;
        }
    }
 
    return 0;
}

@olena_nov · 16.01.2018, 15:19 **[ТС]**

igorrr37, препод сказал что нельзя ни мютекс ни атомик использовать , а самому все делать. И hardware_concurrency ( ) использовать

@Raali · 16.01.2018, 17:28

Сделай N массивов, и для каждого в своем потоке сосчитай в N переменных
после всех join - сложи все N

Либо читай и считай сразу из N непересекающихся частей файла в N потоках в N переменных

@Peoples · 16.01.2018, 19:01

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
#include <iostream>
#include <string>
#include <algorithm>
#include <map>
#include <thread>
#include <iterator>
#include <fstream>
#include <vector>
#include <future>
 
using namespace std;
 
class join_threads
{
    vector<thread>& threads;
    
    public:
        
    explicit join_threads(vector<thread>&threads_):
        threads(threads_){}
        
    ~join_threads()
    {
        for(int i=0;i<threads.size();i++)
        {
            if(threads[i].joinable())
            {
                threads[i].join();
            }
        }
    }
        
        
};
 
 
map<char,int> FoC(string::iterator beg,string::iterator en)
 {
    map<char,int>m {};
    
    for(auto it=beg; it!=en; it++) 
    {
        ++m[*it];
    }
    
    return m;
}
 
map<char,int>& operator+=(map<char,int>&a, const map<char,int> &b) 
{
 
    for(map<char,int>::const_iterator it=b.begin(); it!=b.end(); it++) 
    {
        if(a.find(it->first)!=a.end()) 
        {
            a[it->first]+=b.at(it->first);
            
        } else a[it->first]+=it->second;
    }
    
    return a;
}
 
const map<char,int> operator+(const map<char,int>&a, const map<char,int> &b)
{
    map<char,int> res{a};
    
    res+=b;
    
    return res;
}
 
 
 
template<typename Iterator>
map<char,int> parrallel_FoC(Iterator first,Iterator last)
{
    unsigned long const length=distance(first,last);
    
    if(!length)
    return map<char,int>{};
    
    unsigned long const min_per_thread=25;
    unsigned long const max_threads=(length+min_per_thread-1)/min_per_thread;
    
    unsigned long const hardware_threads=thread::hardware_concurrency();
    
    unsigned long const num_threads=min(hardware_threads!=0?hardware_threads:2,max_threads);
    
    unsigned long const block_size=length/num_threads;
    
    vector<future<map<char,int>>> futures(num_threads-1);
    vector<thread>threads(num_threads-1);
    join_threads joiner(threads);
    
    Iterator block_start=first;
    
    for(int i=0;i<(num_threads-1);++i)
    {
        Iterator block_end=block_start;
        advance(block_end,block_size);
        packaged_task<map<char,int>(string::iterator,string::iterator)>task(FoC);
    
        
        futures[i]=task.get_future();
        threads[i]=thread(move(task),block_start,block_end);
        block_start=block_end;
    }
    
    map<char,int>res=FoC(block_start,last);
    
    for(int i=0;i<(num_threads-1);++i)
    {
        res+=futures[i].get();
    }
    return res;
    
}
 
 
 
int main() {
    
    ifstream ff("tr.txt");
    
    string s {istream_iterator<char>(ff),istream_iterator<char>()};
    
    map<char,int>r=parrallel_FoC(s.begin(),s.end());
    
    for(map<char,int>::iterator it=r.begin(); it!=r.end(); it++) 
    {
        cout<<it->first<<" "<<it->second<<endl;
    }
    
    return 0;
}

@olena_nov · 17.01.2018, 11:43 **[ТС]**

Peoples, спасибо. но мне по проще неужно) я только учу

Добавлено через 33 минуты
От что я смогла сделать.

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
#include "stdafx.h"
#include <iostream>
#include <fstream>
#include <iterator>
#include <algorithm>
#include <string>
#include <vector>
#include <atomic>
#include <thread>
 
 
void TextThread(std::string str)
{
    std::ifstream text(str);
    if (!text)
        std::cout << "No open file" << "\n";
 
    std::istream_iterator<char> input(text);
    std::istream_iterator<char> output;
    
    std::vector<char> symvol(input, output);
 
    unsigned valueThread = std::thread::hardware_concurrency();
    std::vector<std::thread> threads;
    threads.reserve(valueThread);
    for (unsigned int i = 0; i < valueThread; ++i) 
    {
        threads[i];
    }
    std::for_each(threads.begin(), threads.end(), std::mem_fn(&std::thread::join));
    
 
    for (unsigned int i = 0; i < symvol.size(); ++i)
        std::cout << symvol[i] << "\n";
}
 
int main()
{
    TextThread("D:\\text.txt");
    return 0;
}

Добавлено через 14 часов 41 минуту
Еще переделала:

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
#include "stdafx.h"
#include <iostream>
#include <fstream>
#include <iterator>
#include <algorithm>
#include <string>
#include <vector>
#include <atomic>
#include <thread>
 
void TextThread(std::string str)
{
    std::ifstream text(str);
    if (!text)
        std::cout << "No open file" << "\n";
 
    std::istream_iterator<char> input(text);
    std::istream_iterator<char> output;
    
    std::vector<char> symvol(input, output);
 
    unsigned maxThreadCount = std::thread::hardware_concurrency();
    const std::size_t minLength = symvol.size() / maxThreadCount;
    const std::size_t modulo = symvol.size() % maxThreadCount;
 
    std::vector<std::size_t> results;
    results.reserve(maxThreadCount);
 
    std::vector<std::thread> threads;
    threads.reserve(maxThreadCount - 1);
    for (std::size_t i = 0; i < modulo; ++i)
        results.emplace_back(minLength + 1);
 
    if (minLength > 0)
    {
        for (std::size_t i = modulo; i < maxThreadCount; ++i)
            results.emplace_back(minLength);
    }
    for (std::size_t i = 1; i < threads.size(); ++i)
        threads.emplace_back(threads[i - 1] + 1, threads[i - 1] + threads[i]);
 
    std::for_each(threads.begin(), threads.end(), std::mem_fn(&std::thread::join));
    
 
    for (unsigned int i = 0; i < symvol.size(); ++i)
        std::cout << symvol[i] << "\n";
}
 
int main()
{
    TextThread("D:\\text.txt");
    return 0;
}

но кричит на этот код:

C++
1
2
for (std::size_t i = 1; i < threads.size(); ++i)
        threads.emplace_back(threads[i - 1] + 1, threads[i - 1] + threads[i]);

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@olena_nov 1 / 1 / 0 Регистрация: 11.12.2017 Сообщений: 44
	16.01.2018, 15:19 [ТС]
	igorrr37, препод сказал что нельзя ни мютекс ни атомик использовать , а самому все делать. И hardware_concurrency ( ) использовать 0

@Raali 859 / 448 / 112 Регистрация: 06.07.2013 Сообщений: 1,491
	16.01.2018, 17:28
	Сделай N массивов, и для каждого в своем потоке сосчитай в N переменных после всех join - сложи все N Либо читай и считай сразу из N непересекающихся частей файла в N потоках в N переменных 0