Определить, сколько раз каждый символ встречается в файле через многопоточность

@olena_nov · Регистрация: 11.12.2017

Студворк — интернет-сервис помощи студентам

Мой код:

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
#include "stdafx.h"
#include <fstream>
#include <iostream>
#include <vector>
 
using namespace std;
void TextThread(std::string str)
{
    std::ifstream text(str);
    if (!text)
        std::cout << "No open file" << "\n";
    
    std::vector<char> symvol;
    symvol.reserve(256);
 
    for (char x; text >> x;)
        ++symvol[x];
}
 
 
 
 
int main()
{
    TextThread("D:\\text.txt");
    return 0;
}

Я начала делать. Записала в вектор с файла. теперь мне нужно по идее расбить на равные части вектор и делать многопоточность. но я не пойму как мне эта дедать. Нужна ваша помощь.

@igorrr37 · 16.01.2018, 14:28

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
#include <iostream>
#include <fstream>
#include <thread>
#include <atomic>
#include <cstdlib>
#include <string>
#include <iterator>
 
void func(std::string const& str, int ib, int ie, std::atomic<int> arr[256])
{
    for (int i = ib; i < ie; ++i)
    {
        ++arr[str[i]];
    }
}
 
int main() 
{
    std::ifstream ifs("in.txt");
    if (!ifs.is_open())
    {
        std::cerr << "Unable to open input file\n";
        exit(1);
    }
    std::atomic<int> arr[256] = {};
    std::string str((std::istreambuf_iterator<char>(ifs.rdbuf())), std::istreambuf_iterator<char>());
    std::thread t1(func, str, 0, str.size() / 2, arr);
    std::thread t2(func, str, str.size() / 2, str.size(), arr);
    t1.join();
    t2.join();
    for (int i = 0; i < 256; ++i)
    {
        if (arr[i] != 0)
        {
            std::cout << char(i) << " - " << arr[i] << std::endl;
        }
    }
 
    return 0;
}

@olena_nov · 16.01.2018, 15:19 **[ТС]**

igorrr37, препод сказал что нельзя ни мютекс ни атомик использовать , а самому все делать. И hardware_concurrency ( ) использовать

@Raali · 16.01.2018, 17:28

Сделай N массивов, и для каждого в своем потоке сосчитай в N переменных
после всех join - сложи все N

Либо читай и считай сразу из N непересекающихся частей файла в N потоках в N переменных

@Peoples · 16.01.2018, 19:01

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
#include <iostream>
#include <string>
#include <algorithm>
#include <map>
#include <thread>
#include <iterator>
#include <fstream>
#include <vector>
#include <future>
 
using namespace std;
 
class join_threads
{
    vector<thread>& threads;
    
    public:
        
    explicit join_threads(vector<thread>&threads_):
        threads(threads_){}
        
    ~join_threads()
    {
        for(int i=0;i<threads.size();i++)
        {
            if(threads[i].joinable())
            {
                threads[i].join();
            }
        }
    }
        
        
};
 
 
map<char,int> FoC(string::iterator beg,string::iterator en)
 {
    map<char,int>m {};
    
    for(auto it=beg; it!=en; it++) 
    {
        ++m[*it];
    }
    
    return m;
}
 
map<char,int>& operator+=(map<char,int>&a, const map<char,int> &b) 
{
 
    for(map<char,int>::const_iterator it=b.begin(); it!=b.end(); it++) 
    {
        if(a.find(it->first)!=a.end()) 
        {
            a[it->first]+=b.at(it->first);
            
        } else a[it->first]+=it->second;
    }
    
    return a;
}
 
const map<char,int> operator+(const map<char,int>&a, const map<char,int> &b)
{
    map<char,int> res{a};
    
    res+=b;
    
    return res;
}
 
 
 
template<typename Iterator>
map<char,int> parrallel_FoC(Iterator first,Iterator last)
{
    unsigned long const length=distance(first,last);
    
    if(!length)
    return map<char,int>{};
    
    unsigned long const min_per_thread=25;
    unsigned long const max_threads=(length+min_per_thread-1)/min_per_thread;
    
    unsigned long const hardware_threads=thread::hardware_concurrency();
    
    unsigned long const num_threads=min(hardware_threads!=0?hardware_threads:2,max_threads);
    
    unsigned long const block_size=length/num_threads;
    
    vector<future<map<char,int>>> futures(num_threads-1);
    vector<thread>threads(num_threads-1);
    join_threads joiner(threads);
    
    Iterator block_start=first;
    
    for(int i=0;i<(num_threads-1);++i)
    {
        Iterator block_end=block_start;
        advance(block_end,block_size);
        packaged_task<map<char,int>(string::iterator,string::iterator)>task(FoC);
    
        
        futures[i]=task.get_future();
        threads[i]=thread(move(task),block_start,block_end);
        block_start=block_end;
    }
    
    map<char,int>res=FoC(block_start,last);
    
    for(int i=0;i<(num_threads-1);++i)
    {
        res+=futures[i].get();
    }
    return res;
    
}
 
 
 
int main() {
    
    ifstream ff("tr.txt");
    
    string s {istream_iterator<char>(ff),istream_iterator<char>()};
    
    map<char,int>r=parrallel_FoC(s.begin(),s.end());
    
    for(map<char,int>::iterator it=r.begin(); it!=r.end(); it++) 
    {
        cout<<it->first<<" "<<it->second<<endl;
    }
    
    return 0;
}

@olena_nov · 17.01.2018, 11:43 **[ТС]**

Peoples, спасибо. но мне по проще неужно) я только учу

Добавлено через 33 минуты
От что я смогла сделать.

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
#include "stdafx.h"
#include <iostream>
#include <fstream>
#include <iterator>
#include <algorithm>
#include <string>
#include <vector>
#include <atomic>
#include <thread>
 
 
void TextThread(std::string str)
{
    std::ifstream text(str);
    if (!text)
        std::cout << "No open file" << "\n";
 
    std::istream_iterator<char> input(text);
    std::istream_iterator<char> output;
    
    std::vector<char> symvol(input, output);
 
    unsigned valueThread = std::thread::hardware_concurrency();
    std::vector<std::thread> threads;
    threads.reserve(valueThread);
    for (unsigned int i = 0; i < valueThread; ++i) 
    {
        threads[i];
    }
    std::for_each(threads.begin(), threads.end(), std::mem_fn(&std::thread::join));
    
 
    for (unsigned int i = 0; i < symvol.size(); ++i)
        std::cout << symvol[i] << "\n";
}
 
int main()
{
    TextThread("D:\\text.txt");
    return 0;
}

Добавлено через 14 часов 41 минуту
Еще переделала:

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
#include "stdafx.h"
#include <iostream>
#include <fstream>
#include <iterator>
#include <algorithm>
#include <string>
#include <vector>
#include <atomic>
#include <thread>
 
void TextThread(std::string str)
{
    std::ifstream text(str);
    if (!text)
        std::cout << "No open file" << "\n";
 
    std::istream_iterator<char> input(text);
    std::istream_iterator<char> output;
    
    std::vector<char> symvol(input, output);
 
    unsigned maxThreadCount = std::thread::hardware_concurrency();
    const std::size_t minLength = symvol.size() / maxThreadCount;
    const std::size_t modulo = symvol.size() % maxThreadCount;
 
    std::vector<std::size_t> results;
    results.reserve(maxThreadCount);
 
    std::vector<std::thread> threads;
    threads.reserve(maxThreadCount - 1);
    for (std::size_t i = 0; i < modulo; ++i)
        results.emplace_back(minLength + 1);
 
    if (minLength > 0)
    {
        for (std::size_t i = modulo; i < maxThreadCount; ++i)
            results.emplace_back(minLength);
    }
    for (std::size_t i = 1; i < threads.size(); ++i)
        threads.emplace_back(threads[i - 1] + 1, threads[i - 1] + threads[i]);
 
    std::for_each(threads.begin(), threads.end(), std::mem_fn(&std::thread::join));
    
 
    for (unsigned int i = 0; i < symvol.size(); ++i)
        std::cout << symvol[i] << "\n";
}
 
int main()
{
    TextThread("D:\\text.txt");
    return 0;
}

но кричит на этот код:

C++
1
2
for (std::size_t i = 1; i < threads.size(); ++i)
        threads.emplace_back(threads[i - 1] + 1, threads[i - 1] + threads[i]);

Новые блоги и статьи Все статьи Все блоги /
Программный контроль заполнения реквизита табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать контроль заполнения реквизита табличной части. . .	wmic не является внутренней или внешней командой Maks 02.04.2026 Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/	Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .	Вывод данных в справочнике через динамический список Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .
Функция заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .	К слову об оптимизации kumehtar 01.04.2026 Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .	Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .	Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем

@olena_nov 1 / 1 / 0 Регистрация: 11.12.2017 Сообщений: 44
	16.01.2018, 15:19 [ТС]
	igorrr37, препод сказал что нельзя ни мютекс ни атомик использовать , а самому все делать. И hardware_concurrency ( ) использовать 0

@Raali 859 / 448 / 112 Регистрация: 06.07.2013 Сообщений: 1,491
	16.01.2018, 17:28
	Сделай N массивов, и для каждого в своем потоке сосчитай в N переменных после всех join - сложи все N Либо читай и считай сразу из N непересекающихся частей файла в N потоках в N переменных 0