Форум программистов, компьютерный форум CyberForum.ru

С++ для начинающих

Войти
Регистрация
Восстановить пароль
 
 
Керра
1276 / 444 / 45
Регистрация: 24.08.2011
Сообщений: 2,133
#1

Как ускорить работу с файлами? - C++

31.08.2016, 10:51. Просмотров 1173. Ответов 56
Метки нет (Все метки)

Предполагается, что программа будет работать с файлами размера 300-500МБ. Эти обычные функции работают слишком медленно. Может быть стоит использовать чистый С, например?
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
#include <fstream>
#include <iostream>
#include <string>
#include <Windows.h>
using namespace std;
 
void merge(ifstream &f1, ifstream &f2, ofstream &fRes)
{
    string one[3], two[3];
    while (!f1.eof())
    {
        getline(f1, one[0], ':');
        getline(f1, one[1], ':');
        getline(f1, one[2]);
        
        f2.seekg(0);
        while (!f2.eof())
            
        {
            getline(f2, two[0], ':');
            getline(f2, two[1], ':');
            getline(f2, two[2]);
            if (one[1] == two[0] && one[2] == two[1])
                fRes << one[0] << ':' << two[2] << endl;
        }
    }
}
 
int main() 
{
    string file1path, file2path, fileResultPath;
    ifstream file1, file2;
    ofstream fileResult;
 
    SetConsoleCP(1251);
    SetConsoleOutputCP(1251);
 
    cout << "Путь к первому файлу > ";
    getline(cin, file1path);
    cout << "Путь ко второму файлу > ";
    getline(cin, file2path);
    cout << "Путь к файлу для записи результата > ";
    getline(cin, fileResultPath);
 
    file1.open(file1path);
    file2.open(file2path);
    fileResult.open(fileResultPath);
 
    if (file1.is_open() && file2.is_open())
    {
        merge(file1, file2, fileResult);
        cout << "Готово!\n";
    }
    else
        cout << "Проблема с открытием файлов!\n";
 
    file1.close();
    file2.close();
    fileResult.close();
 
    system("pause");
    return 0;
}
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
31.08.2016, 10:51     Как ускорить работу с файлами?
Посмотрите здесь:
Как ускорить работу? C++
C++ Можно ли как нибудь ускорить работу цикла for?
C++ Как ускорить работу (поиск вхождений подстроки)?
Подскажите пожалуйста как ускорить работу программы! C++
Переделать работу с текстовыми файлами под работу с двоичными файлами C++
C++ Динамический массив, много циклов и простые числа. Как ускорить работу программы ?
C++ Ускорить работу программы
После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
IGPIGP
Комп_Оратор)
Эксперт по математике/физике
6419 / 3058 / 302
Регистрация: 04.12.2011
Сообщений: 8,330
Записей в блоге: 3
03.09.2016, 14:38     Как ускорить работу с файлами? #41
Керра, я не совсем понял условие. Непонятно могут ли быть повторы числовых ключей, например. И ещё сомнения взяли насчёт того что записано оно построчно - по три.
Вот жуткий велосипед который быстрым не назовёшь... Но у современных винтов и даже CD относительно приличный кеш... хотя если дисковод... на 1,2 Mb... Хех. Ну в общем на все случаи не напасёшся. Из плюсов - чтение пригоршни целых чисел индексирующих доступ. То есть с памятью всё должно быть более-менее.
Исполнение - хардкор. Если идея подойдёт, посмотрите и доделайте сами.
Кликните здесь для просмотра всего текста
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
#include <iostream>
#include <string>
#include <stdlib.h> //atoi))
#include <vector>
#include <fstream>
#include <windows.h>
using namespace std;
 
template<typename T>
void show_vec( vector<T> &vec, string name="")
{
if(name!="")cout<<name<<endl;
if(vec.size()>0)
for(size_t i=0; i<vec.size(); ++i)cout<<vec[i]<<' ';
cout<<endl;
}
template<typename T>
void show_vec( vector<pair<T,T>> &vec, string name="")
{
if(name!="")cout<<name<<endl;
if(vec.size()>0)
for(size_t i=0; i<vec.size(); ++i)cout<<vec[i].first<<' '<<vec[i].second<<endl;
cout<<endl;
}
 
void save_inp_tofile(string filename, vector<string> inp_vec)
{
ofstream out_file(filename.c_str(), ios::out);
vector<string>::const_iterator it = inp_vec.begin();
unsigned long long  counter=1;
while(it!= inp_vec.end())
{
 
out_file<<(*it);
if(!(counter%5))out_file<<'\n';
//
it++;
counter++;
}
}
void test_inp_file(string filename)
{
vector<string> inp_vec;
ifstream in_file(filename.c_str(), ios::in);
string str;
while(in_file>>str) inp_vec.push_back(str);
show_vec(inp_vec, filename);
}
void split(string str, vector<string> &arr,  string delim)//честно стащил из сетки (мог сам написать конечно, но и так хватило))
{
    arr.clear();
  size_t prev = 0;
  size_t next;
  size_t delta = delim.length();
 
  while( ( next = str.find( delim, prev ) ) != string::npos ){
    string tmp = str.substr( prev, next-prev );
    arr.push_back( str.substr( prev, next-prev ) );
    prev = next + delta;
  }
  string tmp = str.substr( prev ); 
  arr.push_back( str.substr( prev ) );
}
 
void make_res_file
(
 string filename, 
 string filename1, 
 string filename2,
 vector<pair<int, int>> &res_file_positions
 )
{
ofstream of_file(filename.c_str(), ios::out);
ifstream in_file1(filename1.c_str(), ios::in);
ifstream in_file2(filename2.c_str(), ios::in);
vector<pair<int, int>>::const_iterator it=res_file_positions.begin();
vector<string> strings;
int pos1(1), pos2(1);
string str_res, str1,str2;
for(;it!=res_file_positions.end(); it++)
{
int cnt(0);
pos2=1;
while(getline(in_file1, str1, '\n'))
{
if(pos1==it->first)
{
split(str1, strings, ";");
str1=strings[0]+";";
}
else
{
pos1++;
continue;
}
in_file2.seekg(0L);
pos2=1;
while(getline(in_file2, str2, '\n'))
{
if(pos2==it->second)
{
split(str2, strings, ";");
str2=strings[2];
pos2++;
pos1++;
goto hodu;
}
pos2++;
}//while
pos1++;
}//while
hodu:;//почему без кавычек не работает :D !!!
of_file<<str1<<str2<<endl;
}//for
}
 
void read_to_vec_pairs(string filename, vector<pair<int, pair<int, int>>> &inp_vec, bool first_unp_file=true)
{
inp_vec.clear();
vector<string> strings;
ifstream in_file(filename.c_str(), ios::in);
string str;
unsigned long counter=1;
int first,second;
while(getline(in_file, str, '\n'))
{
split(str, strings, ";");
if(first_unp_file)
{
first=atoi(strings[1].c_str());
second=atoi(strings[2].c_str());
inp_vec.push_back(make_pair(counter, make_pair(first,second)));
}
else
{
first=atoi(strings[0].c_str());
second=atoi(strings[1].c_str());
inp_vec.push_back(make_pair(counter, make_pair(first,second)));
}
counter++;
}
}
 
void first_inp_file_positions
(
vector<pair<int, pair<int, int>>>  &inp_vec_pairs1,
vector<pair<int, pair<int, int>>>  &inp_vec_pairs2,
vector<pair<int, int>> &res_file_positions
)
{
vector<pair<int, pair<int, int>>>::const_iterator 
it1=inp_vec_pairs1.begin(), it2;
while(it1!=inp_vec_pairs1.end())
{
it2=inp_vec_pairs2.begin();
while(it2!=inp_vec_pairs2.end())
{
if(it1->second.first==it2->second.first && it1->second.second==it2->second.second)
res_file_positions.push_back(make_pair(it1->first,it2->first));
it2++;
}
it1++;
}
}
 
 
 
 
int main(int argc, char* argv[])
{
SetConsoleCP (1251); SetConsoleOutputCP (1251);
string
filename1="filename1",
filename2="filename2",
str_arr1[]=
{
    "Андрей",   ";",    "123"";",    "789",
    "Марина",   ";",    "7250", ";",    "924",
    "Люба",     ";",    "7250", ";",    "924",
    "Светлана", ";",    "7251", ";",    "924",
    "Игорь",    ";",    "756758",";",   "7538"
},
str_arr2[]=
{
        "123"";",    "789"";", "AAA",
        "7250", ";",    "924"";", "CCC",
        "756758",";",   "7538"  ";", "IGP"
};
 
vector<string> 
inp_vec1(str_arr1, str_arr1+sizeof(str_arr1)/sizeof(str_arr1[0])),
inp_vec2(str_arr2, str_arr2+sizeof(str_arr2)/sizeof(str_arr2[0]));
 
save_inp_tofile(filename1,inp_vec1);
save_inp_tofile(filename2,inp_vec2);
test_inp_file(filename1);
test_inp_file(filename2);
cout<<endl;
vector<pair<int, pair<int, int>>>  inp_vec_pairs1,inp_vec_pairs2;
 
read_to_vec_pairs(filename1, inp_vec_pairs1);
cout<<endl;
read_to_vec_pairs(filename2, inp_vec_pairs2, false);
vector<pair<int, int>> res_file_positions;
first_inp_file_positions(inp_vec_pairs1, inp_vec_pairs2, res_file_positions);
show_vec(res_file_positions,"res_file_positions");
string filename3="resulting_file";
make_res_file(filename3,filename1,filename2,res_file_positions);
 
test_inp_file(filename3);
cout<<endl;
system("pause");
return 0;
}
Керра
1276 / 444 / 45
Регистрация: 24.08.2011
Сообщений: 2,133
03.09.2016, 15:36  [ТС]     Как ускорить работу с файлами? #42
хохо)) спасибочки))
Avazart
03.09.2016, 15:56
  #43

Не по теме:

Мрак...

IGPIGP
Комп_Оратор)
Эксперт по математике/физике
6419 / 3058 / 302
Регистрация: 04.12.2011
Сообщений: 8,330
Записей в блоге: 3
03.09.2016, 16:01     Как ускорить работу с файлами? #44
Цитата Сообщение от Avazart Посмотреть сообщение
Мрак...
Рад что вы поняли. Читать в с-строки оба файла и потом их сравнивать как строки, это и правда, - мрак.
Avazart
7101 / 5278 / 267
Регистрация: 10.12.2010
Сообщений: 23,269
Записей в блоге: 17
03.09.2016, 16:04     Как ускорить работу с файлами? #45
А использовать goto это нормально значит?
(молчу про передачу строк не по ссылки и прочие моменты)
IGPIGP
Комп_Оратор)
Эксперт по математике/физике
6419 / 3058 / 302
Регистрация: 04.12.2011
Сообщений: 8,330
Записей в блоге: 3
03.09.2016, 16:08     Как ускорить работу с файлами? #46
Цитата Сообщение от Avazart Посмотреть сообщение
А использовать goto это нормально значит?
А вы напишите в этом месте без и сравним. У меня страха нет перед goto. Вы заметили почти то что нужно. Там в комменте пояснение. Если убрать точку с запятой после метки - не компилирует). Даже на майкросолнце есть пятна.
Тут главное не в goto конечно.
Avazart
7101 / 5278 / 267
Регистрация: 10.12.2010
Сообщений: 23,269
Записей в блоге: 17
03.09.2016, 16:10     Как ускорить работу с файлами? #47
Я уже написал примерную реализацию, а в вашем мраке (еще и не отформатированном) желания копаться нет.
IGPIGP
Комп_Оратор)
Эксперт по математике/физике
6419 / 3058 / 302
Регистрация: 04.12.2011
Сообщений: 8,330
Записей в блоге: 3
03.09.2016, 16:12     Как ускорить работу с файлами? #48
Цитата Сообщение от Avazart Посмотреть сообщение
Я уже написал примерную реализацию, а в вашем мраке (еще и не отформатированном) желания копаться нет.
А я не исторг аромата по этому поводу
Avazart
03.09.2016, 16:16
  #49

Не по теме:

Цитата Сообщение от IGPIGP Посмотреть сообщение
Исполнение - хардкор. Если идея подойдёт, посмотрите и доделайте сами.
Никто не указ как вам писать код.
Но стоит ли показывать такой индусокод на публику? Тем более девушке

IGPIGP
Комп_Оратор)
Эксперт по математике/физике
6419 / 3058 / 302
Регистрация: 04.12.2011
Сообщений: 8,330
Записей в блоге: 3
03.09.2016, 16:24     Как ускорить работу с файлами? #50
Цитата Сообщение от Avazart Посмотреть сообщение
Никто не указ как вам писать код.
Но стоит ли показывать такой индусокод на публику?
Я не кодер в отличие от вас. Однако я и думать не стал чтобы всё читать в память.
Цитата Сообщение от Avazart Посмотреть сообщение
vector- ру стоит сразу делать reserve() (или даже сразу resize())
но вы пишете TC что не въехали и советуете всё в вектор. В моё не въехали тоже. И дело не в том. Я ваш код посмотрел бегло и промолчал, а вы нет.
Цитата Сообщение от Avazart Посмотреть сообщение
Никто не указ как вам писать код.
Это напоминает "Я дико извиняюсь, но мрак...".
Я не думаю, что тут кто-то кого-то воспитает. Пусть народ смотрит.
Avazart
7101 / 5278 / 267
Регистрация: 10.12.2010
Сообщений: 23,269
Записей в блоге: 17
03.09.2016, 16:33     Как ускорить работу с файлами? #51
Цитата Сообщение от IGPIGP Посмотреть сообщение
Однако я и думать не стал чтобы всё читать в память.
Если память позволяет почему нет?

Цитата Сообщение от IGPIGP Посмотреть сообщение
но вы пишете TC что не въехали и советуете всё в вектор. В моё не въехали тоже. И дело не в том. Я ваш код посмотрел бегло и промолчал, а вы нет.
Естественно советую ибо очевидно что это ускорит работу как и использование сишных функций чтения.
(а как бы в первом посте поставлена задача ускорить работку)
При чем я говорил не все, а один из файлов.


Цитата Сообщение от IGPIGP Посмотреть сообщение
Пусть народ смотрит.
Где то на гавнокод.ру Ибо смотреть не на что. А отсутствие форматирование напрочь отбивает желание смотреть на этот код не то что бы читать или вникать.
IGPIGP
Комп_Оратор)
Эксперт по математике/физике
6419 / 3058 / 302
Регистрация: 04.12.2011
Сообщений: 8,330
Записей в блоге: 3
03.09.2016, 17:27     Как ускорить работу с файлами? #52
Цитата Сообщение от Avazart Посмотреть сообщение
Если память позволяет почему нет?
Кому? Там мелькали цифры 200Mb. Случайно? И потом, если всё так просто, то в чём вопрос? Как бы там ни было а память это тоже узкое место. Хотя читать всё быстрее. Это и ежу ясно.
Цитата Сообщение от Avazart Посмотреть сообщение
Где то на гавнокод.ру Ибо смотреть не на что.
Не смотрите. Хотя без толку это советовать, потому как не смотрите. А говорите гадости с лёгкостью. Больше отвечать вам не буду.
Avazart
7101 / 5278 / 267
Регистрация: 10.12.2010
Сообщений: 23,269
Записей в блоге: 17
03.09.2016, 17:58     Как ускорить работу с файлами? #53
Цитата Сообщение от IGPIGP Посмотреть сообщение
то в чём вопрос?
По тому что тупой перебор это самый плохой вариант по скорости.
Идеальный случай грузить оба файла в память сортировать находить "совпадения" (но могут быть проблемы с нехваткой памяти)
Грузить один файл полностью- компромиссный вариант.
ct0r
Игогошка!
1768 / 670 / 42
Регистрация: 19.08.2012
Сообщений: 1,284
Завершенные тесты: 1
03.09.2016, 19:44     Как ускорить работу с файлами? #54
Цитата Сообщение от Avazart Посмотреть сообщение
Идеальный случай грузить оба файла в память сортировать находить "совпадения" (но могут быть проблемы с нехваткой памяти)
Быстрее будет первый файл загнать в unordered_map с ключами в виде строк "идентификатор:идентификатор" или хэшей от них. А потом тупо пройти по второму файлу.
Avazart
7101 / 5278 / 267
Регистрация: 10.12.2010
Сообщений: 23,269
Записей в блоге: 17
03.09.2016, 20:10     Как ускорить работу с файлами? #55
Да я уже говорил про хеш, вопрос лишь том можно ли брать хеши этих строк, не будет ли коллизий (например если строки очень короткие)

Кроме того я не увидел у TC нового стандарта, поэтому не исключено что не получится использовать unordered_map
ct0r
Игогошка!
1768 / 670 / 42
Регистрация: 19.08.2012
Сообщений: 1,284
Завершенные тесты: 1
03.09.2016, 20:41     Как ускорить работу с файлами? #56
Цитата Сообщение от Avazart Посмотреть сообщение
вопрос лишь том можно ли брать хеши этих строк, не будет ли коллизий (например если строки очень короткие)
Все норм будет, если грамотно выбрать хэш-функцию.
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
03.09.2016, 21:12     Как ускорить работу с файлами?
Еще ссылки по теме:
Задача про рюкзак - ускорить работу программы C++
C++ Вывести все правильные скобочные выражения (оптимизировать алгоритм, ускорить работу кода)
C++ Задача на работу с файлами
C++ Задача на работу с файлами
Задача на работу с текстовыми файлами C++

Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
Avazart
7101 / 5278 / 267
Регистрация: 10.12.2010
Сообщений: 23,269
Записей в блоге: 17
03.09.2016, 21:12     Как ускорить работу с файлами? #57
Цитата Сообщение от ct0r Посмотреть сообщение
Все норм будет, если грамотно выбрать хэш-функцию.
Ну хз.
Я вообще не понимаю особо понимаю как в unordered_map работает хеш.
Yandex
Объявления
03.09.2016, 21:12     Как ускорить работу с файлами?
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru