Форум программистов, компьютерный форум, киберфорум
С++ для начинающих
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
 
Рейтинг 4.66/41: Рейтинг темы: голосов - 41, средняя оценка - 4.66
 Аватар для MayaNash
1296 / 470 / 151
Регистрация: 24.08.2011
Сообщений: 2,249

Как ускорить работу с файлами?

31.08.2016, 10:51. Показов 8925. Ответов 56
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Предполагается, что программа будет работать с файлами размера 300-500МБ. Эти обычные функции работают слишком медленно. Может быть стоит использовать чистый С, например?
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
#include <fstream>
#include <iostream>
#include <string>
#include <Windows.h>
using namespace std;
 
void merge(ifstream &f1, ifstream &f2, ofstream &fRes)
{
    string one[3], two[3];
    while (!f1.eof())
    {
        getline(f1, one[0], ':');
        getline(f1, one[1], ':');
        getline(f1, one[2]);
        
        f2.seekg(0);
        while (!f2.eof())
            
        {
            getline(f2, two[0], ':');
            getline(f2, two[1], ':');
            getline(f2, two[2]);
            if (one[1] == two[0] && one[2] == two[1])
                fRes << one[0] << ':' << two[2] << endl;
        }
    }
}
 
int main() 
{
    string file1path, file2path, fileResultPath;
    ifstream file1, file2;
    ofstream fileResult;
 
    SetConsoleCP(1251);
    SetConsoleOutputCP(1251);
 
    cout << "Путь к первому файлу > ";
    getline(cin, file1path);
    cout << "Путь ко второму файлу > ";
    getline(cin, file2path);
    cout << "Путь к файлу для записи результата > ";
    getline(cin, fileResultPath);
 
    file1.open(file1path);
    file2.open(file2path);
    fileResult.open(fileResultPath);
 
    if (file1.is_open() && file2.is_open())
    {
        merge(file1, file2, fileResult);
        cout << "Готово!\n";
    }
    else
        cout << "Проблема с открытием файлов!\n";
 
    file1.close();
    file2.close();
    fileResult.close();
 
    system("pause");
    return 0;
}
1
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
31.08.2016, 10:51
Ответы с готовыми решениями:

Как ускорить работу?
Прога ещё не доработана, сейчас интересует именно графический режим, когда нажимается клавиша 1-4 один из 4-х квадратов должен...

Подскажите пожалуйста как ускорить работу программы!
Есть задача :&quot;Во входном файле (вы можете читать данные из файла input.txt) записан текст. Словом считается последовательность непробельных...

Можно ли как нибудь ускорить работу цикла for?
Подскажите пожалуйста - можно ли как нибудь ускорить работу цикла for? Заранее сильно благодарен!

56
Комп_Оратор)
Эксперт по математике/физике
 Аватар для IGPIGP
9006 / 4707 / 630
Регистрация: 04.12.2011
Сообщений: 14,003
Записей в блоге: 16
03.09.2016, 14:38
Студворк — интернет-сервис помощи студентам
Керра, я не совсем понял условие. Непонятно могут ли быть повторы числовых ключей, например. И ещё сомнения взяли насчёт того что записано оно построчно - по три.
Вот жуткий велосипед который быстрым не назовёшь... Но у современных винтов и даже CD относительно приличный кеш... хотя если дисковод... на 1,2 Mb... Хех. Ну в общем на все случаи не напасёшся. Из плюсов - чтение пригоршни целых чисел индексирующих доступ. То есть с памятью всё должно быть более-менее.
Исполнение - хардкор. Если идея подойдёт, посмотрите и доделайте сами.
Кликните здесь для просмотра всего текста
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
#include <iostream>
#include <string>
#include <stdlib.h> //atoi))
#include <vector>
#include <fstream>
#include <windows.h>
using namespace std;
 
template<typename T>
void show_vec( vector<T> &vec, string name="")
{
if(name!="")cout<<name<<endl;
if(vec.size()>0)
for(size_t i=0; i<vec.size(); ++i)cout<<vec[i]<<' ';
cout<<endl;
}
template<typename T>
void show_vec( vector<pair<T,T>> &vec, string name="")
{
if(name!="")cout<<name<<endl;
if(vec.size()>0)
for(size_t i=0; i<vec.size(); ++i)cout<<vec[i].first<<' '<<vec[i].second<<endl;
cout<<endl;
}
 
void save_inp_tofile(string filename, vector<string> inp_vec)
{
ofstream out_file(filename.c_str(), ios::out);
vector<string>::const_iterator it = inp_vec.begin();
unsigned long long  counter=1;
while(it!= inp_vec.end())
{
 
out_file<<(*it);
if(!(counter%5))out_file<<'\n';
//
it++;
counter++;
}
}
void test_inp_file(string filename)
{
vector<string> inp_vec;
ifstream in_file(filename.c_str(), ios::in);
string str;
while(in_file>>str) inp_vec.push_back(str);
show_vec(inp_vec, filename);
}
void split(string str, vector<string> &arr,  string delim)//честно стащил из сетки (мог сам написать конечно, но и так хватило))
{
    arr.clear();
  size_t prev = 0;
  size_t next;
  size_t delta = delim.length();
 
  while( ( next = str.find( delim, prev ) ) != string::npos ){
    string tmp = str.substr( prev, next-prev );
    arr.push_back( str.substr( prev, next-prev ) );
    prev = next + delta;
  }
  string tmp = str.substr( prev ); 
  arr.push_back( str.substr( prev ) );
}
 
void make_res_file
(
 string filename, 
 string filename1, 
 string filename2,
 vector<pair<int, int>> &res_file_positions
 )
{
ofstream of_file(filename.c_str(), ios::out);
ifstream in_file1(filename1.c_str(), ios::in);
ifstream in_file2(filename2.c_str(), ios::in);
vector<pair<int, int>>::const_iterator it=res_file_positions.begin();
vector<string> strings;
int pos1(1), pos2(1);
string str_res, str1,str2;
for(;it!=res_file_positions.end(); it++)
{
int cnt(0);
pos2=1;
while(getline(in_file1, str1, '\n'))
{
if(pos1==it->first)
{
split(str1, strings, ";");
str1=strings[0]+";";
}
else
{
pos1++;
continue;
}
in_file2.seekg(0L);
pos2=1;
while(getline(in_file2, str2, '\n'))
{
if(pos2==it->second)
{
split(str2, strings, ";");
str2=strings[2];
pos2++;
pos1++;
goto hodu;
}
pos2++;
}//while
pos1++;
}//while
hodu:;//почему без кавычек не работает :D !!!
of_file<<str1<<str2<<endl;
}//for
}
 
void read_to_vec_pairs(string filename, vector<pair<int, pair<int, int>>> &inp_vec, bool first_unp_file=true)
{
inp_vec.clear();
vector<string> strings;
ifstream in_file(filename.c_str(), ios::in);
string str;
unsigned long counter=1;
int first,second;
while(getline(in_file, str, '\n'))
{
split(str, strings, ";");
if(first_unp_file)
{
first=atoi(strings[1].c_str());
second=atoi(strings[2].c_str());
inp_vec.push_back(make_pair(counter, make_pair(first,second)));
}
else
{
first=atoi(strings[0].c_str());
second=atoi(strings[1].c_str());
inp_vec.push_back(make_pair(counter, make_pair(first,second)));
}
counter++;
}
}
 
void first_inp_file_positions
(
vector<pair<int, pair<int, int>>>  &inp_vec_pairs1,
vector<pair<int, pair<int, int>>>  &inp_vec_pairs2,
vector<pair<int, int>> &res_file_positions
)
{
vector<pair<int, pair<int, int>>>::const_iterator 
it1=inp_vec_pairs1.begin(), it2;
while(it1!=inp_vec_pairs1.end())
{
it2=inp_vec_pairs2.begin();
while(it2!=inp_vec_pairs2.end())
{
if(it1->second.first==it2->second.first && it1->second.second==it2->second.second)
res_file_positions.push_back(make_pair(it1->first,it2->first));
it2++;
}
it1++;
}
}
 
 
 
 
int main(int argc, char* argv[])
{
SetConsoleCP (1251); SetConsoleOutputCP (1251);
string
filename1="filename1",
filename2="filename2",
str_arr1[]=
{
    "Андрей", ";",    "123"";",    "789",
    "Марина", ";",    "7250", ";",    "924",
    "Люба",     ";",    "7250", ";",    "924",
    "Светлана", ";",    "7251", ";",    "924",
    "Игорь",   ";",    "756758",";",   "7538"
},
str_arr2[]=
{
        "123"";",    "789"";", "AAA",
        "7250", ";",    "924"";", "CCC",
        "756758",";",   "7538"  ";", "IGP"
};
 
vector<string> 
inp_vec1(str_arr1, str_arr1+sizeof(str_arr1)/sizeof(str_arr1[0])),
inp_vec2(str_arr2, str_arr2+sizeof(str_arr2)/sizeof(str_arr2[0]));
 
save_inp_tofile(filename1,inp_vec1);
save_inp_tofile(filename2,inp_vec2);
test_inp_file(filename1);
test_inp_file(filename2);
cout<<endl;
vector<pair<int, pair<int, int>>>  inp_vec_pairs1,inp_vec_pairs2;
 
read_to_vec_pairs(filename1, inp_vec_pairs1);
cout<<endl;
read_to_vec_pairs(filename2, inp_vec_pairs2, false);
vector<pair<int, int>> res_file_positions;
first_inp_file_positions(inp_vec_pairs1, inp_vec_pairs2, res_file_positions);
show_vec(res_file_positions,"res_file_positions");
string filename3="resulting_file";
make_res_file(filename3,filename1,filename2,res_file_positions);
 
test_inp_file(filename3);
cout<<endl;
system("pause");
return 0;
}
1
 Аватар для MayaNash
1296 / 470 / 151
Регистрация: 24.08.2011
Сообщений: 2,249
03.09.2016, 15:36  [ТС]
хохо)) спасибочки))
0
03.09.2016, 15:56

Не по теме:

Мрак...

0
Комп_Оратор)
Эксперт по математике/физике
 Аватар для IGPIGP
9006 / 4707 / 630
Регистрация: 04.12.2011
Сообщений: 14,003
Записей в блоге: 16
03.09.2016, 16:01
Цитата Сообщение от Avazart Посмотреть сообщение
Мрак...
Рад что вы поняли. Читать в с-строки оба файла и потом их сравнивать как строки, это и правда, - мрак.
0
Эксперт С++
 Аватар для Avazart
8488 / 6155 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
03.09.2016, 16:04
А использовать goto это нормально значит?
(молчу про передачу строк не по ссылки и прочие моменты)
0
Комп_Оратор)
Эксперт по математике/физике
 Аватар для IGPIGP
9006 / 4707 / 630
Регистрация: 04.12.2011
Сообщений: 14,003
Записей в блоге: 16
03.09.2016, 16:08
Цитата Сообщение от Avazart Посмотреть сообщение
А использовать goto это нормально значит?
А вы напишите в этом месте без и сравним. У меня страха нет перед goto. Вы заметили почти то что нужно. Там в комменте пояснение. Если убрать точку с запятой после метки - не компилирует). Даже на майкросолнце есть пятна.
Тут главное не в goto конечно.
0
Эксперт С++
 Аватар для Avazart
8488 / 6155 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
03.09.2016, 16:10
Я уже написал примерную реализацию, а в вашем мраке (еще и не отформатированном) желания копаться нет.
0
Комп_Оратор)
Эксперт по математике/физике
 Аватар для IGPIGP
9006 / 4707 / 630
Регистрация: 04.12.2011
Сообщений: 14,003
Записей в блоге: 16
03.09.2016, 16:12
Цитата Сообщение от Avazart Посмотреть сообщение
Я уже написал примерную реализацию, а в вашем мраке (еще и не отформатированном) желания копаться нет.
А я не исторг аромата по этому поводу
0
03.09.2016, 16:16

Не по теме:

Цитата Сообщение от IGPIGP Посмотреть сообщение
Исполнение - хардкор. Если идея подойдёт, посмотрите и доделайте сами.
Никто не указ как вам писать код.
Но стоит ли показывать такой индусокод на публику? Тем более девушке :D

0
Комп_Оратор)
Эксперт по математике/физике
 Аватар для IGPIGP
9006 / 4707 / 630
Регистрация: 04.12.2011
Сообщений: 14,003
Записей в блоге: 16
03.09.2016, 16:24
Цитата Сообщение от Avazart Посмотреть сообщение
Никто не указ как вам писать код.
Но стоит ли показывать такой индусокод на публику?
Я не кодер в отличие от вас. Однако я и думать не стал чтобы всё читать в память.
Цитата Сообщение от Avazart Посмотреть сообщение
vector- ру стоит сразу делать reserve() (или даже сразу resize())
но вы пишете TC что не въехали и советуете всё в вектор. В моё не въехали тоже. И дело не в том. Я ваш код посмотрел бегло и промолчал, а вы нет.
Цитата Сообщение от Avazart Посмотреть сообщение
Никто не указ как вам писать код.
Это напоминает "Я дико извиняюсь, но мрак...".
Я не думаю, что тут кто-то кого-то воспитает. Пусть народ смотрит.
0
Эксперт С++
 Аватар для Avazart
8488 / 6155 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
03.09.2016, 16:33
Цитата Сообщение от IGPIGP Посмотреть сообщение
Однако я и думать не стал чтобы всё читать в память.
Если память позволяет почему нет?

Цитата Сообщение от IGPIGP Посмотреть сообщение
но вы пишете TC что не въехали и советуете всё в вектор. В моё не въехали тоже. И дело не в том. Я ваш код посмотрел бегло и промолчал, а вы нет.
Естественно советую ибо очевидно что это ускорит работу как и использование сишных функций чтения.
(а как бы в первом посте поставлена задача ускорить работку)
При чем я говорил не все, а один из файлов.


Цитата Сообщение от IGPIGP Посмотреть сообщение
Пусть народ смотрит.
Где то на гавнокод.ру Ибо смотреть не на что. А отсутствие форматирование напрочь отбивает желание смотреть на этот код не то что бы читать или вникать.
0
Комп_Оратор)
Эксперт по математике/физике
 Аватар для IGPIGP
9006 / 4707 / 630
Регистрация: 04.12.2011
Сообщений: 14,003
Записей в блоге: 16
03.09.2016, 17:27
Цитата Сообщение от Avazart Посмотреть сообщение
Если память позволяет почему нет?
Кому? Там мелькали цифры 200Mb. Случайно? И потом, если всё так просто, то в чём вопрос? Как бы там ни было а память это тоже узкое место. Хотя читать всё быстрее. Это и ежу ясно.
Цитата Сообщение от Avazart Посмотреть сообщение
Где то на гавнокод.ру Ибо смотреть не на что.
Не смотрите. Хотя без толку это советовать, потому как не смотрите. А говорите гадости с лёгкостью. Больше отвечать вам не буду.
0
Эксперт С++
 Аватар для Avazart
8488 / 6155 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
03.09.2016, 17:58
Цитата Сообщение от IGPIGP Посмотреть сообщение
то в чём вопрос?
По тому что тупой перебор это самый плохой вариант по скорости.
Идеальный случай грузить оба файла в память сортировать находить "совпадения" (но могут быть проблемы с нехваткой памяти)
Грузить один файл полностью- компромиссный вариант.
0
Игогошка!
 Аватар для ct0r
1801 / 708 / 44
Регистрация: 19.08.2012
Сообщений: 1,367
03.09.2016, 19:44
Цитата Сообщение от Avazart Посмотреть сообщение
Идеальный случай грузить оба файла в память сортировать находить "совпадения" (но могут быть проблемы с нехваткой памяти)
Быстрее будет первый файл загнать в unordered_map с ключами в виде строк "идентификатор:идентификатор" или хэшей от них. А потом тупо пройти по второму файлу.
0
Эксперт С++
 Аватар для Avazart
8488 / 6155 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
03.09.2016, 20:10
Да я уже говорил про хеш, вопрос лишь том можно ли брать хеши этих строк, не будет ли коллизий (например если строки очень короткие)

Кроме того я не увидел у TC нового стандарта, поэтому не исключено что не получится использовать unordered_map
0
Игогошка!
 Аватар для ct0r
1801 / 708 / 44
Регистрация: 19.08.2012
Сообщений: 1,367
03.09.2016, 20:41
Цитата Сообщение от Avazart Посмотреть сообщение
вопрос лишь том можно ли брать хеши этих строк, не будет ли коллизий (например если строки очень короткие)
Все норм будет, если грамотно выбрать хэш-функцию.
0
Эксперт С++
 Аватар для Avazart
8488 / 6155 / 615
Регистрация: 10.12.2010
Сообщений: 28,683
Записей в блоге: 30
03.09.2016, 21:12
Цитата Сообщение от ct0r Посмотреть сообщение
Все норм будет, если грамотно выбрать хэш-функцию.
Ну хз.
Я вообще не понимаю особо понимаю как в unordered_map работает хеш.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
03.09.2016, 21:12
Помогаю со студенческими работами здесь

Как ускорить работу (поиск вхождений подстроки)?
//подсчет kf int NumberKF(string &amp;P, vector&lt;string&gt; &amp; F, const int f){ int kf =0; for(size_t i = 0; i &lt; f; ++i){ //обход по...

Переделать работу с текстовыми файлами под работу с двоичными файлами
Здравствуйте. В этой программе идёт работа с текстовыми файлами, а нужно с двоичными. Можно ли как-то переделать? #include...

Динамический массив, много циклов и простые числа. Как ускорить работу программы ?
Всем привет. Задание следующее: Кто нибудь вводит с клавиатуры число n и k, должен создастся массив из чисел от 1 до n, далее каждый...

Ускорить работу программы
Лексикографический порядок чисел (Время: 1 сек. Память: 16 Мб Сложность: 31%) Натуральные числа от 1 до N упорядочены...

Ускорить работу функций
Здравствуйте. Не подскажете как можно ускорить работу функций в цикле? А то линия получается прерывистой, когда быстро водишь мышкой. ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
57
Ответ Создать тему
Новые блоги и статьи
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так: https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347 Основана на STM32F303RBT6. На борту пять. . .
Символьное дифференцирование
igorrr37 13.02.2026
/ * Программа принимает математическое выражение в виде строки и выдаёт его производную в виде строки и вычисляет значение производной при заданном х Логарифм записывается как: (x-2)log(x^2+2) -. . .
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу, и светлой Луне. В мире покоя нет и люди не могут жить в тишине. А жить им немного лет.
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила» «Время-Деньги» «Деньги -Пуля»
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 12.02.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image
8Observer8 10.02.2026
Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru