Поиск в файле в несколько потоков

@Yudgin · Регистрация: 08.08.2013

Студворк — интернет-сервис помощи студентам

Есть такая задача: обеспечить поиск и замену слов в текстовом файле в несколько потоков. Несколько потоков ищут, несколько заменяют.

Как запускать потоки поиска?
Откуда стартует первый поток поиска понятно - с начала текстового файла, а второй и последующие?

@Yudgin · 03.04.2015, 17:50 **[ТС]**

Готовая реализация:

C
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
#include <stdio.h>
#include <ctype.h>
#include <stdlib.h>
#include <string.h>
#include <pthread.h>
#include <errno.h>
#include "queue.h"
#include <time.h>
 
void clean(char*);
char *fname = "/home/yudgin/1.txt";
char *find = "lol";
char *replace = "qwerty";
int str_next;
Queue qu;
pthread_mutex_t lock_queue;
pthread_mutex_t lock_file;
 
void clean(char *str){
    int i;
    for(i = strlen(str)-1; i > -1; i--){
        str[i] = '\0';
    }
}
 
void *th_find(void *num){
    int t_id = (int)num, flag = 1; 
    printf("\nStart thread the search #%d \n", t_id+1);
    while(flag){
        pthread_mutex_lock(&lock_file);
        FILE *file = fopen(fname,"r");
        int num_str = str_next;
        int curr_str = 1;
        str_next++;
        char str[1000];
        while (fgets(str, 1000, file)){
            if(curr_str == num_str){
                break;
            }
            curr_str++;
        }
        if(feof(file) != 0){
            flag = 0;
            fclose(file);
            pthread_mutex_unlock(&lock_file);
            continue;
        }
        int size = strlen(str);
        if(size == 0){
            flag = 0;
            fclose(file);
            pthread_mutex_unlock(&lock_file);
            continue;
        }
        printf("Processing string (th_f %d): ", t_id+1);
        puts(str);
        char tmp[1000];
        int i, j, pos = 0;
        char arr[100], arr1[100], arr2[100], buf[10];
        arr[0] = arr1[0] = arr2[0] = '\0';
        sprintf(buf, "%d", curr_str);
        strcpy(arr1, buf);
        arr1[strlen(arr1)] = '\0';
        for(i = 0, j = 0; i < strlen(str); i++){
            if(str[i] == ' ' || str[i] == '\n' || str[i] == '\0'){
                tmp[j] = '\0';
                j=0;
                if(strcmp(tmp, find) == 0){
                    strcat(arr2, " ");
                    char buf1[10];
                    sprintf(buf1, "%d", pos);
                    strcat(arr2, buf1);
                }
                strcpy(tmp, "");
                pos = i+1;
                continue;
            }
            tmp[j] = str[i];
            j++;
        }
        arr2[strlen(arr2)] = '\0';
        if(strlen(arr2) > 0){
            strcpy(arr, arr1);
            strcat(arr, arr2);
            pthread_mutex_lock(&lock_queue);
            Put(&qu, &arr);
            pthread_mutex_unlock(&lock_queue);
        }
        clean(str);
        fclose(file);
        pthread_mutex_unlock(&lock_file);
    } 
    printf("End th_f #%d\n", t_id+1);
    pthread_exit(NULL);
}
 
void *th_repl(void *num){
    int t_id = (int)num;
    printf("\nStart thread replacement #%d \n", t_id+1);
    while(1){
        pthread_setcancelstate(PTHREAD_CANCEL_DISABLE, NULL);
        pthread_mutex_lock(&lock_queue);
        if(Size(&qu) == 0){
            pthread_mutex_unlock(&lock_queue);
            sleep(3);
            continue;
        }
                
        char buf[10], *arr = Pop(&qu);
        pthread_mutex_unlock(&lock_queue);
        pthread_mutex_lock(&lock_file);
        FILE *file = fopen(fname,"r");
        Queue q;
        Create(&q);
        int i, j = 0, flag = 1;
        for(i = 0; i < strlen(arr); i++, j++){
            if(arr[i] == ' ' || arr[i] == '\n'){
                buf[j] = '\0';
                break;
            }
            buf[j] = arr[i];
            arr[i] = ' ';
        }
        int num_str = atoi(buf);
        int curr_str = 1;
        char str[1000];
        while (fgets(str, 1000, file)){
            if(curr_str == num_str){
                char str2[1000];
                str2[j] = '\0';
                int y = 0, u = 0;
                for(i = 0; i < strlen(arr); i++){
                    int pos;
                    char buff[10];
                    j = 0;
                    while(arr[i] == ' '){
                        i++;
                    }
                    while(arr[i] != ' ' && arr[i] != '\0'){
                        buff[j] = arr[i];
                        arr[i] = ' ';
                        i++;
                        j++;
                    }
                    buff[j] = '\0';
                    pos = atoi(buff);
                    for(; y < strlen(str); y++){
                        if(y == pos){
                            strcat(str2, replace);
                            u = u + strlen(replace);
                            y = y + strlen(find);
                            break;
                        }
                        str2[u] = str[y];
                        u++;
                    }
                    clean(buff);
                }  
                for(; y < strlen(str); y++, u++){
                    str2[u] = str[y];
                }
                str2[u] = '\0';
                printf("R #%d - string %d - replaced by: ", t_id+1, num_str);
                puts(str2);
                Put(&q, str2);
                clean(str2);
            }else{
                Put(&q, str);
            }
            clean(str);
            curr_str++;
        }
        printf("\n");
        fclose(file);
        file = fopen(fname,"w");
        while(isHead(&q)){
            fputs(Pop(&q), file);
        }
        fclose(file);
        pthread_mutex_unlock(&lock_file);
        Destroy(&q);
        pthread_setcancelstate(PTHREAD_CANCEL_ENABLE, NULL);
    }
    printf("End th_r #%d", t_id+1);
    pthread_exit(NULL);
}
 
int main(int argc, char** argv) {
    clock_t t0 = clock();
    printf("Start\n");
    int kol_th_f = 3;
    int kol_th_r = 3;
    str_next = 1;
    Create(&qu);
    if(pthread_mutex_init(&lock_queue, NULL) != 0 || pthread_mutex_init(&lock_file, NULL) != 0){
        printf("\nMutex init failed\n");
        return 1;
    }
    pthread_t thread_f[kol_th_f]; 
    pthread_t thread_r[kol_th_r]; 
    int i;
    
    for(i = 0; i < kol_th_f; i++){
        pthread_create(&thread_f[i], NULL, th_find, (void*)i);
    }
        
    for(i = 0; i < kol_th_r; i++){
        pthread_create(&thread_r[i], NULL, th_repl, (void*)i);
    }
    
    for(i = 0; i < kol_th_f; i++){
        pthread_join(thread_f[i], NULL);
    }
    
    int flag = 1;
    while(flag){
        pthread_mutex_lock(&lock_queue);
        if(Size(&qu) == 0){
            for(i = 0; i < kol_th_r; i++){
                pthread_cancel(thread_r[i]);
            }
            flag = 0;
        }
        pthread_mutex_unlock(&lock_queue);
    }
    
    
    pthread_mutex_destroy(&lock_queue);
    pthread_mutex_destroy(&lock_file);
    Destroy(&qu);
    clock_t t1 = clock();
    printf("Time: %lf\n", (double)(t1-t0)/CLOCKS_PER_SEC);
    printf("End");    
}

C
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
typedef struct _Element {
    char val[1000];
    struct _Element *next;
} Element;
 
typedef struct {
    Element *head, *tail;
    int size;
}Queue;
 
void Create(Queue *qu){
    qu->head = qu->tail = NULL;
    qu->size = 0;
}
 
void Destroy(Queue *qu){
    while(qu->head){
        qu->tail = qu->head;
        qu->head = qu->head->next;
        free(qu->tail);
    }
    qu->head = qu->tail = NULL;
    qu->size = 0;
}
 
int isHead(Queue *qu){
    if(qu->head) return 1;
    else return 0;
}
 
int Size(Queue *qu){
    return qu->size;
}
 
int Put(Queue *qu, char *v){
    Element *tmp = (Element*)malloc(sizeof(Element));
    if(!tmp)
        return 0;
    tmp->next = NULL;
    if(qu->size == 0){
        qu->head = qu->tail = tmp;
    }else{
        qu->tail->next = tmp;
        qu->tail = tmp;
    }
    qu->size++;
    strcpy(tmp->val, v);
    return 1;
}
 
char* Pop(Queue *qu){
    Element *tmp = (Element*)malloc(sizeof(Element));
    if(!qu->head) 
        return NULL;
    tmp = qu->head;
    qu->head = qu->head->next;
    if(!qu->head)
        qu->tail = NULL;
    qu->size--;
    return tmp->val;
}

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .
Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .	SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .

@Yudgin 4 / 4 / 3 Регистрация: 08.08.2013 Сообщений: 24

	Поиск в файле в несколько потоков 22.03.2015, 18:19. Показов 2038. Ответов 1 Метки нет (Все метки) Есть такая задача: обеспечить поиск и замену слов в текстовом файле в несколько потоков. Несколько потоков ищут, несколько заменяют. Как запускать потоки поиска? Откуда стартует первый поток поиска понятно - с начала текстового файла, а второй и последующие? 0

Поиск в файле в несколько потоков

Решение