Обработка файлов потоками

@тунгуска418 · Регистрация: 06.02.2013

Студворк — интернет-сервис помощи студентам

Здравствуйте, столкнулась вот с какой проблемой. Пользователь с клавиатуры вводит количество потоков. Я не понимаю, как сделать так, чтобы, если количество файлов было больше, чем потоков, то уже созданные потоки обработали необработанные файлы. Количество файлов определяется в командной строке.

C
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
#include <stdio.h>
#include <pthread.h>
#include <string.h>
#include <stdlib.h>
#include <time.h>
 
pthread_mutex_t mutex;
pthread_t thread1;
pthread_t thread2;
 
typedef struct tagLIST LIST;
struct tagLIST
{
  char w[1000];
  int freq;
  LIST *next;
}*StartList;
 
void To( char *w )
{
  LIST *p = StartList;
 
  while (p != NULL )
    if (strcasecmp(p->w, w) == 0)
    {
      p->freq++;
      return;
    }
    else
      p = p->next;  
  p = malloc(sizeof(LIST));
  if (p == NULL)
    return;
  strcpy(p->w, w);
  p->freq = 1;
  p->next = StartList;
  StartList = p;   
}
 
void Display( void )
{
  int i;
  int arr[5000];
  LIST *p = StartList;
 
  for (i = 1; i < 5001; i++)
    arr[i] = i;
 
 /* for (i = 0; i < 100; i++)
    for (j = 0; j < 100 - i; j++)
      if (arr[i] < arr[i + 1])
      {
        tmp = arr[i];
        arr[i] = arr[i + 1];
        arr[i + 1] = tmp;
      }*/
  
  for (i = 1; i < 5001; i++)
  {
    p = StartList; 
    while (p != NULL)
    {
      if (p->freq == arr[i])
      {
        printf("%s - %i\n", p->w, p->freq);
        p = p->next;
      }
      else
        p = p->next;
    }
  }
}
 
void Add( char *text )
{
  pthread_mutex_lock(&mutex);
  To(text);
  pthread_mutex_unlock(&mutex);
}
 
void *Start1( void *param )
{
  FILE *f;
  int c, i = 0;
  char w[1000];
  
  if((f = fopen((char*)param, "rt")) != NULL)
  {
    printf("1:\n");
    c = fgetc(f);
    while (c != EOF)
    {
      while (c == ' ' ||  c == '\n' || c == '\t' || c == '"' || c == '.' || c == ',' || c == '!' || c == '?' || c == ';' || c == ':' || c == '_' || c == '-')
        c = fgetc(f);
      if (c != EOF)
      {
        i = 0;
        while (i < 999 && c != ' ' && c != '\n' && c != '\t' && c != '"' && c != ':' && c!= ',' && c != ';' && c != '!' && c!= '?' && c!= '.' && c != '_' && c != '-' && c != EOF)
        {
           w[i] = c;
           c = fgetc(f);
           i++;
        }
        w[i] = 0;
    Add(w);
      }
     }
    printf("close file");
    fclose(f); 
   }
  printf("%s\n", (char*)param);
  pthread_exit(NULL);
  return NULL;
}
 
int main( int argc, char *argv[] )
{
  pthread_t *threads;
 
  int i, n;
 
  printf("Input number of threads\n");
  scanf("%i", &n);
 
  
  pthread_mutex_init(&mutex, NULL);
 
  if (n == (argc - 1))
  {
    threads = malloc(n * sizeof(pthread_t));
 
    for (i = 0; i < argc - 1; i++)
    {
      pthread_create(&threads[i], NULL, Start1, (void *)argv[i + 1]);
      printf("Was created %i thread\n", i);
    }
 
    for (i = 0; i < argc-1; i++)
      pthread_join(threads[i], NULL);
  }
  else if (n > (argc - 1))
  {
    threads = malloc((argc - 1) * sizeof(pthread_t));
 
    for (i = 0; i < argc - 1; i++)
 
    {
      pthread_create(&threads[i], NULL, Start1, (void *)argv[i + 1]);
      printf("Was created %i thread\n", i);
    }
 
    for (i = 0; i < argc-1; i++)
      pthread_join(threads[i], NULL);
  }
  else
  {
    threads = malloc(1 * sizeof(pthread_t));
 
    for (i = 0; i < 1; i++)
    {
      pthread_create(&threads[0], NULL, Start1, (void *)argv[i + 1]);
      printf("Was created %i thread\n", i);
    }
 
 
    for (i = 0; i < argc-1; i++)
      pthread_join(threads[i], NULL);
 
    printf("I dont know\n");
   
  }
 
  pthread_mutex_destroy(&mutex);
 
  Display();
  return 0;
}

Заранее спасибо за помощь!

@serejkus · 07.02.2013, 16:22

Передавайте в Start1 не указатель на название файла, а список фалов. В самом Start1 итерируйтесь по этому списку, обрабатывая каждый файл.

@serejkus · 08.02.2013, 19:10

Наколеночное решение выглядит так:

C
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
#include <stdio.h>
#include <pthread.h>
#include <string.h>
#include <stdlib.h>
#include <time.h>
 
pthread_mutex_t mutex;
pthread_t thread1;
pthread_t thread2;
 
typedef struct tagLIST LIST;
struct tagLIST
{
  char w[1000];
  int freq;
  LIST *next;
}*StartList;
 
typedef struct fnames_list {
    char* fname;
    struct fnames_list* next;
} fnames_list_t;
 
fnames_list_t* fl_init(const char* name) {
    fnames_list_t* retval;
 
    retval = malloc(sizeof(*retval));
    if (!retval)
        return NULL;
 
    retval->fname = NULL;
    retval->next = NULL;
 
    if (!name)
        return retval;
 
    retval->fname = malloc(strlen(name));
    if (!retval->fname) {
        free(retval);
        return NULL;
    }
 
    strcpy(retval->fname, name);
 
    return retval;
}
 
void fl_delete(fnames_list_t* l) {
    fnames_list_t* next;
 
    if (!l)
        return;
 
    while (l) {
        next = l->next;
        free(l->fname);
        free(l);
        l = next;
    }
}
 
void fl_insert(fnames_list_t* l, const char* name) {
    fnames_list_t* next;
    if (!l)
        return;
 
    next = fl_init(name);
    if (!next)
        abort();
 
    while (l->next) {
        l = l->next;
    }
    l->next = next;
}
 
void To( char *w )
{
  LIST *p = StartList;
 
  while (p != NULL )
    if (strcasecmp(p->w, w) == 0)
    {
      p->freq++;
      return;
    }
    else
      p = p->next;  
  p = malloc(sizeof(LIST));
  if (p == NULL)
    return;
  strcpy(p->w, w);
  p->freq = 1;
  p->next = StartList;
  StartList = p;   
}
 
void Display( void )
{
  int i;
  int arr[5000];
  LIST *p = StartList;
 
  for (i = 1; i < 5001; i++)
    arr[i] = i;
 
 /* for (i = 0; i < 100; i++)
    for (j = 0; j < 100 - i; j++)
      if (arr[i] < arr[i + 1])
      {
        tmp = arr[i];
        arr[i] = arr[i + 1];
        arr[i + 1] = tmp;
      }*/
  
  for (i = 1; i < 5001; i++)
  {
    p = StartList; 
    while (p != NULL)
    {
      if (p->freq == arr[i])
      {
        printf("%s - %i\n", p->w, p->freq);
        p = p->next;
      }
      else
        p = p->next;
    }
  }
}
 
void Add( char *text )
{
  pthread_mutex_lock(&mutex);
  To(text);
  pthread_mutex_unlock(&mutex);
}
 
void *Start1( void *param )
{
  FILE *f;
  int c, i = 0;
  char w[1000];
  
  if((f = fopen((char*)param, "rt")) != NULL)
  {
    printf("1:\n");
    c = fgetc(f);
    while (c != EOF)
    {
      while (c == ' ' ||  c == '\n' || c == '\t' || c == '"' || c == '.' || c == ',' || c == '!' || c == '?' || c == ';' || c == ':' || c == '_' || c == '-')
        c = fgetc(f);
      if (c != EOF)
      {
        i = 0;
        while (i < 999 && c != ' ' && c != '\n' && c != '\t' && c != '"' && c != ':' && c!= ',' && c != ';' && c != '!' && c!= '?' && c!= '.' && c != '_' && c != '-' && c != EOF)
        {
           w[i] = c;
           c = fgetc(f);
           i++;
        }
        w[i] = 0;
    Add(w);
      }
     }
    printf("close file");
    fclose(f); 
   }
  printf("%s\n", (char*)param);
  pthread_exit(NULL);
  return NULL;
}
 
void *Start2( void *param ) {
    fnames_list_t* begin, *current;
    begin = current = (fnames_list_t*)param;
 
    while (current) {
        Start1(current->fname);
        current = current->next;
    }
 
    fl_delete(begin);
    return NULL;
}
int main( int argc, char *argv[] )
{
  pthread_t *threads;
 
  int i, n, jobs, files_per_thread;
  fnames_list_t** lists = NULL;
 
  printf("Input number of threads\n");
  scanf("%i", &n);
 
  
  pthread_mutex_init(&mutex, NULL);
 
  if (n >= (argc - 1))
  {
    jobs = argc - 1;
    threads = malloc(jobs * sizeof(pthread_t));
 
    for (i = 0; i < jobs; i++)
    {
      pthread_create(&threads[i], NULL, Start1, (void *)argv[i + 1]);
      printf("Was created %i thread\n", i);
    }
  }
  else /* if (n > (argc - 1)) */
  {
    jobs = n;
    files_per_thread = (argc - 1) / jobs;
    lists = malloc(jobs * sizeof(fnames_list_t*));
    if (!lists)
        abort();
    for (i = 1; i < jobs + 1; ++i) {
        lists[i - 1] = fl_init(argv[i]);
    }
    for (i = jobs + 1; i < argc; ++i) {
        fl_insert(lists[i % jobs], argv[i]);
    }
 
    threads = malloc(jobs * sizeof(pthread_t));
 
    for (i = 0; i < jobs; i++)
    {
      pthread_create(&threads[i], NULL, Start2, (void *)lists[i]);
      printf("Was created %i thread\n", i);
    }
 
  }
 
 
    for (i = 0; i < jobs; i++)
      pthread_join(threads[i], NULL);
 
   
 
  pthread_mutex_destroy(&mutex);
 
  Display();
  free(lists);
  return 0;
}

@тунгуска418 · 14.02.2013, 23:31 **[ТС]**

Спасибо большое!!!

Новые блоги и статьи Все статьи Все блоги /
Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .	модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .	Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .
Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ	Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики. Hrethgir 07.04.2026 Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .	Горе от ума kumehtar 07.04.2026 Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .	Использование значений реквизитов справочника в документе, с определенными условиями и правами Maks 07.04.2026 1. Контроль срока действия договора Алгоритм из решения ниже реализован на примере нетипового документа "ЗаявкаНаРаботу", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если. . .

@serejkus 51 / 49 / 7 Регистрация: 31.10.2011 Сообщений: 98
	07.02.2013, 16:22
	Передавайте в Start1 не указатель на название файла, а список фалов. В самом Start1 итерируйтесь по этому списку, обрабатывая каждый файл. 1

@тунгуска418 0 / 0 / 0 Регистрация: 06.02.2013 Сообщений: 7
	14.02.2013, 23:31 [ТС]
	Спасибо большое!!! 0

Обработка файлов потоками

Решение