1 / 1 / 0
Регистрация: 30.03.2020
Сообщений: 42

Многопоточность доработка

05.01.2021, 14:40. Показов 1694. Ответов 1
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Приветствую!
Есть учебная задача по многопоточному парсингу файлов на диске. Я создаю список файлов global_file_list, создаю три потока по их парсингу и каждый поток после того как взял файл в обработку должен удалить его из списка, чтобы другой поток не обработал его повторно. Но получается, что каждый поток обрабатывает каждый файл и смысла в такой многопоточности нет.
Что нужно сделать?
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
# -*- coding: utf-8 -*-
 
 
# Задача: вычислить 3 тикера с максимальной и 3 тикера с минимальной волатильностью в МНОГОПОТОЧНОМ стиле
#
# Бумаги с нулевой волатильностью вывести отдельно.
# Результаты вывести на консоль в виде:
#   Максимальная волатильность:
#       ТИКЕР1 - ХХХ.ХХ %
#       ТИКЕР2 - ХХХ.ХХ %
#       ТИКЕР3 - ХХХ.ХХ %
#   Минимальная волатильность:
#       ТИКЕР4 - ХХХ.ХХ %
#       ТИКЕР5 - ХХХ.ХХ %
#       ТИКЕР6 - ХХХ.ХХ %
#   Нулевая волатильность:
#       ТИКЕР7, ТИКЕР8, ТИКЕР9, ТИКЕР10, ТИКЕР11, ТИКЕР12
# Волатильности указывать в порядке убывания. Тикеры с нулевой волатильностью упорядочить по имени.
#
import os
import csv
from operator import itemgetter
from heapq import nlargest, nsmallest
from threading import Thread
import time
 
global_file_list = []
global_volatility = {}
zero_volatility = []
 
 
def time_track(func):
    def surrogate(*args, **kwargs):
        started_at = time.time()
 
        result = func(*args, **kwargs)
 
        ended_at = time.time()
        elapsed = round(ended_at - started_at, 4)
        print(f'Функция работала {elapsed} секунд(ы)\n')
        return result
    return surrogate
 
 
class Informer(Thread):
    def __init__(self, thread_name):
        super().__init__()
        self.thread_name = thread_name
 
    @time_track
    def run(self):
        for item in global_file_list[:]:
            try:
                print(f'Поток {Informer.getName(self)} берет файл {item}')
                with open(item) as csvfile:
                    global_file_list.remove(item)
                    prices_list = []
                    reader = csv.DictReader(csvfile)
                    for row in reader:
                        secid = row['SECID']
                        price = round(float(row['PRICE']), 4)
                        if price not in prices_list:
                            prices_list.append(price)
                    average_price = round((max(prices_list) + min(prices_list)) / 2, 4)
                    volatility = round(((max(prices_list) - min(prices_list)) / average_price) * 100, 2)
                    if volatility > 0.0:
                        global_volatility[secid] = volatility
                    else:
                        zero_volatility.append(secid)
            except ValueError as exc:
                print(f'{self.thread_name}: {item}, {exc}')
                continue
 
 
def get_file_list(input_path):
    for d, dirs, files in os.walk(input_path):
        for f in files:
            path = os.path.join(d, f)
            global_file_list.append(path)
    print(f'Список файлов получен, всего {len(global_file_list)} файлов\n', flush=True)
    # print(global_file_list)
 
 
def printer():
    print('Максимальная волатильность:', flush=True)
    max_volatility = nlargest(3, global_volatility.items(), key=itemgetter(1))
    for key, value in max_volatility:
        print(f'{key} {value} %', flush=True)
 
    print('Минимальная волатильность:', flush=True)
    min_volatility = nsmallest(3, global_volatility.items(), key=itemgetter(1))
    min_volatility = sorted(min_volatility, key=itemgetter(1), reverse=True)
    for key, value in min_volatility:
        print(f'{key} {value} %', flush=True)
 
    print('Нулевая волатильность:', flush=True)
    print(', '.join(sorted(zero_volatility)), flush=True)
 
 
if __name__ == '__main__':
 
    get_file_list('trades')
 
    print_max = Informer('1')
    print_min = Informer('2')
    print_zero = Informer('3')
 
    print_max.start()
    print_min.start()
    print_zero.start()
 
    print_max.join()
    print_min.join()
    print_zero.join()
 
    printer()
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
05.01.2021, 14:40
Ответы с готовыми решениями:

Многопоточность
Добрый день, уважаемые форумчане, подскажите пожалуйста, написал чат-бота для контакта, но проблема в том, что бот рассчитывался на общение...

Многопоточность
Ребят у меня проблема, у меня отвалилась многопоточность def getBalance(addr): url = f'https://chain.api.btc.com/v3/address/{addr}'...

Многопоточность
Здравствуйте, программу написал и что самое странное - работает:), но не до конца въехал в тему, откуда выходит ряд вопросов: 1)Как...

1
Эксперт Python
 Аватар для dondublon
4653 / 2073 / 366
Регистрация: 17.03.2012
Сообщений: 10,183
Записей в блоге: 6
05.01.2021, 15:51
Глобальные переменные использовать вообще не стоит. А в данном случае - специальную многопоточную очередь.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
05.01.2021, 15:51
Помогаю со студенческими работами здесь

Многопоточность
Есть задача:при запуске программы мне нужно выбрать количество потоков.Я вбиваю , скажем , 10 потоков и запускаю. Вопрос:как это сделать...

Многопоточность
Всем привет,никак не могу разобраться с многопоточностью. Мне нужно в этом коде функцию upload_file(или изменение значения прогресс бара)...

Многопоточность
Сделал таким способом многопоточность, но гуи все еще зависает. import paramiko import sys from PyQt5 import QtCore, QtGui,...

многопоточность
Добрый вечер . возникла проблема по задаче : написать программу, которая параллельно выводит в одну консоль символы '+' и '-'. Ответ...

Многопоточность
Привет! Для распараллеливания кода, я использую библиотеку multiprocessing и функцию map, которая перебирает список и отдает каждое...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Опции темы

Новые блоги и статьи
Отчёт о затраченных материалах за определенный период с макетом печатной формы
Maks 21.04.2026
Отчёт из решения ниже размещён в конфигурации КА2. Задача: разработка отчёта по затраченным материалам за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом. В. . .
Отчёт о спецтехнике находящейся в ремонте
Maks 20.04.2026
Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .
Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)"
Hrethgir 19.04.2026
Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .
Запрет удаления строк ТЧ документа при определённом условии
Maks 19.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .
Модель заражения группы наркоманов
alhaos 17.04.2026
Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .
Мысли в слух. Про "навсегда".
kumehtar 16.04.2026
Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .
My Business CRM
MaGz GoLd 16.04.2026
Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .
Знаешь почему 90% людей редко бывают счастливыми?
kumehtar 14.04.2026
Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru