1 / 1 / 0
Регистрация: 13.05.2015
Сообщений: 15
1

Ускорить часть кода в питоне

20.03.2017, 07:56. Показов 1042. Ответов 5
Метки нет (Все метки)

Author24 — интернет-сервис помощи студентам
Добрый день, уважаемые программеры! Помогите пожалуйста, всю голову уже сломал!
Python изучаю совсем недавно и всех тонкостей и прелестей языка не знаю, поэтому полагаюсь очень на вашу помощь, что поможете решить мою проблему! Программа состоит в том, что с базы берутся около 50 тыс. данных и обрабатывается. У меня присутствуют двойные циклы, плюс в этих циклах идет обращение к функциям, в которых тоже по циклу и уже понятно сколько итераций проводиться. Это очень долго и не рационально. Предложите варианты замены циклов, желательно прям мне показать, как будет, чтобы я понял, или переписать как-то код надо, чтобы было быстрее. Помогите ребят пожалуйста.
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
#-----------------------------ЧАСТЬ 1 - ИНИЦИАЛИЗАЦИЯ--------------------------
        S1 = list()
        S1.append(t1[0]) #Добавляем 1-ую транзакцию в не основной, пустой кластер
        (self.C).append(list(S1)) #Добавляем не основной(не пустой) кластер в основной кластер
        t1.pop(0)
        for ElemT1 in t1: #Пробегаем по всем транзакциям
            max_t1 = 0
            S1.clear()
            for ElemC in C: #Пробегаем по всем класерам из мн-ва С
                tadd = Transaction(ElemC, ElemT1, self.r)
                tadd.TransactionAdd()
                if (tadd.Tadd > float(max_t1)):
                    max_t1 = tadd.Tadd
                    NC = (C).index(ElemC)
            if max_t1 == 0:
                S1.append(ElemT1)
                (C).append(list(S1))
            else:
                C[NC].append(ElemT1)
#-------------------------------ЧАСТЬ 2 - ИТЕРАЦИИ-----------------------------    
        for ElemT in t:
            max_t = 0
            ent_t = Occurrences(C, ElemT) #Индекс кластера, в кот. лежит данная транзакция
            ent_t.Occ()
            tr = Transaction(C[ent_t.resO], ElemT, r) 
            tr.TransactionRemov()
            for ElemC in C: 
                tadd = Transaction(ElemC, ElemT, self.r)
                tadd.TransactionAdd()
                if (ElemC != C[ent_t.resO]) and (tadd.Tadd + tr.Trem > float(max_t)): 
                    max_t = tadd.Tadd + tr.Trem
                    NC = (C).index(ElemC)
            if max_t > 0:
                C[NC].append(ElemT)
                for ElemCent in C[ent_t.resO]:
                    if ElemCent == ElemT:
                        C[ent_t.resO].pop(C[ent_t.resO].index(ElemCent))
                        break
                if len(C[ent_t.resO]) == 0:
                    C.pop(C.index(C[ent_t.resO])) #удалить пустой кластер
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
20.03.2017, 07:56
Ответы с готовыми решениями:

Как ускорить эту часть кода с использованием OpenMp?
я пытаюсь ускорить, но разницы вообще никакой... for (int y = 0; y < src->height -...

Как свернуть часть кода программы на Питоне в Wing101 или в отдельный текстовый модуль?
Текст программы уже большой. Хотелось бы иметь открытой только ту часть с которой работаешь. В...

Можно ли закодить серверную часть на питоне?
можно закодить серверную часть на питоне или он как джикваери? и вопрос 2 - что проще и легче если...

Как ускорить запрос с like '%часть слова%'?
Есть таблица Documents , которая содержит колонку comments nvarchar(max) , в таблице содержится...

5
Эксперт Python
4630 / 2050 / 361
Регистрация: 17.03.2012
Сообщений: 10,131
Записей в блоге: 6
20.03.2017, 12:05 2
Начать надо с того, что перенести обработку ваших данных на сервер. По крайней мере, попытаться.
0
1 / 1 / 0
Регистрация: 13.05.2015
Сообщений: 15
20.03.2017, 13:31  [ТС] 3
Не совсем понял, что значит выложить на сервер. Можно пожалуйста конкретнее?
0
Эксперт Python
4630 / 2050 / 361
Регистрация: 17.03.2012
Сообщений: 10,131
Записей в блоге: 6
20.03.2017, 13:52 4
Цитата Сообщение от Pasha747 Посмотреть сообщение
с базы берутся
На сервер - значит, чтобы вашу обработку делал движок СУБД. У него есть по крайней мере одно преимущество перед клиентом - вам не придётся гонять данные между сервером и клиентом, что само по себе долго. Те самые 50000 "данных" (на самом деле, вероятно, имеются в виду записи).
0
1 / 1 / 0
Регистрация: 13.05.2015
Сообщений: 15
20.03.2017, 16:10  [ТС] 5
Мне бы, конечно, лучше было бы оптимизировать код, что ускорит время работы ее выполнения. Потому что именно это требуется, но я понимаю, где времени много тратиться, в циклах. Кстати, это тестовая задача, база без интернета, а просто sql документ, и в сети интернет никак не взаимодействует ни база, ни программа
0
Эксперт Python
4630 / 2050 / 361
Регистрация: 17.03.2012
Сообщений: 10,131
Записей в блоге: 6
20.03.2017, 16:39 6
Pasha747, сервер может быть и без интернета. Просто логически это функция сервера, но запустить её можно и на локальном компьютере. Вы сказали - sql. Вот кто обрабатывает sql - тот и сервер.

По поводу ускорения именно этого кода. Тут надо разбираться.
Непонятно, что за переменная С. На 4-й строке - list(S1) - зачем, если это и так список?
Непонятно, что внутри конструктора Transaction, процедура TransactionAdd и т. д.

Если нет никаких явных косяков с логикой - источником тормозов, в числе прочего, является обильное создание объектов. Если нужна скорость - об объектов отказываемся. Об этом, к частности, писал Джоэл Спольски, "Джоэл о программировании", где-то в начале глава.

Строки 14, 32, 40. Вызов (С).index. Зачем скобки, кстати?
Если С - список или что-то подобное, будет долго. Ищет, перебирая все элементы. Вероятно, тут главный тормоз и есть.
0
20.03.2017, 16:39
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
20.03.2017, 16:39
Помогаю со студенческими работами здесь

Подскажите как переписать часть часть кода с C# на Delphi
Добрый день! Подскажите пожалуйста как переписать часть часть кода с С на Делфи try { String...

Написание кода на питоне!
Уважаемые профессионалы! Знатоки и бывалые любители! Подскажите как написать код чтобы вычислить...

Ускорить выполнение кода
Дано задание написать и упростить данный псевдокод: function Foo(array_of_ints a): // входные...

Ускорить выполнение кода
Мой код проходит первые тесты, но потом на вход идет 100000+ чисел и время превышает максимальное в...

Ускорить выполнение кода
Подскажыте как можно ускорить данный код? int numbers =...

Ускорить работу кода
Привет всем, Столкнулся с такой проблемой, что мне нужно, что бы код находил нужную ячейку и...

Ускорить выполнение кода
Мой код проходит первые тесты, но потом на вход идет 10000+ чисел и время превышает максимальное в...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
6
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2024, CyberForum.ru