Форум программистов, компьютерный форум CyberForum.ru
Наши страницы

Python: научные вычисления

Войти
Регистрация
Восстановить пароль
 
max314
0 / 0 / 0
Регистрация: 15.12.2014
Сообщений: 10
#1

Оптимизировать код - Python

14.11.2016, 16:09. Просмотров 269. Ответов 1
Метки нет (Все метки)

Здравствуйте!

Помогите оптимизировать код
data_samples состоит из 255 узлов, каждый узел это текст статьи

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
data_list=[]
t0 = time()
err_list=[]
for data_str in data_samples:     
    result = []
    err=[]   
    tokenize=TweetTokenizer()
    plurals=tokenize.tokenize(data_str.decode("utf-8") )
    items = list(range(0, 100))
    l = len(plurals)
    leng = 0
    wnl = WordNetLemmatizer() 
    for word in plurals:
        if wnl.lemmatize(word, 'n') in words.words():
            result.append(word)
        else:
            err.append(word)
        
    data_list.append(' '.join(result))
    err_list.append(' '.join(err))
    k=0
    
    
print("done in %0.3fs." % (time() - t0))
print("OK...")
Вложенный цикл работает очень медленно

Python
1
2
3
4
5
for word in plurals:
        if wnl.lemmatize(word, 'n') in words.words():
            result.append(word)
        else:
            err.append(word)

Заранее спасибо!
0
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
14.11.2016, 16:09
Здравствуйте! Я подобрал для вас темы с ответами на вопрос Оптимизировать код (Python):

Оптимизировать код - Python
Вообщем разработал класс для работы со временем, но не в плане как часы (24 часа максимум и т.д), а скорее для подсчета времени. Нужно...

Можно ли оптимизировать данный код? - Python
Есть задача: Прочитать шифр: Решил вот так: k = 0 aList = for s in "g fmnc wms bgblr rpylqjyrc gr zw fylb. rfyrq ufyr...

Оптимизировать функцию - Python
Нужно написать функцию на питоне без доп. подгружаемых модулей, которая будет возвращать из заданного диапазона 1-n такие два числа,...

возможно ли оптимизировать функцию - Python
я пишу программу, которая считает белые области на бинаризированной картинке. я написала алгоритм, но он не работает для больших...

Как оптимизировать мою самопальную базу данных - Python
Всем привет, кто подскажет как оптимизировать мою БД, она очень туго идет после 10000 тысяч записей. Вот такой функцией я сохраняю ...

Как оптимизировать по памяти решение по сортировке дуг графа? - Python
короче все началось с того что я решал Ориентированный взвешенный граф задан перечнем дуг (ориентированных рёбер). Отсортировать эти...

Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
vrm2
242 / 149 / 32
Регистрация: 03.12.2015
Сообщений: 238
Завершенные тесты: 1
14.11.2016, 21:29 #2
Цитата Сообщение от max314 Посмотреть сообщение
Вложенный цикл работает очень медленно
Трудно сказать насколько быстро работают и что возвращают wnl.lemmatize, words.words(), tokenize.tokenize. Скорее всего списки. Попробуйте превратить их в множества, операции in будут выполняться намного быстрее.

Python
1
2
3
4
5
6
words_set = set(words.words()) # вроде не изменяется можно вынести из цикла, заодно превратить в set
for word in set(plurals): # поиск по set()
        if wnl.lemmatize(word, 'n') in words_set: # используется words_set, вынесенный из цикла
            result.append(word)
        else:
            err.append(word)
1
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
14.11.2016, 21:29
Привет! Вот еще темы с ответами:

Оптимизировать код - PHP
Всем привет, дайте совет, быть может можно как то оптимизироват? Суть того что $slugCheck содержит короткий путь страницы. Если вдруго...

Оптимизировать код - C++
Первое число входного потока - количество чисел Дальше идут те самые числа Надо найти кол-во пар чисел, для которых выполняется nums <=...

Оптимизировать код - C++
Доброго времени суток, как можно оптимизировать код что бы он быстрее работал ? Дана последовательность из n чисел a1, a2,..., an. C...

Оптимизировать код - C (СИ)
Народ, пришёл к вам, потому что не к кому больше идти! Помогите оптимизировать код! Как ещё можно упростить программку? #include...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru