Оптимизировать код

@max314 · Регистрация: 15.12.2014

Студворк — интернет-сервис помощи студентам

Здравствуйте!

Помогите оптимизировать код
data_samples состоит из 255 узлов, каждый узел это текст статьи

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
data_list=[]
t0 = time()
err_list=[]
for data_str in data_samples:     
    result = []
    err=[]   
    tokenize=TweetTokenizer()
    plurals=tokenize.tokenize(data_str.decode("utf-8") )
    items = list(range(0, 100))
    l = len(plurals)
    leng = 0
    wnl = WordNetLemmatizer() 
    for word in plurals:
        if wnl.lemmatize(word, 'n') in words.words():
            result.append(word)
        else:
            err.append(word)
        
    data_list.append(' '.join(result))
    err_list.append(' '.join(err))
    k=0
    
    
print("done in %0.3fs." % (time() - t0))
print("OK...")

Вложенный цикл работает очень медленно

Python
1
2
3
4
5
for word in plurals:
        if wnl.lemmatize(word, 'n') in words.words():
            result.append(word)
        else:
            err.append(word)

Заранее спасибо!

@vrm2 · 14.11.2016, 21:29

Сообщение от max314

Вложенный цикл работает очень медленно

Трудно сказать насколько быстро работают и что возвращают wnl.lemmatize, words.words(), tokenize.tokenize. Скорее всего списки. Попробуйте превратить их в множества, операции in будут выполняться намного быстрее.

Python
1
2
3
4
5
6
words_set = set(words.words()) # вроде не изменяется можно вынести из цикла, заодно превратить в set
for word in set(plurals): # поиск по set()
        if wnl.lemmatize(word, 'n') in words_set: # используется words_set, вынесенный из цикла
            result.append(word)
        else:
            err.append(word)

Новые блоги и статьи Все статьи Все блоги /
моя боль iceja 24.01.2026 Выложила интерполяцию кубическими сплайнами www. iceja. net REST сервисы временно не работают, только через Web. Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .	Модель сукцессии микоризы anaschu 24.01.2026 Решили писать научную статью с неким РОманом	http://iceja.net/ математические сервисы iceja 20.01.2026 Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .	http://iceja.net/ сервер решения полиномов iceja 18.01.2026 Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .
Расчёт переходных процессов в цепи постоянного тока igorrr37 16.01.2026 / * Дана цепь(не выше 3-го порядка) постоянного тока с элементами R, L, C, k(ключ), U, E, J. Программа находит переходные токи и напряжения на элементах схемы классическим методом(1 и 2 з-ны. . .	Восстановить юзерскрипты Greasemonkey из бэкапа браузера damix 15.01.2026 Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .	Сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .