Оптимизировать код

@max314 · Регистрация: 15.12.2014

Студворк — интернет-сервис помощи студентам

Здравствуйте!

Помогите оптимизировать код
data_samples состоит из 255 узлов, каждый узел это текст статьи

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
data_list=[]
t0 = time()
err_list=[]
for data_str in data_samples:     
    result = []
    err=[]   
    tokenize=TweetTokenizer()
    plurals=tokenize.tokenize(data_str.decode("utf-8") )
    items = list(range(0, 100))
    l = len(plurals)
    leng = 0
    wnl = WordNetLemmatizer() 
    for word in plurals:
        if wnl.lemmatize(word, 'n') in words.words():
            result.append(word)
        else:
            err.append(word)
        
    data_list.append(' '.join(result))
    err_list.append(' '.join(err))
    k=0
    
    
print("done in %0.3fs." % (time() - t0))
print("OK...")

Вложенный цикл работает очень медленно

Python
1
2
3
4
5
for word in plurals:
        if wnl.lemmatize(word, 'n') in words.words():
            result.append(word)
        else:
            err.append(word)

Заранее спасибо!

@vrm2 · 14.11.2016, 21:29

Сообщение от max314

Вложенный цикл работает очень медленно

Трудно сказать насколько быстро работают и что возвращают wnl.lemmatize, words.words(), tokenize.tokenize. Скорее всего списки. Попробуйте превратить их в множества, операции in будут выполняться намного быстрее.

Python
1
2
3
4
5
6
words_set = set(words.words()) # вроде не изменяется можно вынести из цикла, заодно превратить в set
for word in set(plurals): # поиск по set()
        if wnl.lemmatize(word, 'n') in words_set: # используется words_set, вынесенный из цикла
            result.append(word)
        else:
            err.append(word)

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .
Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .	SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .