Не позволяет сделать больше 256 итераций

@trutoxa · Регистрация: 15.05.2012

Студворк — интернет-сервис помощи студентам

Имеется несоклько тысяч файлов, где надо привести все слова в нормальную форму, использую для этого бибилиотеку pymorphy.
Но почему-то выполняя код после 256 итераций(обработанных фалов) выходит такая ошибка:

Traceback (most recent call last):
File "morph.py", line 52, in <module>
File "morph.py", line 22, in GetNormal
File "/usr/local/lib/python2.7/dist-packages/pymorphy/_morph.py", line 684, in get_morph
File "/usr/local/lib/python2.7/dist-packages/pymorphy/_morph.py", line 176, in __init__
File "/usr/local/lib/python2.7/dist-packages/pymorphy/backends/shelve_source/__init__.py", line 27, in load
File "/usr/local/lib/python2.7/dist-packages/pymorphy/backends/shelve_source/__init__.py", line 87, in _get_shelf
File "/usr/local/lib/python2.7/dist-packages/pymorphy/backends/shelve_source/sqlite_shelve.py", line 68, in __init__
File "/usr/local/lib/python2.7/dist-packages/pymorphy/backends/shelve_source/sqlite_shelve.py", line 15, in __init__
sqlite3.OperationalError: unable to open database file
Exception AttributeError: "'SqliteDict' object has no attribute 'conn'" in <bound method SqliteDict.__del__ of <pymorphy.backends.shelve_source.sqlite_ shelve.SqliteDict object at 0x7f9b08a541d0>> ignored

Вот метод GetNormal на котором всё и выходит:

Python
1
2
3
4
5
6
7
8
9
10
def GetNormal(path):
   morph = get_morph('/home/anton/Dictionary/en.sqlite-json')
   f = open(path,'r')
   text = " ".join(f.read().split())
   f.close()
   words = text.split()
   f = open(path,'w')
   for word in words:
      f.write("".join(morph.normalize(word))+" ")
   f.close()

@Garry Galler · 25.02.2017, 13:34

trutoxa,
А это не связано с тем, что как указано на сайте разработчика - словари sqlite содержат ошибку?

в sqlite-словарях серьезная ошибка. В разделе для скачивания они пока оставлены в целях совместимости.

@Difaust · 25.02.2017, 15:10

Сообщение от Garry Galler

А это не связано с тем, что как указано на сайте разработчика - словари sqlite содержат ошибку?

Ну, я думал если ошибка в словаре, то ошибка в выполнении программы должна выскакивать в момент приведения слова в нормальную форму, или какого-то определённого слова... А тут я пробовал с совершенно различными данными и всегда все останавливалось именно на 256-ой итерации

@Garry Galler · 25.02.2017, 16:14

Сообщение от Difaust

пробовал с совершенно различными данными

Какими именно данными? Я пока не очень активно использовал pymorphy, и только на русском языке (то есть без доп. словарей), но никаких проблем при нормализации слов из текстов (с количеством слов более 100 тыс.) не возникало.
А у ТС в trace ошибки явно указывается на sql backend: sqlite3.OperationalError: unable to open database file.

Добавлено через 13 минут
UPD. Кстати, тут еще непонятно кто какую версию юзает. Я - второй pymorphy. А ТС, похоже, первую версию, уже не поддерживаемую.

@trutoxa · 25.02.2017, 20:56 **[ТС]**

Сообщение от Garry Galler

(с количеством слов более 100 тыс.

У меня есть масса текстовых файлов, в которых может быть и больше 100 тыс слов в каждом, тут странность в том, что именно на количество этих файлов ругается.... Если есть возможность, проверь у себя, допустим, на 260 текстовых файлах

@Garry Galler · 25.02.2017, 21:14

trutoxa,
Я использую pymorphy2 - там, я уверен, такой проблемы просто нет, поскольку был изменен формат словарей.
Если бы проблема была - на сайте разработчика было бы куча запросов на исправление, так как pymorphy2 применяется многими лингвистами.

@trutoxa · 26.02.2017, 11:08 **[ТС]**

Сообщение от Garry Galler

Я использую pymorphy2

Мне нужен английский язык(

@Garry Galler · 26.02.2017, 14:37

Сообщение от trutoxa

английский язык

... nltk

Python
1
2
3
4
5
6
import nltk
quote = """three cups, two guns, thousands of bubbles"""
 
wnl = nltk.WordNetLemmatizer()
words = nltk.word_tokenize(quote)
print([wnl.lemmatize(t) for t in words])

@Black Fregat · 12.04.2017, 10:25

Может быть, проблема в том, что объект morph создаётся каждый раз заново?
Что, если создать один объект morph глобально?

@trutoxa · 20.04.2017, 19:23 **[ТС]**

Сообщение от Black Fregat

Может быть, проблема в том, что объект morph создаётся каждый раз заново?

Переделал, но проблема осталась

Добавлено через 3 часа 34 минуты

Сообщение от Black Fregat

Может быть, проблема в том, что объект morph создаётся каждый раз заново?

Блин, виноват. Проблема именно в этом и была

Новые блоги и статьи Все статьи Все блоги /
Вывод данных через динамический список в справочнике Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .	Функция заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .	К слову об оптимизации kumehtar 01.04.2026 Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .	Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .
Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем	10 пpимет, которые всегда сбываются Maks 31.03.2026 1. Чтобы, наконец, пришла маршрутка, надо закурить. Если сигарета последняя, маршрутка придет еще до второй затяжки даже вопреки расписанию. 2. Нaдоели зима и снег? Не надо переезжать. Достаточно. . .	Перемещение выделенных строк ТЧ из одного документа в другой Maks 31.03.2026 Реализация из решения ниже выполнена на примере нетипового документа "ВыдачаОборудованияНаСпецтехнику" с единственной табличной частью "ОборудованиеИКомплектующие" разработанного в конфигурации КА2. . . .	Functional First Web Framework Suave DevAlt 30.03.2026 Sauve. IO Апнулись до NET10. Из зависимостей один пакет, работает одинаково хорошо как в режиме проекта так и в интерактивном режиме. из сложностей - чисто функциональный подход. Решил. . .

@Garry Galler 5438 / 3859 / 1215 Регистрация: 28.10.2013 Сообщений: 9,552 Записей в блоге: 1
	25.02.2017, 21:14
	trutoxa, Я использую pymorphy2 - там, я уверен, такой проблемы просто нет, поскольку был изменен формат словарей. Если бы проблема была - на сайте разработчика было бы куча запросов на исправление, так как pymorphy2 применяется многими лингвистами. 0

@Black Fregat Фрилансер 3709 / 2083 / 567 Регистрация: 31.05.2009 Сообщений: 6,683
	12.04.2017, 10:25
	Может быть, проблема в том, что объект morph создаётся каждый раз заново? Что, если создать один объект morph глобально? 1