Поиск в xml-файлах

@constantin_01 · Регистрация: 30.04.2019

Студворк — интернет-сервис помощи студентам

Здравствуйте!

Имеется крупный xml файл (350 мб), который представляет собой словарь помеченных слов. Необходимо обеспечить быстрый доступ к информации к словам.

Что я сделал:

Использовал библиотеку element tree и ее метод iterparse(). Осуществляю поиск путем итерации. Скорость низкая.

Как улучшить скорость ?

@Garry Galler · 21.07.2019, 21:45

Сообщение от constantin_01

Имеется крупный xml файл (350 мб)

Ужас. Ну кто сейчас хранит такой объем не в БД?
По сабжу - вам помогут только event-based\SAX парсеры.
Они не строят DOM, а парсят в realtime по мере чтения файла.

Code
1
2
3
xml.sax
xml.parsers.expat
lxml.etree iterparse (потребуется дополнтельно освобождать память)

@constantin_01 · 21.07.2019, 21:55 **[ТС]**

Garry Galler, речь идет о корпусе русского языка: http://opencorpora.org/dict.php

доступна только версия с xml и json, видимо предполагается, что пользователь должен уметь эффектно управляться с xml и json

Добавлено через 7 минут
Меня интересует как можно сжать xml словарь, то есть представить его в иной структуре. Например, в библиотеке pymorphy2 этот словарь умещается в 7 мб.

@Garry Galler · 21.07.2019, 22:11

Сообщение от constantin_01

Меня интересует как можно сжать xml словарь,

Сообщение от constantin_01

в библиотеке pymorphy2 этот словарь умещается в 7 мб.

15Мб.
DAWG. На сайте pymorphy есть ссылки и описание.

Новые блоги и статьи Все статьи Все блоги /
Автозаполнение реквизита при выборе элемента справочника Maks 27.03.2026 Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. При выборе "Спецтехники" (Тип Справочник. Спецтехника), заполняется. . .	Сумматор с применением элементов трёх состояний. Hrethgir 26.03.2026 Тут. https:/ / fips. ru/ EGD/ ab3c85c8-836d-4866-871b-c2f0c5d77fbc Первый документ красиво выглядит, но без схемы. Это конечно не даёт никаких плюсов автору, но тем не менее. . . всё может быть. . .	Автозаполнение реквизитов при создании документа Maks 26.03.2026 Программный код из решения ниже размещается в модуле объекта документа, в процедуре "ПриСозданииНаСервере". Алгоритм проверки заполнения реализован для исключения перезаписи значения реквизита,. . .	Команды формы и диалоговое окно Maks 26.03.2026 1. Команда формы "ЗаполнитьЗапчасти". Программный код из решения ниже на примере нетипового документа "ЗаявкаНаРемонтСпецтехники" разработанного в конфигурации КА2. В качестве источника данных. . .
Кому нужен AOT? DevAlt 26.03.2026 Решил сделать простой ланчер Написал заготовку: dotnet new console --aot -o UrlHandler var items = args. Split(":"); var tag = items; var id = items; var executable = args;. . .	Отправка уведомления на почту при изменении наименования справочника Maks 24.03.2026 Программная отправка письма электронной почты на примере изменения наименования типового справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной. . .	модель ЗдравоСохранения 5. Меньше увольнений- больше дохода! anaschu 24.03.2026 Теперь система здравосохранения уменьшает количество увольнений. 9TO2GP2bpX4 a42b81fb172ffc12ca589c7898261ccb/ https:/ / rutube. ru/ video/ a42b81fb172ffc12ca589c7898261ccb/ Слева синяя линия -. . .	Midnight Chicago Blues kumehtar 24.03.2026 Такой Midnight Chicago Blues, знаешь?. . Когда вечерние улицы становятся ночными, а ты не можешь уснуть. Ты идёшь в любимый старый бар, и бармен наливает тебе виски. Ты смотришь на пролетающие. . .

@constantin_01 1 / 1 / 0 Регистрация: 30.04.2019 Сообщений: 89

	Поиск в xml-файлах 21.07.2019, 21:29. Показов 1420. Ответов 3 Метки нет (Все метки) Здравствуйте! Имеется крупный xml файл (350 мб), который представляет собой словарь помеченных слов. Необходимо обеспечить быстрый доступ к информации к словам. Что я сделал: Использовал библиотеку element tree и ее метод iterparse(). Осуществляю поиск путем итерации. Скорость низкая. Как улучшить скорость ? 0

@constantin_01 1 / 1 / 0 Регистрация: 30.04.2019 Сообщений: 89
	21.07.2019, 21:55 [ТС]
	Garry Galler, речь идет о корпусе русского языка: http://opencorpora.org/dict.php доступна только версия с xml и json, видимо предполагается, что пользователь должен уметь эффектно управляться с xml и json Добавлено через 7 минут Меня интересует как можно сжать xml словарь, то есть представить его в иной структуре. Например, в библиотеке pymorphy2 этот словарь умещается в 7 мб. 0