Как работать с большими словарями

@Хулиган · Регистрация: 08.08.2012

Студворк — интернет-сервис помощи студентам

Здравствуйте!

Подскажите пожайлуста как работать с большими словарями:
в файле храниться словарь с большим количеством слов, пользователь может запросить слова начинающ. на указанную букву или же попросить программу перевести слово и т.д.

думаю нецелесообразно загружать весь словарь т.к. много памяти сожрет, но и постоянно дергать файл словаря не хочется(тем более поиск нужного слова прямо из файла неэффективен). Есть какой то компромисный вариант - высокая скорость работы и минимальный отжер памяти?

@nmcf · 02.11.2015, 17:38

Насколько "большой" этот словарь? С современными объёмами ОЗУ можно многое загрузить целиком.

@Хулиган · 02.11.2015, 17:47 **[ТС]**

nmcf, 50-100к. + дополнительная инфа к каждому слову: траскрипция, дата...

@Lensato · 02.11.2015, 17:47

Никогда подобными вопросами не задавался, но мыслю так...

Что бы ни запросил пользователь, быстро работать с этим, можно только загрузив необходимую инфу из словаря.

Если запрос сложный, например "Выбрать все слова начинающиеся на "П", включающие "Р" и относящиеся к животным", то можно выбрать из файла все слова на "П" и дальше с файлом не работать.

Информацию в словаре нужно заранее подготовить. Отсортировать по алфавиту, сделать соответствующие метки. Как-то еще разбить в соответствии с нужным функционалом.
Тогда, если нашел первое же слово на "П", считывай все подряд, пока не встретишь "Р".
Либо в заголовке файла, прочти с какого места начинаются слова на "П" и не листай весь файл. Эту инфу разумеется надо заранее подготовить.

@castaway · 02.11.2015, 17:50

Сообщение от Хулиган

50-100к. + дополнительная инфа к каждому слову: траскрипция, дата...

Это мелочи. Грузи весь файл в память и работай с ним.

Tulosba · 02.11.2015, 18:14

Сообщение от Хулиган

Подскажите пожайлуста как работать с большими словарями

Неспроста были придуманы СУБД.

@nmcf · 02.11.2015, 20:48

Сообщение от Хулиган

50-100к.

Всего-то? Ну пусть даже 10 Мегабайт будет всё вместе. Это совсем не много.

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@Хулиган 88 / 83 / 21 Регистрация: 08.08.2012 Сообщений: 737

	Как работать с большими словарями 02.11.2015, 17:34. Показов 756. Ответов 6 Метки нет (Все метки) Здравствуйте! Подскажите пожайлуста как работать с большими словарями: в файле храниться словарь с большим количеством слов, пользователь может запросить слова начинающ. на указанную букву или же попросить программу перевести слово и т.д. думаю нецелесообразно загружать весь словарь т.к. много памяти сожрет, но и постоянно дергать файл словаря не хочется(тем более поиск нужного слова прямо из файла неэффективен). Есть какой то компромисный вариант - высокая скорость работы и минимальный отжер памяти? 0

@nmcf 7804 / 6568 / 2988 Регистрация: 14.04.2014 Сообщений: 28,705
	02.11.2015, 17:38
	Насколько "большой" этот словарь? С современными объёмами ОЗУ можно многое загрузить целиком. 0

@Хулиган 88 / 83 / 21 Регистрация: 08.08.2012 Сообщений: 737
	02.11.2015, 17:47 [ТС]
	nmcf, 50-100к. + дополнительная инфа к каждому слову: траскрипция, дата... 0

@Lensato 49 / 49 / 31 Регистрация: 07.10.2015 Сообщений: 170
	02.11.2015, 17:47
	Никогда подобными вопросами не задавался, но мыслю так... Что бы ни запросил пользователь, быстро работать с этим, можно только загрузив необходимую инфу из словаря. Если запрос сложный, например "Выбрать все слова начинающиеся на "П", включающие "Р" и относящиеся к животным", то можно выбрать из файла все слова на "П" и дальше с файлом не работать. Информацию в словаре нужно заранее подготовить. Отсортировать по алфавиту, сделать соответствующие метки. Как-то еще разбить в соответствии с нужным функционалом. Тогда, если нашел первое же слово на "П", считывай все подряд, пока не встретишь "Р". Либо в заголовке файла, прочти с какого места начинаются слова на "П" и не листай весь файл. Эту инфу разумеется надо заранее подготовить. 0