Как наиболее рационально подойти к разбиению очень большого текста на отдельные слова?

Всем здравствуйте!

Задумал написать на Визуальном бейсике программу, которая будет обрабатывать большие (ну очень большие!) тексты, разбивая их на отдельные слова. На ум приходит только такой подход к решению этой задачи:

1. В цикле проходим по всем словам текста, отправляя каждое из них во вложенный цикл.
2. Во вложенном цикле создаём 2 связанных между собой массива - массив (базу данных) всех найденных слов и массив счётчиков количества повторений для каждого слова.

3. Если найденное слово новое, тогда добавляем его в нашу базу данных со значением счётчика, равным единице.
Если найденное слово уже встречалось, тогда НЕ добавляем его в базу данных, но значение его счётчика увеличиваем на единицу.
Ну а уже в самом конце сортируем нашу базу данных (массив) по алфавиту.

Ахиллесова пята здесь это поиск слов в составляемой базе данных. На это уйдёт львиная часть времени.
Отсюда вопрос: можно ли как-нибудь оптимизировать этот процесс?
Мне на ум приходит, что можно попробовать вставлять в "базу данных" новые слова сразу в алфавитном порядке, а потом начинать поиск (но как?) с первой буквы слова-кандидата.

И ведь, наверняка же, оптимальный подход к этой задаче уже давно разработан, поскольку уж очень она вроде бы стандартная.
Но я не могу найти. Даже не могу сформулировать строку поиска

Пытался гуглить "VB6 разбить текст на отдельные слова", но там все ответы либо на VB.Net, либо вообще на других языках.

0

Сообщение от Power_Basic карабкаюсь вверх к поставленньой цели - озвучить книгу без ошибок.

Есть же готовые сервисы по переводу и озвучке, с использованием обучаемых нейросетей, даже бесплатные. Зачем изобретать велосипед ? У вас всё-равно лучше не получится сделать

0

Сообщение от I can Зачем изобретать велосипед ? У вас всё-равно лучше не получится сделать

И так всегда ((((( А, может быть, и получится? Откуда такая уверенность, что не получится? И потом, почему изобретать? Челу не надо такие мощности

Сообщение от I can Есть же готовые сервисы по переводу и озвучке, с исп...

Это как использовать эскаватор для копки ямы посадить двухлетний саженец....Если достаточно лопаты.
И еще вот это

Если бы Вы читали досконально,

Сообщение от Power_Basic Не по теме: Ну и ещё из забавного: наш любимый COM++ в 50% случаев распознаётся как СОМ. На первый взгляд вроде бы никакой разницы Но в первом случае, это Component Object Model, а во втором это огромная (аж с двумя плюсами!) рыба сом Ну и разумеется, речевой движок именно так и прочитает Ну и конечно, отвратительная схожесть цифры 1 с заглавной буквой I и строчной буквой l. OCR очень часто их путает. А движок как написано, так и прочитает. Ну вот и хочу вылавливать такие огрехи с помощью словаря. Вот ещё вспомнил из забавного: OneCore частенько распознаётся как ОпеСоге. Вот даже сейчас у меня на мониторе они выглядят совершенно одинаковыми, хотя я прекрасно знаю, что в первом случае это "ОдноЯдро", а во втором таинственное "ОПЕСОГЕ"

то поняли б, что не всё так гладко в уже разработанных прогах.
I can, почитайте ВСЕ страницы данной темы, чтоб увидеть, что Power_Basic изучает этот вопрос досконально - и потом уже критикуйте
И, самое главное: человек развивает свои способности...
Так что и тут возможны чудеса.

0

0

locm, конечно! А в Австралии страусы водятся. А их одно яйцо - это примерно 24 куриных. Так что такаят поездка трёх зайцев убьёт:
1. доехать в москву
2. посмотреть мир, чудеса по дороге
3. яйца.

Power_Basic, не слушайте никаких критиков, я с Вами.

1

Сообщение от vedunasv И, самое главное: человек развивает свои способности..

Это называется "сизифов труд".

Сообщение от vedunasv Это как использовать эскаватор для копки ямы посадить двухлетний саженец....Если достаточно лопаты.

Но лопата как раз - это современные технологии, а экскаватор - это то, что он хочет сделать.
Весь вопрос решается буквально в 10 строк кода, но, конечно, не на vb6.

0

Добавлено через 11 минут


Добавлено через 2 минуты


Добавлено через 51 секунду


Добавлено через 2 минуты

Сообщение от I can Весь вопрос решается буквально в 10 строк кода, но, конечно, не на vb6.

Мы вот прямо сейчас находимся на подфоруме "Visual Basic". Мне этот диалект очень нравится и поэтому именно здесь я опубликовал свой вопрос и уже получил вполне устраивающий меня ответ.

Ну пусть это не 10 строчек кода, а 20. Для меня эта разница несущественна

0

Сообщение от Power_Basic Граждане, пользуйтесь услугами бесплатных обучаемых нейросетей!

А почему бы и не использовать, если есть готовый удобный инструмент ? Или у вас от них изжога ?
Вы же среду разработки не сами писали, а тут какие-то предубеждения появились... Непонятно.

Добавлено через 19 минут

Сообщение от Power_Basic Это моя собственная TTS программа.

Да и с этим не всё понятно. Наверняка используете SAPI, lame, BASS, FFmpeg и т.п. Почему не пишите с нуля всё ?

0

Сообщение от I can А почему бы и не использовать, если есть готовый удобный инструмент ? Или у вас от них изжога ? Вы же среду разработки не сами писали, а тут какие-то предубеждения появились... Непонятно.

Слушайте, уважаемый, давайте прекратим этот взаимный бессмысленный флуд. Вопрос уже решён, тема закрыта.
Мне реально на этом форуме постоянно помогают 3 серьёзных специалиста: The trick, Pro_grammer и locm, и мне этого вполне достаточно, и за это я им очень сильно благодарен.
А вот так вот придти к шапошному разбору и начать пустые разговоры, это уже без меня.

Ну нет, вообще-то я большой любитель поболтать на форумах и в чатах, да водится за мной такой грешок

Но только не здесь. Сюда я прихожу за конкретными ПОЛЕЗНЫМИ советами. Ну просто потому что у этого сайта такая вот специфика.

Тема закрыта!

1

Сообщение от Power_Basic Тема закрыта!

Вперёд, к новым велосипедам.

0

Сообщение от Power_Basic А ещё вот такой вопрос. Может быть имеет смысл создать сразу несколько коллекций, - по одной на каждую букву?

Тогда уже префиксное дерево использовать.

1