Поиск по маске в большом текстовом файле

@Antiplayer · Регистрация: 27.09.2012

Студворк — интернет-сервис помощи студентам

Возник вопрос, имеются текстовые файлы, содержащие от 300 000 строк, в них надо найти определенные слова, желательно по маске вида: "c%%%%x610x8".

C++
1
2
3
4
5
6
7
8
9
AnsiString search;
RichEdit1->Lines->LoadFromFile(OpenDialog1->FileName);
for (int i = 0; i < RichEdit1->Lines->Count; i++) {
      search=RichEdit1->Lines->Strings[i];
      int index = search.Pos("с00");  /* найдем начало слова */
      if( index != 0 ) {
   Memo1->Lines->Add(search);
}
     }

Такой код не дает адекватно задать маску(но это решаемо), но главное, что выполняется он невероятно долго. Уже 10 минут ищет, и думаю, это далеко не конец. Прошу помощи, даже код не обязательно. Просто подкиньте идею, алгоритм, компонент. Спасибо.

Nataly_K · 09.02.2016, 23:14

Сообщение от Antiplayer

Просто подкиньте идею

Как вариант - использовать регулярные выражения для поиска

@nick42 · 09.02.2016, 23:34

Сообщение от Antiplayer

Просто подкиньте идею

Работать напрямую с Memo - плохая идея. Этот визуальный компонент постоянно форматируется при изменении в нем текста и от этого крайне медлителен. В этом можно убедиться, если использовать невизуальный список (TStringList); и только после завершения цикла подключить Memo.

C++
1
2
3
if(RichEdit1->Lines->Strings[i].Pos("c00")) myStringList->Add(RichEdit1->Lines->Strings[i]);
. . .
Memo1->Lines->Assign(myStringList);

@Antiplayer · 10.02.2016, 00:24 **[ТС]**

Я тоже так думал, но так как искомых слов там меньше десятка может быть, я не думал, что это существенно влияет на производительность. Ведь в Мемо пишется только тогда, когда искомое будет найдено.

@Почтальон · 10.02.2016, 09:46

Сообщение от Nataly_K

Как вариант - использовать регулярные выражения для поиска

Полностью согласен, регулярки тут помогут, да и отработают быстрее.

@nick42 · 10.02.2016, 12:04

Я вообще ничего не понимаю. Моя логика в ступоре! Простой цикл посимвольного перебора

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
    TStringList *SL1 = new TStringList;
    TStringList *SL2 = new TStringList;
//---------------------------------------------------------------------------
void __fastcall TForm1::Button1Click(TObject *Sender)
{
    SL1->LoadFromFile(".\\test.txt");
    int a = 0, b = SL1->Text.Length()-3, i;
   Label1->Caption = TimeToStr(Time()); Label1->Repaint();
    for(i=1;i<b;++i)
      if(SL1->Text[i]=='\r')
      { if( SL1->Text[i+1]=='\n') a++; }
//     else if(SL1->Text[i]=='s' && SL1->Text[i+1]=='0' && SL1->Text[i+2]=='0')
//       SL2->Add(SL1->Strings[a]);
//    Memo1->Lines->Assign(SL2);
   Label2->Caption = TimeToStr(Time());
}

вешает программу на минуты (я так и не дождался)! Хотя обычный редактор AkelPad находит в том же файле трехбайтовую последовательность в самом конце файла за доли секунды!! <файл размером 23 Мб, - около 400000 строк длиной до 80 символов>.
?!!! Спасайте практикантропа!

@Почтальон · 10.02.2016, 12:08

А если регулярку заюзать ?

@nick42 · 10.02.2016, 13:16

Сообщение от nick42

Я вообще ничего не понимаю.

В общем, как я понимаю, не нужно использовать строки при таких объемах; мутная они штука в Билдере. Если попробовать через TMemoryStream и буфер анализировать, то все должно получиться.

@Rapsod · 11.02.2016, 21:21

Привет Практикантроп!

Вы же выше использовали Pos() метод. Он же быстро работает.
Например, я его использовал в TStringList с большими файлами. Очень шустро ищет.

@nick42 · 11.02.2016, 23:54

Ну, видимо так. Для работы со строками нужно знать определенные приемы или методы обработки, дающие быстрейший результат. Я попробовал простейший, с моей точки зрения, цикл - и чуть не пережег предохранители. Скорее всего посимвольная обработка символов в строке - это не то, как я себе представляю: выборочное обращение к монотонному массиву байтов, а достаточно сложные операции с многочисленными анализами. И в длинном цикле эти задержки оказываются настолько существенными, что ставят крест на таком подходе. Вот за что я и "люблю" С, сравнительно с ассемблером... - мизер "в тёмную".

Новые блоги и статьи Все статьи Все блоги /
Контроль заполнения и очистка дат в зависимости от значения перечислений Maks 12.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .	Архитектура слоя интернета для сервера-слоя. Hrethgir 11.04.2026 В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .	Подстановка значения реквизита справочника в табличную часть документа Maks 10.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .	Очистка реквизитов документа при копировании Maks 09.04.2026 Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .
модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий anaschu 08.04.2026 https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI	Блокировка документа от изменений, если он открыт у другого пользователя Maks 08.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .	Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка. Hrethgir 08.04.2026 Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .	Модель ЗдрввоСохранения 7: больше работников, больше ресурсов. anaschu 08.04.2026 работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ

@Antiplayer 129 / 112 / 39 Регистрация: 27.09.2012 Сообщений: 305
	10.02.2016, 00:24 [ТС]
	Я тоже так думал, но так как искомых слов там меньше десятка может быть, я не думал, что это существенно влияет на производительность. Ведь в Мемо пишется только тогда, когда искомое будет найдено. 0

@Почтальон управление сложностью 1693 / 1306 / 259 Регистрация: 22.03.2015 Сообщений: 7,545 Записей в блоге: 5
	10.02.2016, 12:08
	А если регулярку заюзать ? 0

@Rapsod Волшебник 65 / 64 / 7 Регистрация: 21.11.2009 Сообщений: 319
	11.02.2016, 21:21
	Привет Практикантроп! Вы же выше использовали Pos() метод. Он же быстро работает. Например, я его использовал в TStringList с большими файлами. Очень шустро ищет. 1

@nick42 Практикантроп 4841 / 2726 / 534 Регистрация: 23.09.2011 Сообщений: 5,798
	11.02.2016, 23:54
	Ну, видимо так. Для работы со строками нужно знать определенные приемы или методы обработки, дающие быстрейший результат. Я попробовал простейший, с моей точки зрения, цикл - и чуть не пережег предохранители. Скорее всего посимвольная обработка символов в строке - это не то, как я себе представляю: выборочное обращение к монотонному массиву байтов, а достаточно сложные операции с многочисленными анализами. И в длинном цикле эти задержки оказываются настолько существенными, что ставят крест на таком подходе. Вот за что я и "люблю" С, сравнительно с ассемблером... - мизер "в тёмную". 0