Форум программистов, компьютерный форум, киберфорум
C++ Builder
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.69/26: Рейтинг темы: голосов - 26, средняя оценка - 4.69
 Аватар для Gremlin
519 / 307 / 58
Регистрация: 30.07.2008
Сообщений: 607

Удаление одинаковых строк

02.07.2010, 23:46. Показов 4918. Ответов 13
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Доброе время суток, подскажите, правильно ли я делаю удаление одинаковых строк?
сам код рабочий, но вот незадача... очень долго выполняется

у меня файл с 3.5кк строк
если использовать мой код, то получается что он будет перебирать строки
3.5кк * 3.5кк = 12.25 триллиона
(3,500,000 * 3,500,000 = 12,250,000,000,000)

я попробовал подсчитать, что если 1 строка будет обрабатываться 1/1000 сек (одну тысячную сек), то на это уйдет 380+ лет!!!

Помогите, пожалуйста... как можно решить данную проблему?

C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
    TStringList *list = new TStringList;
    list->Text = Memo7->Text;
    AnsiString temp;
 
    // удаление одинаковых строк
    for(int i = 0; i < list->Count; i++)
    {
        temp = list->Strings[i]; // берем строку
        for(int w = 0; w < list->Count; w++)
        {
            // сравниваем с каждой строкой
            if(list->Strings[w] == temp)
            {
                // если совпало, то удаляем
                list->Delete(w--);
            }
        }
        // т.к. все такие строки удалили, то записываем ее обратно
        list->Add(temp);
    }
 
    Memo7->Text = list->Text;
    list->Text = "";
    delete list;
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
02.07.2010, 23:46
Ответы с готовыми решениями:

Удаление одинаковых строк в StringGrid1
Как в StringGrid удалить абсолютно одинаковые строчки? Пробовал переделать найденный код для делфи на билдер, но не вышло..

Удаление одинаковых строк Листбокс
Делаю игру алхимия и там добавляются одинаковые строки в лисбокс, а как сделать чтоб они одинаковые недобавлялись? или если добавились то...

Удаление одинаковых строк двумерного массива
Доброе время суток дамы и господа. сижу в С++ Builder'e 6, имеется массив чисел otvetibuff 110000...000 110000...000 ...

13
Эксперт С++
 Аватар для Хохол
476 / 444 / 34
Регистрация: 20.11.2009
Сообщений: 1,293
02.07.2010, 23:49
Стандартная задача. Сортируем строки за O(nlog(n)), и одинаковые ищутся за O(n).
1
 Аватар для Gremlin
519 / 307 / 58
Регистрация: 30.07.2008
Сообщений: 607
03.07.2010, 00:01  [ТС]
Цитата Сообщение от Хохол Посмотреть сообщение
Стандартная задача. Сортируем строки за O(nlog(n)), и одинаковые ищутся за O(n).
Ты имеешь ввиду, выполнить, перед "отбрасыванием" сортировку...? а потом удалять последующие одинаковые строки пока они одинаковые (хм... тафтология)... ХОРОШАЯ ИДЕЯ!!!
0
Эксперт С++
 Аватар для Хохол
476 / 444 / 34
Регистрация: 20.11.2009
Сообщений: 1,293
03.07.2010, 00:03
Ну да, хорошая, широко известная в узких кругах идея .
0
332 / 247 / 32
Регистрация: 13.12.2009
Сообщений: 589
03.07.2010, 14:50
C++
1
2
3
4
5
    std::auto_ptr<TStringList> list(new TStringList());
    list->Duplicates = dupIgnore;
    list->Sorted = true;
    list->AddStrings(Memo_1->Lines);
    Memo_1->Lines->Assign(list.get());
0
Почемучка)
 Аватар для Ddv122
1244 / 304 / 30
Регистрация: 23.12.2010
Сообщений: 2,001
Записей в блоге: 1
23.02.2016, 15:42
Доброго времени суток .
Прошу совета .
Есть код
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
    TStringList *list = new TStringList;
    list->Text = Memo4->Text;
    list->Duplicates=dupIgnore;
    list->Sorted=True;
    AnsiString del;
    for(int i = 0; i < list->Count; i++)
    {
        del = list->Strings[i].Trim();
        for(int y = 0; y < list->Count; y++)
        {
            if(list->Strings[y].Trim() == del.Trim())
            {
                list->Delete(y--);
            }
           // Application->ProcessMessages();
        }
        list->Add(del);
    }
    Memo6->Clear();
    Memo6->Text = list->Text;
    delete list;
Все прекрасно работает - с 12819 строк - 507 индивидуумов формирует за 2 сек.
Но формирует не совсем правильно - ( остаются дубл строки ( 3 шт на первый взгляд) ) но при выполнение повторного поиска с этих 507 шт - уже находит 504 шт как и положено .
Интересно почему? из за большого количества строк ? или у меня ошибка допущена?
0
Супер-модератор
Эксперт Pascal/DelphiАвтор FAQ
 Аватар для volvo
33400 / 21510 / 8236
Регистрация: 22.10.2011
Сообщений: 36,907
Записей в блоге: 12
23.02.2016, 16:02
Код нормально работает на 125-150 тысячах моих строк, дубликатов не остается. Нужно смотреть, с какими ты строками работаешь. Может, там что-то прояснится.
1
 Аватар для Sasha
4956 / 2420 / 531
Регистрация: 05.06.2008
Сообщений: 7,518
Записей в блоге: 3
23.02.2016, 16:06
Цитата Сообщение от Ddv122 Посмотреть сообщение
del = list->Strings[i].Trim();
Цитата Сообщение от Ddv122 Посмотреть сообщение
if(list->Strings[y].Trim() == del.Trim())
Маленькакая поправка не вижу смыла 2 раза вызывать Trim(), если тебе и так первый раз прировнялось с помощью Trim().
1
Супер-модератор
Эксперт Pascal/DelphiАвтор FAQ
 Аватар для volvo
33400 / 21510 / 8236
Регистрация: 22.10.2011
Сообщений: 36,907
Записей в блоге: 12
23.02.2016, 17:44
Ddv122,
C++
1
2
3
4
5
6
7
8
9
10
11
12
    TStringList *list = new TStringList;
    list->Text = Memo4->Text;
 
    std::auto_ptr<TStringList> t(new TStringList);
    t->Sorted = true;
    t->Duplicates = dupIgnore;
    for(int i = 0; i < list->Count; i++)
        t->Add(list->Strings[i].Trim());
 
    Memo6->Clear();
    Memo6->Text = t->Text;
    delete list;
отработает на порядок (а может, и даже не на один) быстрее, чем твой вариант.
1
 Аватар для Samrisbe
1365 / 732 / 67
Регистрация: 28.01.2011
Сообщений: 2,069
27.03.2019, 08:46
Цитата Сообщение от volvo Посмотреть сообщение
* * TStringList *list = new TStringList;
* * list->Text = Memo4->Text;
std::auto_ptr<TStringList> t(new TStringList);
* * t->Sorted = true;
* * t->Duplicates = dupIgnore;
* * for(int i = 0; i < list->Count; i++)
* * * * t->Add(list->Strings[i].Trim());
Memo6->Clear();
* * Memo6->Text = t->Text;
* * delete list;
Я пробую удалить повторы в тексте где есть строки с кириллицей и с латинскими в итоге латинские не дочищает
0
Супер-модератор
Эксперт Pascal/DelphiАвтор FAQ
 Аватар для volvo
33400 / 21510 / 8236
Регистрация: 22.10.2011
Сообщений: 36,907
Записей в блоге: 12
27.03.2019, 11:09
Небольшой пример текста, на котором остаются дубликаты, можно привести?
0
 Аватар для Samrisbe
1365 / 732 / 67
Регистрация: 28.01.2011
Сообщений: 2,069
27.03.2019, 12:53
Цитата Сообщение от volvo Посмотреть сообщение
Небольшой пример текста, на котором остаются дубликаты, можно привести?
во вложении весь текст.
отрывок выглядит примерно так:
Серпантин
Серпантин
Серпантин
Серпантин
Amadeus
Amadeus combi
Amadeus
Amadeus combi
Amadeus
Amadeus combi
Amadeus
Amadeus combi
Amadeus
Amadeus combi
Aura
Aura
Aura
Aura
Aura
Aura
Aura
Aura
Вложения
Тип файла: txt primer.txt (7.2 Кб, 1 просмотров)
0
Супер-модератор
Эксперт Pascal/DelphiАвтор FAQ
 Аватар для volvo
33400 / 21510 / 8236
Регистрация: 22.10.2011
Сообщений: 36,907
Записей в блоге: 12
27.03.2019, 13:04
У меня после выполнения моего кода остается:
Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
Amadeus
Amadeus combi
Aquarelle
Aura
Batik
Bellini
Bellini combi
Benelux ajur
Benelux poli
Benelux sol
Claster I
Claster II
Crush
Ecomania
Felicita
Felicita strada
Flagman
Francheska
Francheska classic
Francheska combi
Francheska stripe
Gatsby
Generation
Liverpool star
Liverpool suit
Liverpool tweed
Lumiere
Lumiere combi
Malibu
Matisse
Mineral
Philosophy colorful
Philosophy jute
Philosophy linen
Philosophy strow
Rezidencia Capri
Rezidencia Milan
Simmetrika
Simmetrika I
Simmetrika II
Sky velvet
Soft touch
Spirit
Story
Story Cord
Sunday
Supernova
Swiss Velvet
Venzo Soft
Zephir
Гравитация
Импровизация
Романтика
Серпантин
Сфера
Фантазия
, нет никаких дубликатов, как видишь.
1
 Аватар для Samrisbe
1365 / 732 / 67
Регистрация: 28.01.2011
Сообщений: 2,069
27.03.2019, 21:21
Цитата Сообщение от volvo Посмотреть сообщение
нет никаких дубликатов, как видишь.
Спасибо! У меня была ошибка выгрузке результата.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
27.03.2019, 21:21
Помогаю со студенческими работами здесь

Удаление одинаковых символов
Доброго времени суток. Прошу помочь. Выдается ошибка &quot;Range check Error!&quot; void __fastcall TForm10::Button1Click(TObject *Sender) { int...

Удаление всех одинаковых символов в словах
здравствуйте! у меня такая проблема-сам код работает правильно! но только он удаляет В ДАННЫХ ТРЁХ СЛОВАХ по одному одинаковому символу...

Поиск одинаковых строк в файлах
Доброго дня.Подскажите как реализовать поиск дубликатов строк, в выбранных файлах. К примеру в Memo искомый текст и есть 10 txt...

Удаление строк
Доброго времени суток! Я сам не программист, но вышло так, что нужно написать небольшую программулину для работы. Вроде все хорошо и...

Удаление строк из ListBox
подскажи те плиз как удалить все строки из ListBox1 void __fastcall TForm1::remaccClick(TObject *Sender) { TStringList *s =...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
14
Ответ Создать тему
Новые блоги и статьи
Хочу заставить корпорации вкладываться в здоровье сотрудников: делаю мат модель здравосохранения
anaschu 22.03.2026
e7EYtONaj8Y Z4Tv2zpXVVo https:/ / github. com/ shumilovas/ med2. git
1С: Программный отбор элементов справочника по группе
Maks 22.03.2026
Установка программного отбора элементов справочника "Номенклатура" из модуля формы документа. В качестве фильтра для отбора справочника служит группа номенклатуры. Отбор по наименованию группы. . .
Как я обхитрил таблицу Word
Alexander-7 21.03.2026
Когда мигает курсор у внешнего края таблицы, и нам надо перейти на новую строку, а при нажатии Enter создается новый ряд таблицы с ячейками, то мы вместо нервных нажатий Энтеров мы пишем любые буквы. . .
Krabik - рыболовный бот для WoW 3.3.5a
AmbA 21.03.2026
без регистрации и смс. Это не торговля, приложение не содержит рекламы. Выполняет свою непосредственную задачу - автоматизацию рыбалки в WoW - и ничего более. Однако если админы будут против -. . .
1С: Программный отбор элементов справочника по значению перечисления
Maks 21.03.2026
Установка программного отбора элементов справочника "Сотрудники" из модуля формы документа. В качестве фильтра для отбора служит значение перечислений. / / Событие "НачалоВыбора" реквизита на форме. . .
Переходник USB-CAN-GPIO
Eddy_Em 20.03.2026
Достаточно давно на работе возникла необходимость в переходнике CAN-USB с гальваноразвязкой, оный и был разработан. Однако, все меня терзала совесть, что аж 48-ногий МК используется так тупо: просто. . .
Оттенки серого
Argus19 18.03.2026
Оттенки серого Нашёл в интернете 3 прекрасных модуля: Модуль класса открытия диалога открытия/ сохранения файла на Win32 API; Модуль класса быстрого перекодирования цветного изображения в оттенки. . .
SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++
8Observer8 17.03.2026
Содержание блога Финальные проекты на Си и на C++: finish-rectangles-sdl3-c. zip finish-rectangles-sdl3-cpp. zip
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru