Удаление одинаковых строк из большого файла

@GingerySnake · Регистрация: 29.09.2017

Студворк — интернет-сервис помощи студентам

Здравствуйте. Подскажите, пожалуйста, как максимально быстро удалить одинаковые строки в большом файле 1кк+ строк.
В голову приходит отсортировать , а потом удалять строки, пока они одинаковые.
Также может кто знает, может проще будет загнать в СУБД и вытащить строки через запрос:

SQL
1
SELECT * FROM `table` GROUP BY name.

В общем, в задаче критично быстродействие. Может, кто сможет подсказать средства для выполнения этого задания максимально быстро.

@DU3 · 04.10.2017, 00:58

1kk - не так уж и много. можно и в памяти все провернуть. читаете в std::set или std::unordered_set и после этого у вас будет набор уникальных строк. загоняете весь сет обратно. по крайней мере это быстро сделать и можно будет сориентироваться, устраивает ли производительность или нет.

в *unix есть вроде утилиты, которые то-же самое смогут сделать. ну по крайней мере для сортировки есть такие штуки.

@GingerySnake · 04.10.2017, 01:00 **[ТС]**

1kk - минимальный размер, может быть намного больше. Например, мне пригоняли файлы около 8гб

@DU3 · 04.10.2017, 01:02

https://stackoverflow.com/ques... ell-script

Bash
1
./you_file.txt | sort | uniq

Добавлено через 1 минуту
в случае, когда все в память не влезет задача становится сильно сложнее. надо ее бить на подзадачи. что-то вроде внешней сортировки, но с особенностями. в плане пихать их в бд, которая сама следит за отсутствием дупликатов может и просто будет сделать. а вот производительность под вопросом. ну или я не знаю как это еще провернуть.

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@DU3 284 / 232 / 114 Регистрация: 07.09.2016 Сообщений: 584
	04.10.2017, 00:58
	1kk - не так уж и много. можно и в памяти все провернуть. читаете в std::set или std::unordered_set и после этого у вас будет набор уникальных строк. загоняете весь сет обратно. по крайней мере это быстро сделать и можно будет сориентироваться, устраивает ли производительность или нет. в *unix есть вроде утилиты, которые то-же самое смогут сделать. ну по крайней мере для сортировки есть такие штуки. 0

@GingerySnake 0 / 0 / 0 Регистрация: 29.09.2017 Сообщений: 4
	04.10.2017, 01:00 [ТС]
	1kk - минимальный размер, может быть намного больше. Например, мне пригоняли файлы около 8гб 0