Программа для поиска соответствие строк, учитывая регистр, в текстовом файле с 10000+ строк

@GoVanza · Регистрация: 22.09.2015

Студворк — интернет-сервис помощи студентам

Уважаемые форумчане, прошу у вас помощи я неделю в поисках. Мне нужна программа или код для поиска слов, очень похожую на расширение Pearls Extension от Chroma. Pearls отваливается и не делает поиск (((( Вот пример: Есть у меня фаил тхт в нём 10000+ строк и много много файлов тхт с миллионами строк, мне надобно как то эти 10000+ сравнивать с теми миллионами на нахождение соответствие строк, учитывая регистр. Посоветуйте пожалуйста как это делать и какими способами. первое сообщение на форуме.

Добавлено через 2 часа 33 минуты
Вот я понял что это сложно(((( 1 Файл 10000 строк, для проверки 10 файлов по 17gb с миллиардами строк на схожесть. У меня через CTRL+F года уйдут. Чем это можно делать Python? Java? C++? Я б уже Pearls Extension разобрал бы если я понимал как, Днище я

Люди прошу помогите!

@gledor · 22.09.2015, 21:33

Вы решили написать программу по поиску в Поквантово-временном Архиве Всея Вселенной с момента сотворения?
Естественно, самый быстрый код - это код, написанный на низком уровне абстракции,который "ближе к железу".
Такой "Экшклюзив" придется писать самому, от начала и до конца, придумывая старые велосипеды и расширяя их возможности.
Вот в общем-то и все, что можно ответить. И будут у тебя не годы поиска, а всего-то недели. Может быть, дни. шутка-ли, 170GB прочесать на наличие 10000 строк N-ной длины...
Вряд ли тебе кто здесь посоветует готовое решение на такие Вселенские Объемы Текстовой Информации.

@GoVanza · 22.09.2015, 21:47 **[ТС]**

Да сложная ситуация вот Pearls Extension обычное приложение для Chroma за 20мин мне 1.2gb проверил и потом перестал/// В чём причина не пойму, знаю что написан он на С++ а сканирование делал 50мб за 15-20секунд.

@gledor · 22.09.2015, 22:01

К слову, 170GB - это 182 536 110 080 байтов. Как известно, 1 байт == одному символу;
Авторский лист - это 40 000 символов (с пробелами и знаками препинания).
Следовательно, 170GB == 4 563 402.752 Авторских листа.
Средний объем книги составляет около 13 А.Л. (авторских листа)
Следовательно, 170GB текста это 351 031 книг.
Всего в мире существует разных, уникальных книг, статей, журналов, брошюр, научных трудов, патентов и пр. около 129 864 880 экземпляров. Мы отбросим за ненадобностью различную мукулатуру с низким содержанием авторских листов (ежемесячные модные и рекламные журналы, газеты, телепрограммы и пр.) и получим количество книг, имеющих какую-либо ценную информацию. Всего таких названий останется 12% от 129 864 880, или 15 583 786 книг.

351 031 книг из 15 583 786 это 1\44 часть всего, что человечество написало за ВСЮ мировую историю книгописания и книгопечатания(начиная от 3350 до н.э.), во ВСЕХ странах мира, которые были или есть и посейчас.

Автор, где Вы нашли, откопали СТОЛЬКО информации? Может, стоит сделать что попроще?

@cyb0rg_01 · 22.09.2015, 22:03

GoVanza, Нужно отталкиваться не от языка а от СУБД в данной задаче.

@gledor · 22.09.2015, 22:07

Сообщение от pro_100_gram

Нужно отталкиваться не от языка а от СУБД в данной задаче.

Автор хочет все решить я так понял, средствами C++. Это имеет принципиальное для автора значение, как видимо, и объем его информации.
Может, всё-таки спросить у автора о желании переместить тему в другой форум и раздел?

@cyb0rg_01 · 22.09.2015, 22:09

gledor, Средства С++ позволяют работать с СУБД. С++ вообще со всем позволяет работать

@GoVanza · 22.09.2015, 23:20 **[ТС]**

У меня есть все части файлов от Pearls Extension, там их 5 скриптов но я не умею собрать ее на С++ да и мало того хотел под Notepad++ ее бы делать как плагин. Думаю требуется с автором программы связаться. Спасибо всем!

Новые блоги и статьи Все статьи Все блоги /
Программный контроль заполнения реквизита табличной части документа Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: реализовать контроль заполнения реквизита "ПричинаСписания". . .	wmic не является внутренней или внешней командой Maks 02.04.2026 Решение: DISM / Online / Add-Capability / CapabilityName:WMIC~~~~ Отсюда: https:/ / winitpro. ru/ index. php/ 2025/ 02/ 14/ komanda-wmic-ne-naydena/	Программная установка даты и запрет ее изменения Maks 02.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "СписаниеМатериалов", разработанного в конфигурации КА2. Задача: при создании документов установить период списания автоматически. . .	Вывод данных в справочнике через динамический список Maks 01.04.2026 Реализация из решения ниже выполнена на примере нетипового справочника "Спецтехника" разработанного в конфигурации КА2. Задача: вывести данные из ТЧ нетипового документа. . .
Программное заполнения текстового поля в реквизите формы документа Maks 01.04.2026 Алгоритм из решения ниже реализован на нетиповом документе "ВыдачаОборудованияНаСпецтехнику" разработанного в конфигурации КА2, в дополнении к предыдущему решению. На форме документа создается. . .	К слову об оптимизации kumehtar 01.04.2026 Вспоминаю начало 2000-х, университет, когда я писал на Delphi. Тогда среди программистов на форумах активно обсуждали аккуратную работу с памятью: нужно было следить за переменными, вовремя. . .	Идея фильтра интернета (сервер = слой+фильтр). Hrethgir 31.03.2026 Суть идеи заключается в том, чтобы запустить свой сервер, о чём я если честно мечтал давно и давно приобрёл книгу как это сделать. Но не было причин его запускать. Очумелые учёные напечатали на. . .	Модель здравосоХранения 6. ESG-повестка и устойчивое развитие; углублённый анализ кадрового бренда anaschu 31.03.2026 В прикрепленном документе раздумья о том, как можно поменять модель в будущем

@GoVanza 0 / 0 / 0 Регистрация: 22.09.2015 Сообщений: 11

	Программа для поиска соответствие строк, учитывая регистр, в текстовом файле с 10000+ строк 22.09.2015, 20:59. Показов 2182. Ответов 7 Метки нет (Все метки) Уважаемые форумчане, прошу у вас помощи я неделю в поисках. Мне нужна программа или код для поиска слов, очень похожую на расширение Pearls Extension от Chroma. Pearls отваливается и не делает поиск (((( Вот пример: Есть у меня фаил тхт в нём 10000+ строк и много много файлов тхт с миллионами строк, мне надобно как то эти 10000+ сравнивать с теми миллионами на нахождение соответствие строк, учитывая регистр. Посоветуйте пожалуйста как это делать и какими способами. первое сообщение на форуме. Добавлено через 2 часа 33 минуты Вот я понял что это сложно(((( 1 Файл 10000 строк, для проверки 10 файлов по 17gb с миллиардами строк на схожесть. У меня через CTRL+F года уйдут. Чем это можно делать Python? Java? C++? Я б уже Pearls Extension разобрал бы если я понимал как, Днище я Люди прошу помогите! 0

@gledor 130 / 25 / 12 Регистрация: 12.08.2015 Сообщений: 221
	22.09.2015, 21:33
	Вы решили написать программу по поиску в Поквантово-временном Архиве Всея Вселенной с момента сотворения? Естественно, самый быстрый код - это код, написанный на низком уровне абстракции,который "ближе к железу". Такой "Экшклюзив" придется писать самому, от начала и до конца, придумывая старые велосипеды и расширяя их возможности. Вот в общем-то и все, что можно ответить. И будут у тебя не годы поиска, а всего-то недели. Может быть, дни. шутка-ли, 170GB прочесать на наличие 10000 строк N-ной длины... Вряд ли тебе кто здесь посоветует готовое решение на такие Вселенские Объемы Текстовой Информации. 0

@GoVanza 0 / 0 / 0 Регистрация: 22.09.2015 Сообщений: 11
	22.09.2015, 21:47 [ТС]
	Да сложная ситуация вот Pearls Extension обычное приложение для Chroma за 20мин мне 1.2gb проверил и потом перестал/// В чём причина не пойму, знаю что написан он на С++ а сканирование делал 50мб за 15-20секунд. 0

@gledor 130 / 25 / 12 Регистрация: 12.08.2015 Сообщений: 221
	22.09.2015, 22:01
	К слову, 170GB - это 182 536 110 080 байтов. Как известно, 1 байт == одному символу; Авторский лист - это 40 000 символов (с пробелами и знаками препинания). Следовательно, 170GB == 4 563 402.752 Авторских листа. Средний объем книги составляет около 13 А.Л. (авторских листа) Следовательно, 170GB текста это 351 031 книг. Всего в мире существует разных, уникальных книг, статей, журналов, брошюр, научных трудов, патентов и пр. около 129 864 880 экземпляров. Мы отбросим за ненадобностью различную мукулатуру с низким содержанием авторских листов (ежемесячные модные и рекламные журналы, газеты, телепрограммы и пр.) и получим количество книг, имеющих какую-либо ценную информацию. Всего таких названий останется 12% от 129 864 880, или 15 583 786 книг. 351 031 книг из 15 583 786 это 1\44 часть всего, что человечество написало за ВСЮ мировую историю книгописания и книгопечатания(начиная от 3350 до н.э.), во ВСЕХ странах мира, которые были или есть и посейчас. Автор, где Вы нашли, откопали СТОЛЬКО информации? Может, стоит сделать что попроще? 0

@cyb0rg_01 Фрилансер 735 / 352 / 96 Регистрация: 05.05.2014 Сообщений: 2,621
	22.09.2015, 22:03
	GoVanza, Нужно отталкиваться не от языка а от СУБД в данной задаче. 0

@cyb0rg_01 Фрилансер 735 / 352 / 96 Регистрация: 05.05.2014 Сообщений: 2,621
	22.09.2015, 22:09
	gledor, Средства С++ позволяют работать с СУБД. С++ вообще со всем позволяет работать 0

@GoVanza 0 / 0 / 0 Регистрация: 22.09.2015 Сообщений: 11
	22.09.2015, 23:20 [ТС]
	У меня есть все части файлов от Pearls Extension, там их 5 скриптов но я не умею собрать ее на С++ да и мало того хотел под Notepad++ ее бы делать как плагин. Думаю требуется с автором программы связаться. Спасибо всем! 0