Программа для поиска соответствие строк, учитывая регистр, в текстовом файле с 10000+ строк

@GoVanza · Регистрация: 22.09.2015

Студворк — интернет-сервис помощи студентам

Уважаемые форумчане, прошу у вас помощи я неделю в поисках. Мне нужна программа или код для поиска слов, очень похожую на расширение Pearls Extension от Chroma. Pearls отваливается и не делает поиск (((( Вот пример: Есть у меня фаил тхт в нём 10000+ строк и много много файлов тхт с миллионами строк, мне надобно как то эти 10000+ сравнивать с теми миллионами на нахождение соответствие строк, учитывая регистр. Посоветуйте пожалуйста как это делать и какими способами. первое сообщение на форуме.

Добавлено через 2 часа 33 минуты
Вот я понял что это сложно(((( 1 Файл 10000 строк, для проверки 10 файлов по 17gb с миллиардами строк на схожесть. У меня через CTRL+F года уйдут. Чем это можно делать Python? Java? C++? Я б уже Pearls Extension разобрал бы если я понимал как, Днище я

Люди прошу помогите!

@gledor · 22.09.2015, 21:33

Вы решили написать программу по поиску в Поквантово-временном Архиве Всея Вселенной с момента сотворения?
Естественно, самый быстрый код - это код, написанный на низком уровне абстракции,который "ближе к железу".
Такой "Экшклюзив" придется писать самому, от начала и до конца, придумывая старые велосипеды и расширяя их возможности.
Вот в общем-то и все, что можно ответить. И будут у тебя не годы поиска, а всего-то недели. Может быть, дни. шутка-ли, 170GB прочесать на наличие 10000 строк N-ной длины...
Вряд ли тебе кто здесь посоветует готовое решение на такие Вселенские Объемы Текстовой Информации.

@GoVanza · 22.09.2015, 21:47 **[ТС]**

Да сложная ситуация вот Pearls Extension обычное приложение для Chroma за 20мин мне 1.2gb проверил и потом перестал/// В чём причина не пойму, знаю что написан он на С++ а сканирование делал 50мб за 15-20секунд.

@gledor · 22.09.2015, 22:01

К слову, 170GB - это 182 536 110 080 байтов. Как известно, 1 байт == одному символу;
Авторский лист - это 40 000 символов (с пробелами и знаками препинания).
Следовательно, 170GB == 4 563 402.752 Авторских листа.
Средний объем книги составляет около 13 А.Л. (авторских листа)
Следовательно, 170GB текста это 351 031 книг.
Всего в мире существует разных, уникальных книг, статей, журналов, брошюр, научных трудов, патентов и пр. около 129 864 880 экземпляров. Мы отбросим за ненадобностью различную мукулатуру с низким содержанием авторских листов (ежемесячные модные и рекламные журналы, газеты, телепрограммы и пр.) и получим количество книг, имеющих какую-либо ценную информацию. Всего таких названий останется 12% от 129 864 880, или 15 583 786 книг.

351 031 книг из 15 583 786 это 1\44 часть всего, что человечество написало за ВСЮ мировую историю книгописания и книгопечатания(начиная от 3350 до н.э.), во ВСЕХ странах мира, которые были или есть и посейчас.

Автор, где Вы нашли, откопали СТОЛЬКО информации? Может, стоит сделать что попроще?

@cyb0rg_01 · 22.09.2015, 22:03

GoVanza, Нужно отталкиваться не от языка а от СУБД в данной задаче.

@gledor · 22.09.2015, 22:07

Сообщение от pro_100_gram

Нужно отталкиваться не от языка а от СУБД в данной задаче.

Автор хочет все решить я так понял, средствами C++. Это имеет принципиальное для автора значение, как видимо, и объем его информации.
Может, всё-таки спросить у автора о желании переместить тему в другой форум и раздел?

@cyb0rg_01 · 22.09.2015, 22:09

gledor, Средства С++ позволяют работать с СУБД. С++ вообще со всем позволяет работать

@GoVanza · 22.09.2015, 23:20 **[ТС]**

У меня есть все части файлов от Pearls Extension, там их 5 скриптов но я не умею собрать ее на С++ да и мало того хотел под Notepad++ ее бы делать как плагин. Думаю требуется с автором программы связаться. Спасибо всем!

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .	SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf 8Observer8 01.02.2026 Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .	SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm 8Observer8 30.01.2026 Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .	SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .	SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .

@GoVanza 0 / 0 / 0 Регистрация: 22.09.2015 Сообщений: 11

	Программа для поиска соответствие строк, учитывая регистр, в текстовом файле с 10000+ строк 22.09.2015, 20:59. Показов 2151. Ответов 7 Метки нет (Все метки) Уважаемые форумчане, прошу у вас помощи я неделю в поисках. Мне нужна программа или код для поиска слов, очень похожую на расширение Pearls Extension от Chroma. Pearls отваливается и не делает поиск (((( Вот пример: Есть у меня фаил тхт в нём 10000+ строк и много много файлов тхт с миллионами строк, мне надобно как то эти 10000+ сравнивать с теми миллионами на нахождение соответствие строк, учитывая регистр. Посоветуйте пожалуйста как это делать и какими способами. первое сообщение на форуме. Добавлено через 2 часа 33 минуты Вот я понял что это сложно(((( 1 Файл 10000 строк, для проверки 10 файлов по 17gb с миллиардами строк на схожесть. У меня через CTRL+F года уйдут. Чем это можно делать Python? Java? C++? Я б уже Pearls Extension разобрал бы если я понимал как, Днище я Люди прошу помогите! 0

@gledor 130 / 25 / 12 Регистрация: 12.08.2015 Сообщений: 221
	22.09.2015, 21:33
	Вы решили написать программу по поиску в Поквантово-временном Архиве Всея Вселенной с момента сотворения? Естественно, самый быстрый код - это код, написанный на низком уровне абстракции,который "ближе к железу". Такой "Экшклюзив" придется писать самому, от начала и до конца, придумывая старые велосипеды и расширяя их возможности. Вот в общем-то и все, что можно ответить. И будут у тебя не годы поиска, а всего-то недели. Может быть, дни. шутка-ли, 170GB прочесать на наличие 10000 строк N-ной длины... Вряд ли тебе кто здесь посоветует готовое решение на такие Вселенские Объемы Текстовой Информации. 0

@GoVanza 0 / 0 / 0 Регистрация: 22.09.2015 Сообщений: 11
	22.09.2015, 21:47 [ТС]
	Да сложная ситуация вот Pearls Extension обычное приложение для Chroma за 20мин мне 1.2gb проверил и потом перестал/// В чём причина не пойму, знаю что написан он на С++ а сканирование делал 50мб за 15-20секунд. 0

@gledor 130 / 25 / 12 Регистрация: 12.08.2015 Сообщений: 221
	22.09.2015, 22:01
	К слову, 170GB - это 182 536 110 080 байтов. Как известно, 1 байт == одному символу; Авторский лист - это 40 000 символов (с пробелами и знаками препинания). Следовательно, 170GB == 4 563 402.752 Авторских листа. Средний объем книги составляет около 13 А.Л. (авторских листа) Следовательно, 170GB текста это 351 031 книг. Всего в мире существует разных, уникальных книг, статей, журналов, брошюр, научных трудов, патентов и пр. около 129 864 880 экземпляров. Мы отбросим за ненадобностью различную мукулатуру с низким содержанием авторских листов (ежемесячные модные и рекламные журналы, газеты, телепрограммы и пр.) и получим количество книг, имеющих какую-либо ценную информацию. Всего таких названий останется 12% от 129 864 880, или 15 583 786 книг. 351 031 книг из 15 583 786 это 1\44 часть всего, что человечество написало за ВСЮ мировую историю книгописания и книгопечатания(начиная от 3350 до н.э.), во ВСЕХ странах мира, которые были или есть и посейчас. Автор, где Вы нашли, откопали СТОЛЬКО информации? Может, стоит сделать что попроще? 0

@cyb0rg_01 Фрилансер 735 / 352 / 96 Регистрация: 05.05.2014 Сообщений: 2,621
	22.09.2015, 22:03
	GoVanza, Нужно отталкиваться не от языка а от СУБД в данной задаче. 0

@cyb0rg_01 Фрилансер 735 / 352 / 96 Регистрация: 05.05.2014 Сообщений: 2,621
	22.09.2015, 22:09
	gledor, Средства С++ позволяют работать с СУБД. С++ вообще со всем позволяет работать 0

@GoVanza 0 / 0 / 0 Регистрация: 22.09.2015 Сообщений: 11
	22.09.2015, 23:20 [ТС]
	У меня есть все части файлов от Pearls Extension, там их 5 скриптов но я не умею собрать ее на С++ да и мало того хотел под Notepad++ ее бы делать как плагин. Думаю требуется с автором программы связаться. Спасибо всем! 0