Как заставить Notepad++ работать быстрее?

@MarKaPolo · Регистрация: 12.05.2020

Студворк — интернет-сервис помощи студентам

Всем Привет,

Использую Notepad++ для большого количества txt файлов, т.е. за раз около 100 файлов каждый примерно 50-150mb, в каждом файле 1,5-5 млн строк.
Каждый файл состоит из похожих 3 строк:

Pattern: 1
Address: PBAesScHhcoRDV6iasyJ5yzXxs9P8zsL3
Privkey: Rjn8S7o7mykp9yUtLi8Y7kgHXSDFpywEXUEcKq7v RxL9mdWTn

редактирование заключается в удалении "Pattern: 1", "Address: ", "Privkey: "
в самом редакторе в поиске "Найти в файлах" удаляю сразу во всех файлах, то что выше в кавычках, то есть просто замена на пустое поле(не пробел) во всех файлах.

Проблема в том что это происходит медленно, процессор загружен всего на 8-15% и ссд 2-20mb в секунду, в диспетчере и в Aida64 видно что отработка идёт на одном ядре процессора, остальные простаивают, из-за этого много времени занимает удаление не нужных слов из всех файлов.

Пробовал другие редакторы(SkimEdit, Textex и несколько других), они не умеют сразу всю папку с кучей файлов редактировать.

как сделать так, чтобы Notepad++ использовал все имеющиеся вычислительные ресурсы?
как заставить его работать быстрее?
Может есть другой редактор в котором можно сразу 100 файлов редактировать?

Ещё вопрос, как удалить всю строку "Pattern: 1", что нужно в поле "Заменить на:" прописать?

Версия Notepad++ 7.8.6 64 bit

моё железо:
Процессор xeon 3680 6 ядер 3,46Ghz
ОЗУ 12 gb(трёхканал)
ssd 240 gb
Win 7 Pro 64

Добавлено через 1 минуту
Может у кого-то есть мысли, как можно весь процесс автоматизировать?

@Rius · 23.05.2020, 20:26

MarKaPolo, можно ещё вот такой вариант:

PowerShell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
$files = Get-ChildItem -Path .\ -Filter 13*.txt -Recurse -File -Name 
 
$time1 = Get-Date
 
function Clean-Line {
    [CmdLetBinding()]
    param (
        [Parameter(ValueFromPipeline)]
        [string[]] $lines
    )
    process {
        foreach ($line in $lines) {
            if ($line.Contains("Pattern: 1")) {
                continue;
            }
 
            $line -replace 'Address: ', '' -replace 'Privkey: ', ''
        }
    }
}
 
foreach ($file in $files) {
  $newfile = [System.IO.Path]::ChangeExtension($file, ".new");
  Get-Content $file -ReadCount 20000 `
    | Clean-Line `
    | Set-Content $newfile
  #Remove-Item $file
  #Move-Item $newFile $file
}
 
$time2 = Get-Date
$span = $time2 - $time1;
[console]::WriteLine("The lapsed time is: {0:c}", $span)

6 мелких файлов за 10 секунд. Один 200МБ файл за 58 секунд. Медленнее, но не намного. Ещё оптимизировать что-то смысла не вижу, выигрыш незначителен.

Если у вас заранее был установлен PowerShell, как у любого уважающего себя виндового сисадмина, то вообще ничего скачивать не надо.

@volodin661 · 23.05.2020, 23:15

Сообщение от Rius

Если у вас заранее был установлен PowerShell, как у любого уважающего себя виндового сисадмина

Уважающий себя админ - это ленивый админ, исповедующий корневое правило: работает - не трогай.
Минимальным виндусом, почти отвечающим этому правилу, является версия 7, powershell в ней из коробки.
Почти - это потому что powershell там версии 2.
Но версия 2 на текущий момент признана microsoft полностью устаревшей и не поддерживаемой.
Поэтому какие-то телодвижения всё равно необходимы.
Либо обновить до версии powershell for windows 5.1
Либо установить версию powershell core, которая на текущий момент имеет номер версии 7.0.

Если совсем скучно( самоизоляция, то, сё ), то можно установить и 5.1 и 7.0; они не перемешиваются.

Поскольку ТС публично признался, что имеет Windows 7, обсуждать особенности инструментальной оснастки windows 10 не буду.

@MarKaPolo · 24.05.2020, 11:36 **[ТС]**

Rius,

Bash
1
2
3
4
5
@echo off
for %%f in (*.txt) do (
    echo %%f
    sed.exe -i -E '/^5/d'
)

или

Bash
1
sed -i -E '/^5/d' *.txt

при данном коде у меня в появляется вот такое сообщение

sed.exe: -e expression #1, char 1: unknown command: `''

я смотрел на разных ресурсах, везде именно так как вы написали, я менял по разному батник, не выходит у меня никак аленький цветочек!)
что я делаю не так?

@Rius · 24.05.2020, 11:40

Сообщение от Rius

Батник только надо будет немного поправить под это дело:
sed-4.7-64bit.exe -i -E "..... <<<<<<<<<<<<<<<

Двойные кавычки.

@MarKaPolo · 25.05.2020, 03:35 **[ТС]**

Сообщение от Rius

Двойные кавычки.

поправил батник, всё заработало, по скорости с notepad++, небо и земля.

посмотрел по grep инфу, накидал вот такой батник:

Bash
1
2
3
4
5
6
7
@echo off
for %%f in (*.txt) do (
    echo %%f
 
C:\Program_Files_(x86)\GnuWin32\bin\grep.exe --file=J:\2\10.txt * -w(точное совпадение) -H(печатать имя 
 
файла для каждого совпадения) "%%f"

в скобках просто пояснение что я хотел этим добиться, естественно в самом батнике этого нет.
и так пробовал

Bash
1
2
3
4
5
6
@echo off
for %%f in (*.txt) do (
    echo %%f
 
grep -w -H --file=J:\2\10.txt "%%f"
)

J:\2\10.txt это список слов которые нужно найти
ну как обычно, аленький цветочек не вышел!
Прошу помощи, подскажите где косяк в коде?

@Rius · 25.05.2020, 06:03

Bash
1
grep  -n -w --file=words.list *.txt

Обратите внимание, что кодировка текста в файле паттернов и в проверяемых должна совпадать.

@MarKaPolo · 26.05.2020, 03:30 **[ТС]**

Сообщение от Rius

BashВыделить код
1
grep -n -w --file=words.list *.txt

Bash
1
grep  -n -w --file=J:\2\10.txt *.txt

в таком виде почему-то не работает, консоль закрывается так быстро, что не успеваю прочесть причину.

попробовал вот так

Bash
1
2
3
4
5
6
@echo off
for %%f in (*.txt) do (
    echo %%f
 
grep  -n -w --file=J:\2\10.txt "%%f" >> mac.txt
)

работает, но есть проблема, поиск осуществляется только в текущей папке, без вложенных, пробовал добавлять куда возможно -r или -R, но безрезультатно, поиск идёт только в текущей папке. Пробовал так

Bash
1
2
3
4
5
6
@echo off
for %%f in (*.txt) do (
    echo %%f
 
grep  -Rnw --file=J:\2\10.txt "%%f" >> mac.txt
)

ничего!
вообще не работает, консоль на мгновение открывается и сразу закрывается.
На всех сайтах на которых описываются примеры использования grep, "-R" добавляется так: grep -R, а у меня не работает!) почему?где я косячу с кодом?

@Rius · 26.05.2020, 06:22

MarKaPolo,
Файлы:

Bash
1
2
3
4
5
6
λ ls -R .                   
.:
1.txt  2/  2.txt  words.list
 
./2:
3.txt

Поиск:

Bash
1
2
3
4
λ grep -n -w -r --file=words.list --include=*.txt
1.txt:1:123
2/3.txt:1:123
2.txt:1:123

Сообщение от MarKaPolo

консоль закрывается так быстро, что не успеваю прочесть причину

Так надо запустить консоль, а из неё команду. Очевидно же.

@MarKaPolo · 31.05.2020, 23:34 **[ТС]**

Хочу установить линукс и запустить в нем используя рамдиск(tmpfs)
это можно ведь в любом дистрибутиве? пока смотрю в сторону Минт или Manjaro xfce, может есть

Под это дело собираюсь новый комп собрать на китайской материнке с двумя процами xeon 2678v3. Оперативки 64 или 128 поставить. винт наверно обычный сата, потому что ведь всё всё будет обрабатываться в tmpfs, т.е. сначала загружаться с винта в tmpfs, правильно? обратно выгружать ничего не нужно, только результат поиска который пару килобайт занимает.

будет ли например Минт использовать все ресурсы в 24 ядра и 48 потоков процессоров при работе grep? нет ли каких-то заморочек в этом плане c grep или с Минт?

и последний вопрос, будет ли Минт работать так же если запускать не с флешки, а в виртуалке VMware? наверно лучше с флешки, т.к. винда и виртуалка подъедят немного ядер и ресурсов компа?

@volodin661 · 01.06.2020, 01:29

Сообщение от MarKaPolo

Под это дело собираюсь новый комп собрать на китайской материнке

под какое дело? под запуск утилиты sed ? )

@MarKaPolo · 01.06.2020, 02:15 **[ТС]**

Сообщение от volodin661

под какое дело? под запуск утилиты sed ? )

нет, sed на моем 6 ядернике работает нормально, скорость меня устраивает,
нужен grep, проблема в том что я его запускаю в консоли винды, и файл со списком искомых слов состоит из примерно 2млн слов, это не слова а адреса вот такие "PBAesScHhcoRDV6iasyJ5yzXxs9P8z".
а количество адресов в которых ищется совпадение более 100млн в день!
если я сейчас на своем железе запущу поиск 2 млн внутри 100млн, то такой поиск займет наверно неделю-две!(
при поиске загрузка 6 ядер моего процессора от 7 до 20 % скачет, гипертрейдинг включен, но работают только сами ядра процессора.
поэтому и хочу установить минт и рамдиск, может тогда увеличится скорость и загрузка процессора и потоков.

Добавлено через 6 минут
линукс сможет задействовать 24 ядра и 48 потоков на всю?
я в любом случае буду брать такую машину, просто спрашиваю есть ли в лине какие-то ограничение на количество ядер/потоков, процессоров будет 2. Может под двухпроцессорную систему с 24 ядрами нужен не Минт а другой спец. для таких систем дистрибутив?
Чтобы пока комплектуха с али не приедет, начать разбираться в этом вопросе.

FlasherX · 20.06.2020, 14:11

Сообщение от FlasherX

автор nhrt в конце прошлого года обещал ускорить утилиту, но пока тихо.

Обновил-таки.

Новые блоги и статьи Все статьи Все блоги /
Калькулятор для расчета родства russiannick 07.08.2026 1. Задача: Создать калькулятор для расчета родства. Родственных связей существует 8 ступеней, такие как: p - отец P - мать q - муж Q - жена b - брат B - сестра s - сын S - дочь	Мир по моей воле kumehtar 07.08.2026 Когда-то кажется, что всё просто. Ты весь такой светлый. Причиняешь добро. Борешься за справедливость в этом тёмном мире. Потом начинаешь замечать одну неприятную вещь. Почти каждый хороший. . .	Кредитный калькулятор Maks 05.08.2026 Решение задачи по прикладной информатике средствами 1С. Задача: Напишите приложение-калькулятор, которое помогает рассчитывать параметры кредита для аннуитетного и дифференцированного видов. . .	У нас сейчас поговорку "Опять 25" нужно переделать на "Опять +35". kumehtar 04.08.2026 С ностальгией вспоминаю времена моего детства, когда у нас и правда +25 - была максимальная температура летом. Раньше +25 °C реально казались вершиной жары, когда можно было весь день пропадать на. . .
Как ИИ начал спорить и врать (возможно почуяв опасность для себя от индустрии - уход от электроники). Hrethgir 04.08.2026 Недельный диалог, на фоне событий с НПЗ. Да, из спирта можно получать бензин, и это не сложно. Но потом в схеме я решил избавиться от насоса, при этом полностью сделав контроль подачи спирта в. . .	Термопринтер QR701 Argus19 03.08.2026 Термопринтер QR701 Купил два термопринтера QR701. На сэлф-тесте написано: Language: PC936 (GB18030). Что означает, что принтеры могут печатать только латиницу и китайские иероглифы. Так же. . .	Создание формы заимствованного документа Maks 03.08.2026 Задача: Необходимо создать собственную форму заимствованного документа. На форме должен быть реквизит "Покупатель", а также табличная часть со следующими реквизитами: - Расчетный счет покупателя. . .	Задача предоставления скидок покупателям Maks 03.08.2026 Задача: В документе "Продажи" необходимо реализовать функционал предоставления скидок покупателям. Скидка должна автоматически рассчитываться и подставляться в соответствующее поле при выборе. . .

@MarKaPolo 0 / 0 / 0 Регистрация: 12.05.2020 Сообщений: 13
	31.05.2020, 23:34 [ТС]
	Хочу установить линукс и запустить в нем используя рамдиск(tmpfs) это можно ведь в любом дистрибутиве? пока смотрю в сторону Минт или Manjaro xfce, может есть Под это дело собираюсь новый комп собрать на китайской материнке с двумя процами xeon 2678v3. Оперативки 64 или 128 поставить. винт наверно обычный сата, потому что ведь всё всё будет обрабатываться в tmpfs, т.е. сначала загружаться с винта в tmpfs, правильно? обратно выгружать ничего не нужно, только результат поиска который пару килобайт занимает. будет ли например Минт использовать все ресурсы в 24 ядра и 48 потоков процессоров при работе grep? нет ли каких-то заморочек в этом плане c grep или с Минт? и последний вопрос, будет ли Минт работать так же если запускать не с флешки, а в виртуалке VMware? наверно лучше с флешки, т.к. винда и виртуалка подъедят немного ядер и ресурсов компа? 0