Ошибка при чтении лог-файла командой Get-Content с выставленным ReadCount

@Николай Владисл · Регистрация: 06.03.2013

Author24 — интернет-сервис помощи студентам

Доброго дня!

Написал скрипт для подсчёта количества строк в лог-файле, совпадающих с шаблоном и записанных в лог в определённое время (в последний час с момента запуска скрипта).
Файл, по которому производится поиск, большой (пиковый объём информации - 600 МБ или 4,5 млн строк). Пример содержимого файла ниже:

PowerShell

1 2	2018-11-16 00:00:00 [103] INFO - text1 2018-11-16 00:00:00 [103] INFO - text2 success. text3

Текст скрипта:

PowerShell

$file = "D:\logs\logfile.txt" # Файл, по которому производится поиск
$currentdatetime = Get-Date -Format "yyyy-MM-dd HH:mm:ss" # Фиксируем время начало работы скрипта
$resultfile = "D:\STATISTICS\result.txt" # Файл, в который будет выведен результат
[int]$counter = 0 # Число совпадений с шаблоном
$getfile = gc $file -ReadCount 500 # Чтение файла
foreach ($line in $getfile) {
    [DateTime]$stringdatetime = [DateTime]::ParseExact($line.substring(0, 19), "yyyy-MM-dd HH:mm:ss", $null)
    $TimeDiff = New-TimeSpan -Start $stringdatetime -End $currentdatetime
    if ($TimeDiff.TotalMinutes -lt 60 -and $line -like "*success*") {
        $counter++;
    } 
} #end foreach
$currentdatetime2 = Get-Date -Format "HH:mm:ss" # Фиксируем время окончания работы скрипта
"$counter Start: $currentdatetime Finish: $currentdatetime2" | Out-File $resultfile # Выводим результат в файл

После выполнения скрипта в консоли ошибка, которая повторяется много раз:

PowerShell

Exception calling "ParseExact" with "3" argument(s): "String was not recognized as a valid DateTime."
At D:\STATISTICS\Untitled1.ps1:7 char:5
+     [DateTime]$stringdatetime = [DateTime]::ParseExact($line.substrin ...
+     ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
    + CategoryInfo          : NotSpecified: (:) [], MethodInvocationException
    + FullyQualifiedErrorId : FormatException

У меня есть другие версии решения задачи (например, с помощью чтения файла лога методами .NET или Get-Content без указания Read-Count) и в тех случаях данная ошибка не наблюдается. Но по быстродействию эти способы значительно проигрывают.
Просьба помочь с устранением ошибки в работе этого скрипта.

@KDE777 · 17.11.2018, 02:05

Сообщение от Николай Владисл

Написал скрипт для подсчёта количества строк в лог-файле, совпадающих с шаблоном

Сообщение от Николай Владисл

Exception calling "ParseExact" with "3" argument(s): "String was not recognized as a valid DateTime."

Судя по этому у вас попадаются строки не начинающиеся с "yyyy-MM-dd HH:mm:ss". Если это так, то будет разумно, прежде чем преобразовывать первые 20 символов в [DateTime], вовсе не выбирать такие строки.

Добавлено через 39 минут
если я правильно понял что вам нужно, тогда это можно сделать примерно так:

PowerShell

$file = "D:\logs\logfile.txt"
$resultfile = "D:\STATISTICS\result.txt"
 
$CurrentDateTime = date
[int]$counter = 0
 
foreach ($block in gc $file -r 500)
{
    $counter += ($block | sls '^(\d{4}-\d+-\d+ [\w:]+) .+ success' | ? {($CurrentDateTime - (date $_.Matches.Groups[1].Value)).TotalMinutes -lt 60} | Measure-Object).Count
}
 
"$counter Start: $(date $CurrentDateTime -f 'yyyy-MM-dd HH:mm:ss') Finish: $(date -f 'HH:mm:ss')" | sc $resultfile

И ещё я обратил внимание, что ваш скрипт считывает всё содержимое файла (блоками по 500 строчек) в переменную, т.е. -ReadCount 500 используется не для экономии памяти, но в этой переменной получается массив из текстовых блоков по 500 строчек каждый, что является странным решением. И далее, в $line попадают эти самые блоки из 500 строк...

	17.11.2018, 02:05