Нежелательное задвоение при парсинге XML

@sergey020487 · Регистрация: 10.02.2024

Студворк — интернет-сервис помощи студентам

Добрый день. У меня проблема при парсинге XML. Суть в том что большинство файлов которые я обрабатываю имеют структуру:
заказ (номер) - товарная накладная (номер) - товар один или много. В данном случае все норм.
Но есть некоторые документы где в заказе две товарных накладных. Изза этого товар задваивается на то количество, сколько товарных накладных. Взгляните на файл пожалуйста, станет понятно, там оба варианта.

PowerShell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
[xml]$xml = Get-Content C:\Users\пк\Downloads\2.xml
$list = @()
$list = $NULL
foreach ($Doc in $xml.GetElementsByTagName('Документы'))
{
    foreach ($Orders in $Doc.GetElementsByTagName('Заказы'))
    {
        foreach ($Order in $Orders.GetElementsByTagName('Заказ'))
        {
            foreach ($TN in $order.GetElementsByTagName('ТоварнаяНакладная'))
            {
            foreach ($TT in $order.GetElementsByTagName('ТорговаяТочка'))
            {
            foreach ($Products in $order.GetElementsByTagName('Товары'))
            {
                foreach ($Product in $Products.GetElementsByTagName('Товар'))
                {
                           
                           $list += [PSCustomObject]@{
                                ТорговыйАгент = $TT.ТорговыйАгент
                                Номенклатура = $Product.Номенклатура
                                НомерЗаказа = $Order.НомерЗаказа
                            }
                 }
             }
             }
             }
        }
    }
 
}
$list

Задача: Если в заказе две или больше товарных накладных, то их номера должны быть перечислены через запятую в, а товары не задваиватся.
Пните в правильном направлении.

@sergey020487 · 13.02.2024, 07:55 **[ТС]**

volodin661, Согласен, хотелось бы избежать посредников в виде сбора массивов или каких-то кастомов, а сразу либо вызывать инвок и инсертить либо передавать в хранимку (не суть). Но значит надо выполнить проверку на наличие более одной товарной накладной в одном заказе. а если товары повторяются в одном заказе, значения их велечин надо просуммировать прежде чем передавать, Как это выполнить без посредников, я не понимаю.

@volodin661 · 13.02.2024, 10:58

sergey020487, инструкции <create table () > готовы ?

@sergey020487 · 13.02.2024, 11:23 **[ТС]**

Добавлено через 7 минут
volodin661, Если Вы имеете в виду create table () для скуля, то таблицы я создаю вручную. Записываю в них:

PowerShell
1
2
3
$server = Connect-DbaInstance -SqlInstance '???' -Database '???' -ConnectTimeout 100
$query += "INSERT INTO SSTest ([НомерЗаказа],[НомерТоварнойНакладной],[ЗаказРуб]) VALUES ('$NomerZakaza','$Nomer','$zakaz')"
Invoke-DbaQuery -SqlInstance $server -Query $query

ПС прошу прощения за ужасные имена переменных.

@volodin661 · 13.02.2024, 11:57

Какой ещё SSTest, должны быть таблицы Заказы, Товары, ТорговыеТочки, Накладные и реализованы связи между ними.
Это сделано ?

@sergey020487 · 13.02.2024, 12:05 **[ТС]**

volodin661, Нет таблица одна, куда будет инсертится данные. Один заказ - одна строка в скуле.

@volodin661 · 13.02.2024, 13:52

если тебе не нужны возможности RDBMS, зачем она тогда ?

получается, тебе нужна просто NoSQL (Кey/Value) database

LightDB, например

касательно массива в качестве значения ключа:

PowerShell
1
2
3
4
$array = @()
$array += "Накладная1", "Накладная2"
 
$товар = [pscustomobject]@{ Название="яйцо"; Накладные = $array }

Добавлено через 25 минут
исправление : LiteDB

@sergey020487 · 13.02.2024, 13:59 **[ТС]**

volodin661, Я накидал, и даже работает. Надо конечно погонять на разные варианты задвоенности (не пинайте сильно, я новичок)

PowerShell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
$pth = 'C:???\2.xml'
[xml]$xml = gc $pth -enc utf8
$arr =@()
$arr = $xml.selectnodes("//Заказ") | % {
        [pscustomobject]@{
        'IDorder' = $_.номерзаказа
        'Num' = $_.товарнаянакладная.номер -join ','
        'Sum' = ($_.товары.товар.заказруб|measure -sum).sum
  
     }
     
}
 
 
foreach ($ar in $arr){
    $fquery = $null
    $a = $ar.IDorder
    $b = $ar.Num
    $c = $ar.Sum
    $fquery += "INSERT INTO SSTest ([НомерЗаказа],[НомерТоварнойНакладной],[ЗаказРуб]) VALUES ('$a','$b','$c')"
    Invoke-DbaQuery -SqlInstance $server -Query $fquery
}

ПС Я даже не знаю что такое RDBMS

@volodin661 · 13.02.2024, 14:04

sergey020487,

relational database management system

PowerShell
1
'Num' = $_.товарнаянакладная.номер -join ','

зачем превращать в строку ? так массивом и оставить

PowerShell
1
'Num' = $_.товарнаянакладная.номер

@sergey020487 · 14.02.2024, 07:38 **[ТС]**

volodin661, А подскажите пожалуйста еще один момент.

PowerShell
1
2
3
4
5
6
7
8
9
10
11
12
$pth = 'C:???\2.xml'
[xml]$xml = gc $pth -enc utf8
$arr =@()
$arr = $xml.selectnodes("//Заказ") | % {
        [pscustomobject]@{
        'IDorder' = $_.номерзаказа
        'Num' = $_.товарнаянакладная.номер -join ','
        'Sum' = ($_.товары.товар.заказруб|measure -sum).sum
        'Nomenclature' = $_.товары.товар.Номенклатура
     }
     
}

Вот я добавил (чтоб показать) еще один столбец 'Nomenclature'. значением $_.товары.товар.Номенклатура является массив, а не одно какоето значение. Скажите можно ли теперь развернуть както этот масив в "pscustomobject" и чтоб остальные значения рядом просто заполнились самостоятельно? Может есть какая то хитрость?
Или нужно с самого начала форичем бежать по всем номенклатурам?

YuS_2 · 14.02.2024, 08:09

Сообщение от sergey020487

Скажите можно ли теперь развернуть както этот масив в "pscustomobject" и чтоб остальные значения рядом просто заполнились самостоятельно? Может есть какая то хитрость?

Структура? Конечный результат... что в итоге желаете получить... от печки и надо плясать...
А развернуть и даже потом свернуть - можно.

@sergey020487 · 14.02.2024, 09:19 **[ТС]**

YuS_2, Вот я добавил foreach чтоб развернуть один массив ('Nomenclature') в таблице.
Есть еще один массив - 'Bonus'. Я хочу чтоб и он тоже вместе с номенклатурой развернулся. Думал обойтись без foreach.

PowerShell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
$pth = 'C:???\2.xml'
[xml]$xml = gc $pth -enc utf8
$arr =@()
$arr = $xml.selectnodes("//Заказ") | ForEach-Object {
       foreach ($i in $_.товары.товар.Номенклатура){
            [pscustomobject]@{
        'IDorder' = $_.номерзаказа
        'DATEorder' = $_.Датазаказа
        'NumTN' = $_.товарнаянакладная.номер -join ','
        'DateTN' = $_.товарнаянакладная.дата -join ','
        'Nomenclature' = $i
        'Bonus' = $_.товары.товар.Бонус
       }
     }
 }
$arr | ft -autosize

Вот что я хочу, только чтоб бонус тоже развернулся.
Dorder DATEorder NumTN DateTN Nomenclature Bonus
------- --------- ----- ------ ------------ -----
8928 2023-10-15 ФГ7,BP2 2023-10-17,2023-10-24 Товар1 {0, 0, 0}
8928 2023-10-15 ФГ7,BP2 2023-10-17,2023-10-24 Товар2 {0, 0, 0}
8928 2023-10-15 ФГ7,BP2 2023-10-17,2023-10-24 Товар3 {0, 0, 0}
8966 2023-10-15 9299 2023-10-20 Товар4 0

YuS_2 · 14.02.2024, 13:01

Сообщение от sergey020487

Вот что я хочу

PowerShell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
$pth = '2.xml'
[xml]$xml = gc $pth -enc utf8
$xml.selectnodes("//Заказ") | ForEach-Object {
    $zak = $_
    $zak.товары.товар|%{
        [pscustomobject]@{
            'IDorder' = $zak.номерзаказа
            'DATEorder' = $zak.Датазаказа
            'NumTN' = $zak.товарнаянакладная.номер -join ','
            'DateTN' = $zak.товарнаянакладная.дата -join ','
            'Nomenclature' = $_.номенклатура
            'Bonus' = $_.Бонус
        }
    }
}|
ft -a -w

@sergey020487 · 14.02.2024, 19:18 **[ТС]**

YuS_2, Спасибо огромное.

@sergey020487 · 27.02.2024, 13:42 **[ТС]**

YuS_2, Скажите пожалуйста, а реально ли избежать конвейеров :

PowerShell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
$pth = '2.xml'
[xml]$xml = gc $pth -enc utf8
$xml.selectnodes("//Заказ") | ForEach-Object {
    $zak = $_
    $zak.товары.товар|%{
        [pscustomobject]@{
            'IDorder' = $zak.номерзаказа
            'DATEorder' = $zak.Датазаказа
            'NumTN' = $zak.товарнаянакладная.номер -join ','
            'DateTN' = $zak.товарнаянакладная.дата -join ','
            'Nomenclature' = $_.номенклатура
            'Bonus' = $_.Бонус
        }
    }
}

Написал небольшой скрипт, облепил "косметикой". Работает сильно медленно. Может есть какото способ?

Добавлено через 1 час 43 минуты
попробовал в скрипт запихать :

PowerShell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
[xml]$xml = gc $file_ready.FullName -enc utf8
    foreach ($Doc in $xml.GetElementsByTagName('Документы'))
    {
        foreach ($Orders in $Doc.GetElementsByTagName('Заказы'))
        {
            foreach ($Order in $Orders.GetElementsByTagName('Заказ'))
            {
                foreach ($Products in $order.GetElementsByTagName('Товары'))
                {
                    foreach ($Product in $Products.GetElementsByTagName('Товар'))
                    {
                        $Key = $Product.КодНоменклатуры
                        $queryParameters = @{
                           ...
                        }
                     }
                }
            }
        }
    }
 
}

Быстрее процентов на 10 максимум. тут видимо не в конвейере дело, а вообще в принципе в [xml]$xml

@volodin661 · 28.02.2024, 17:08

а куда спешить-то ?
какая нужна скорость, у тебя гигабайтный XML обрабатывается что-ли ?

сделать на Perl ? ( был у Perl, помню, модуль XML::Fast, написан на голом 'C', разбирает XML за 1 проход, предполагаю общую скорость исполнения - несколько миллисекунд )

Добавлено через 2 часа 17 минут
с миллисекундой погорячился;
разбор + вывод == 0.1 сек

Perl
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
{
    Документы   {
        Заказы   {
            Заказ   [
                [0] {
                        ДатаЗаказа                 "2023-10-15" (dualvar: 2023),
                        НомерЗаказа               8928,
                        ТоварнаяНакладная   [
                            [0] {
                                    Дата     "2023-10-17" (dualvar: 2023),
                                    Номер   "ФГ7"
                                },
                            [1] {
                                    Дата     "2023-10-24" (dualvar: 2023),
                                    Номер   "BP2"
                                }
                        ],
                        Товары                         {
                            Товар   [
                                [0] {
                                        Бонус                       0,
                                        ЗаказКг                   8.400,
                                        ЗаказРуб                 2772.00,
                                        КодНоменклатуры   200017,
                                        Номенклатура         "Товар1",
                                        ОтгрузкаКг             10.460,
                                        ОтгрузкаРуб           3451.80,
                                        ПродажаКг               10.460,
                                        ПродажаРуб             3451.80,
                                        СредняяЦенаРуб     0.00
                                    },
                                [1] {
                                        Бонус                       0,
                                        ЗаказКг                   4.000,
                                        ЗаказРуб                 1448.00,
                                        КодНоменклатуры   200031,
                                        Номенклатура         "Товар2",
                                        ОтгрузкаКг             4.194,
                                        ОтгрузкаРуб           1518.23,
                                        ПродажаКг               4.194,
                                        ПродажаРуб             1518.23,
                                        СредняяЦенаРуб     0.00
                                    },
                                [2] {
                                        Бонус                       0,
                                        ЗаказКг                   4.000,
                                        ЗаказРуб                 1448.00,
                                        КодНоменклатуры   200031,
                                        Номенклатура         "Товар3",
                                        ОтгрузкаКг             4.194,
                                        ОтгрузкаРуб           1518.23,
                                        ПродажаКг               4.194,
                                        ПродажаРуб             1518.23,
                                        СредняяЦенаРуб     0.00
                                    }
                            ]
                        },
                        ТорговаяТочка           {
                            Адрес                                         "адрес",
                            ДолжностьТорговогоАгента   "представитель",
                            ИНН                                             6565656565,
                            КаналСбыта                               "",
                            Контрагент                               "ИП",
                            Мерчендайзер                           "",
                            СубъектФедерации                   "",
                            Супервайзер                             "",
                            ТорговыйАгент                         "ФИО"
                        }
                    },
                [1] {
                        ДатаЗаказа                 "2023-10-15" (dualvar: 2023),
                        НомерЗаказа               8966,
                        ТоварнаяНакладная   {
                            Дата     "2023-10-20" (dualvar: 2023),
                            Номер   9299
                        },
                        Товары                         {
                            Товар   {
                                Бонус                       0,
                                ЗаказКг                   8.400,
                                ЗаказРуб                 2772.00,
                                КодНоменклатуры   "00017" (dualvar: 17),
                                Номенклатура         "Товар4",
                                ОтгрузкаКг             10.460,
                                ОтгрузкаРуб           3451.80,
                                ПродажаКг               10.460,
                                ПродажаРуб             3451.80,
                                СредняяЦенаРуб     0.00
                            }
                        },
                        ТорговаяТочка           {
                            Адрес                                         "Адрес",
                            ДолжностьТорговогоАгента   "представитель",
                            ИНН                                             3232323232,
                            КаналСбыта                               "",
                            Контрагент                               "ИП2",
                            Мерчендайзер                           "",
                            СубъектФедерации                   "",
                            Супервайзер                             "",
                            ТорговыйАгент                         "ФИО2"
                        }
                    }
            ]
        }
    }

}

@sergey020487 · 28.02.2024, 17:13 **[ТС]**

volodin661, ну как куда... много скорости не бывает. Да долго парсится, файлы есть по 15 килобайт, есть по 50 мегабайт. поток непрерывный.

@volodin661 · 28.02.2024, 17:26

sergey020487,

а можешь выложить куда-нить 50/100 Мб-ный XML ?
спортивный интерес

@sergey020487 · 28.02.2024, 17:48 **[ТС]**

volodin661, сейчас дома, завтра закину

YuS_2 · 29.02.2024, 13:54

Сообщение от sergey020487

реально ли избежать конвейеров

а чем конвейер Вас пугает?

Можно, конечно:

PowerShell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
$pth = '2.xml'
[xml]$xml = gc $pth -enc utf8
$arr = foreach ($item in $xml.selectnodes("//Заказ")){
    foreach ($i in $item.товары.товар){
        [pscustomobject]@{
            'IDorder' = $item.номерзаказа
            'DATEorder' = $item.Датазаказа
            'NumTN' = $item.товарнаянакладная.номер -join ','
            'DateTN' = $item.товарнаянакладная.дата -join ','
            'Nomenclature' = $i.номенклатура
            'Bonus' = $i.Бонус
        }
    }
}
$arr|ft -a -w

Сообщение от sergey020487

попробовал в скрипт запихать

да это же кошмар какой-то

У Вас там 5 циклов, вместо двух... это не может работать быстрее...

@sergey020487 · 29.02.2024, 14:08 **[ТС]**

YuS_2, Сколько читал на стаке, все утверждают, что самое медленное в шеле это конвеер. а самое быстрое это форич.

Новые блоги и статьи Все статьи Все блоги /
Море в объективе kumehtar 06.07.2026 Хотел написать много проникновенных слов, но передумал. Оно само - говорит. Кто слышит тот слышит.	Оказывается, Unreal Engine позволяет качество на порядки выше, чем было в Lineedge Etyuhibosecyu 05.07.2026 Жаль, конечно, что я не узнал об этом, пока Lineedge существовала, а то бы Noname2331 написал, что волки превращаются в пиксельную кашу, а я бы его попросил скачать какую-нибудь бриллиантовую или Pro. . .	Doom для терминала без стрельбы и монстров. 3D Raycasting на ascii. dcc0 05.07.2026 Попросил нейронную сеть deepai. org написать рейкастинг 3D с библиотекой ncurses для Linux. Чтобы можно было ходить на стрелочки. Чтобы стены были отрисованы символами. Справилась. Первый вариант. . .	Установка статуса документа по условию Maks 05.07.2026 Алгоритм из решения ниже реализован на нетиповом документе "НарядПутевка" разработанного в КА2. Задача: в табличной части "Материалы" документа при записи автоматически устанавливать статус. . .
Сезонность и суточность закисления почв anaschu 04.07.2026 200 часов это все равно моловато. Есть ситуации, но нестандартные, когда смена происходит за 5 лет. Но обычно это 50 лет и более. Наверное, закисление почвы происходит сезонно в средней. . .	В чем ценность человеческого опыта в глобальном смысле? kumehtar 03.07.2026 Возможно, ценность человека не в том, что он однажды достигает мудрости, а в том, что он становится носителем карты пути. Он знает не только истину, но и последовательность внутренних изменений,. . .	интеграция AnyLogic с самописным REST API и переход на Odoo anaschu 03.07.2026 Успешная интеграция AnyLogic с самописным REST API и переход на промышленную Odoo WMS Сегодня проделал огромный путь от простой симуляции физических процессов до построения полноценной. . .	Поиск всех путей на ориентированном графе. Linux dcc0 02.07.2026 Переработка старого кода из моей статьи. Через несколько переработок от PHP кода к C89 (надеюсь, 89). Но довольно запутанно получилось. Код для Linux. Но если убрать time и то, что с ним. . .

@sergey020487 0 / 0 / 0 Регистрация: 10.02.2024 Сообщений: 122
	13.02.2024, 07:55 [ТС]
	volodin661, Согласен, хотелось бы избежать посредников в виде сбора массивов или каких-то кастомов, а сразу либо вызывать инвок и инсертить либо передавать в хранимку (не суть). Но значит надо выполнить проверку на наличие более одной товарной накладной в одном заказе. а если товары повторяются в одном заказе, значения их велечин надо просуммировать прежде чем передавать, Как это выполнить без посредников, я не понимаю. 0

@volodin661 7093 / 2324 / 353 Регистрация: 10.12.2013 Сообщений: 8,013
	13.02.2024, 10:58
	sergey020487, инструкции <create table () > готовы ? 0

@volodin661 7093 / 2324 / 353 Регистрация: 10.12.2013 Сообщений: 8,013
	13.02.2024, 11:57
	Какой ещё SSTest, должны быть таблицы Заказы, Товары, ТорговыеТочки, Накладные и реализованы связи между ними. Это сделано ? 0

@sergey020487 0 / 0 / 0 Регистрация: 10.02.2024 Сообщений: 122
	13.02.2024, 12:05 [ТС]
	volodin661, Нет таблица одна, куда будет инсертится данные. Один заказ - одна строка в скуле. 0

@sergey020487 0 / 0 / 0 Регистрация: 10.02.2024 Сообщений: 122
	14.02.2024, 19:18 [ТС]
	YuS_2, Спасибо огромное. 0

@sergey020487 0 / 0 / 0 Регистрация: 10.02.2024 Сообщений: 122
	28.02.2024, 17:13 [ТС]
	volodin661, ну как куда... много скорости не бывает. Да долго парсится, файлы есть по 15 килобайт, есть по 50 мегабайт. поток непрерывный. 0

@volodin661 7093 / 2324 / 353 Регистрация: 10.12.2013 Сообщений: 8,013
	28.02.2024, 17:26
	sergey020487, а можешь выложить куда-нить 50/100 Мб-ный XML ? спортивный интерес 0

@sergey020487 0 / 0 / 0 Регистрация: 10.02.2024 Сообщений: 122
	28.02.2024, 17:48 [ТС]
	volodin661, сейчас дома, завтра закину 0

@sergey020487 0 / 0 / 0 Регистрация: 10.02.2024 Сообщений: 122
	29.02.2024, 14:08 [ТС]
	YuS_2, Сколько читал на стаке, все утверждают, что самое медленное в шеле это конвеер. а самое быстрое это форич. 0