Нежелательное задвоение при парсинге XML

@sergey020487 · Регистрация: 10.02.2024

Студворк — интернет-сервис помощи студентам

Добрый день. У меня проблема при парсинге XML. Суть в том что большинство файлов которые я обрабатываю имеют структуру:
заказ (номер) - товарная накладная (номер) - товар один или много. В данном случае все норм.
Но есть некоторые документы где в заказе две товарных накладных. Изза этого товар задваивается на то количество, сколько товарных накладных. Взгляните на файл пожалуйста, станет понятно, там оба варианта.

PowerShell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
[xml]$xml = Get-Content C:\Users\пк\Downloads\2.xml
$list = @()
$list = $NULL
foreach ($Doc in $xml.GetElementsByTagName('Документы'))
{
    foreach ($Orders in $Doc.GetElementsByTagName('Заказы'))
    {
        foreach ($Order in $Orders.GetElementsByTagName('Заказ'))
        {
            foreach ($TN in $order.GetElementsByTagName('ТоварнаяНакладная'))
            {
            foreach ($TT in $order.GetElementsByTagName('ТорговаяТочка'))
            {
            foreach ($Products in $order.GetElementsByTagName('Товары'))
            {
                foreach ($Product in $Products.GetElementsByTagName('Товар'))
                {
                           
                           $list += [PSCustomObject]@{
                                ТорговыйАгент = $TT.ТорговыйАгент
                                Номенклатура = $Product.Номенклатура
                                НомерЗаказа = $Order.НомерЗаказа
                            }
                 }
             }
             }
             }
        }
    }
 
}
$list

Задача: Если в заказе две или больше товарных накладных, то их номера должны быть перечислены через запятую в, а товары не задваиватся.
Пните в правильном направлении.

@sergey020487 · 13.02.2024, 07:55 **[ТС]**

volodin661, Согласен, хотелось бы избежать посредников в виде сбора массивов или каких-то кастомов, а сразу либо вызывать инвок и инсертить либо передавать в хранимку (не суть). Но значит надо выполнить проверку на наличие более одной товарной накладной в одном заказе. а если товары повторяются в одном заказе, значения их велечин надо просуммировать прежде чем передавать, Как это выполнить без посредников, я не понимаю.

@volodin661 · 13.02.2024, 10:58

sergey020487, инструкции <create table () > готовы ?

@sergey020487 · 13.02.2024, 11:23 **[ТС]**

Добавлено через 7 минут
volodin661, Если Вы имеете в виду create table () для скуля, то таблицы я создаю вручную. Записываю в них:

PowerShell
1
2
3
$server = Connect-DbaInstance -SqlInstance '???' -Database '???' -ConnectTimeout 100
$query += "INSERT INTO SSTest ([НомерЗаказа],[НомерТоварнойНакладной],[ЗаказРуб]) VALUES ('$NomerZakaza','$Nomer','$zakaz')"
Invoke-DbaQuery -SqlInstance $server -Query $query

ПС прошу прощения за ужасные имена переменных.

@volodin661 · 13.02.2024, 11:57

Какой ещё SSTest, должны быть таблицы Заказы, Товары, ТорговыеТочки, Накладные и реализованы связи между ними.
Это сделано ?

@sergey020487 · 13.02.2024, 12:05 **[ТС]**

volodin661, Нет таблица одна, куда будет инсертится данные. Один заказ - одна строка в скуле.

@volodin661 · 13.02.2024, 13:52

если тебе не нужны возможности RDBMS, зачем она тогда ?

получается, тебе нужна просто NoSQL (Кey/Value) database

LightDB, например

касательно массива в качестве значения ключа:

PowerShell
1
2
3
4
$array = @()
$array += "Накладная1", "Накладная2"
 
$товар = [pscustomobject]@{ Название="яйцо"; Накладные = $array }

Добавлено через 25 минут
исправление : LiteDB

@sergey020487 · 13.02.2024, 13:59 **[ТС]**

volodin661, Я накидал, и даже работает. Надо конечно погонять на разные варианты задвоенности (не пинайте сильно, я новичок)

PowerShell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
$pth = 'C:???\2.xml'
[xml]$xml = gc $pth -enc utf8
$arr =@()
$arr = $xml.selectnodes("//Заказ") | % {
        [pscustomobject]@{
        'IDorder' = $_.номерзаказа
        'Num' = $_.товарнаянакладная.номер -join ','
        'Sum' = ($_.товары.товар.заказруб|measure -sum).sum
  
     }
     
}
 
 
foreach ($ar in $arr){
    $fquery = $null
    $a = $ar.IDorder
    $b = $ar.Num
    $c = $ar.Sum
    $fquery += "INSERT INTO SSTest ([НомерЗаказа],[НомерТоварнойНакладной],[ЗаказРуб]) VALUES ('$a','$b','$c')"
    Invoke-DbaQuery -SqlInstance $server -Query $fquery
}

ПС Я даже не знаю что такое RDBMS

@volodin661 · 13.02.2024, 14:04

sergey020487,

relational database management system

PowerShell
1
'Num' = $_.товарнаянакладная.номер -join ','

зачем превращать в строку ? так массивом и оставить

PowerShell
1
'Num' = $_.товарнаянакладная.номер

@sergey020487 · 14.02.2024, 07:38 **[ТС]**

volodin661, А подскажите пожалуйста еще один момент.

PowerShell
1
2
3
4
5
6
7
8
9
10
11
12
$pth = 'C:???\2.xml'
[xml]$xml = gc $pth -enc utf8
$arr =@()
$arr = $xml.selectnodes("//Заказ") | % {
        [pscustomobject]@{
        'IDorder' = $_.номерзаказа
        'Num' = $_.товарнаянакладная.номер -join ','
        'Sum' = ($_.товары.товар.заказруб|measure -sum).sum
        'Nomenclature' = $_.товары.товар.Номенклатура
     }
     
}

Вот я добавил (чтоб показать) еще один столбец 'Nomenclature'. значением $_.товары.товар.Номенклатура является массив, а не одно какоето значение. Скажите можно ли теперь развернуть както этот масив в "pscustomobject" и чтоб остальные значения рядом просто заполнились самостоятельно? Может есть какая то хитрость?
Или нужно с самого начала форичем бежать по всем номенклатурам?

YuS_2 · 14.02.2024, 08:09

Сообщение от sergey020487

Скажите можно ли теперь развернуть както этот масив в "pscustomobject" и чтоб остальные значения рядом просто заполнились самостоятельно? Может есть какая то хитрость?

Структура? Конечный результат... что в итоге желаете получить... от печки и надо плясать...
А развернуть и даже потом свернуть - можно.

@sergey020487 · 14.02.2024, 09:19 **[ТС]**

YuS_2, Вот я добавил foreach чтоб развернуть один массив ('Nomenclature') в таблице.
Есть еще один массив - 'Bonus'. Я хочу чтоб и он тоже вместе с номенклатурой развернулся. Думал обойтись без foreach.

PowerShell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
$pth = 'C:???\2.xml'
[xml]$xml = gc $pth -enc utf8
$arr =@()
$arr = $xml.selectnodes("//Заказ") | ForEach-Object {
       foreach ($i in $_.товары.товар.Номенклатура){
            [pscustomobject]@{
        'IDorder' = $_.номерзаказа
        'DATEorder' = $_.Датазаказа
        'NumTN' = $_.товарнаянакладная.номер -join ','
        'DateTN' = $_.товарнаянакладная.дата -join ','
        'Nomenclature' = $i
        'Bonus' = $_.товары.товар.Бонус
       }
     }
 }
$arr | ft -autosize

Вот что я хочу, только чтоб бонус тоже развернулся.
Dorder DATEorder NumTN DateTN Nomenclature Bonus
------- --------- ----- ------ ------------ -----
8928 2023-10-15 ФГ7,BP2 2023-10-17,2023-10-24 Товар1 {0, 0, 0}
8928 2023-10-15 ФГ7,BP2 2023-10-17,2023-10-24 Товар2 {0, 0, 0}
8928 2023-10-15 ФГ7,BP2 2023-10-17,2023-10-24 Товар3 {0, 0, 0}
8966 2023-10-15 9299 2023-10-20 Товар4 0

YuS_2 · 14.02.2024, 13:01

Сообщение от sergey020487

Вот что я хочу

PowerShell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
$pth = '2.xml'
[xml]$xml = gc $pth -enc utf8
$xml.selectnodes("//Заказ") | ForEach-Object {
    $zak = $_
    $zak.товары.товар|%{
        [pscustomobject]@{
            'IDorder' = $zak.номерзаказа
            'DATEorder' = $zak.Датазаказа
            'NumTN' = $zak.товарнаянакладная.номер -join ','
            'DateTN' = $zak.товарнаянакладная.дата -join ','
            'Nomenclature' = $_.номенклатура
            'Bonus' = $_.Бонус
        }
    }
}|
ft -a -w

@sergey020487 · 14.02.2024, 19:18 **[ТС]**

YuS_2, Спасибо огромное.

@sergey020487 · 27.02.2024, 13:42 **[ТС]**

YuS_2, Скажите пожалуйста, а реально ли избежать конвейеров :

PowerShell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
$pth = '2.xml'
[xml]$xml = gc $pth -enc utf8
$xml.selectnodes("//Заказ") | ForEach-Object {
    $zak = $_
    $zak.товары.товар|%{
        [pscustomobject]@{
            'IDorder' = $zak.номерзаказа
            'DATEorder' = $zak.Датазаказа
            'NumTN' = $zak.товарнаянакладная.номер -join ','
            'DateTN' = $zak.товарнаянакладная.дата -join ','
            'Nomenclature' = $_.номенклатура
            'Bonus' = $_.Бонус
        }
    }
}

Написал небольшой скрипт, облепил "косметикой". Работает сильно медленно. Может есть какото способ?

Добавлено через 1 час 43 минуты
попробовал в скрипт запихать :

PowerShell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
[xml]$xml = gc $file_ready.FullName -enc utf8
    foreach ($Doc in $xml.GetElementsByTagName('Документы'))
    {
        foreach ($Orders in $Doc.GetElementsByTagName('Заказы'))
        {
            foreach ($Order in $Orders.GetElementsByTagName('Заказ'))
            {
                foreach ($Products in $order.GetElementsByTagName('Товары'))
                {
                    foreach ($Product in $Products.GetElementsByTagName('Товар'))
                    {
                        $Key = $Product.КодНоменклатуры
                        $queryParameters = @{
                           ...
                        }
                     }
                }
            }
        }
    }
 
}

Быстрее процентов на 10 максимум. тут видимо не в конвейере дело, а вообще в принципе в [xml]$xml

@volodin661 · 28.02.2024, 17:08

а куда спешить-то ?
какая нужна скорость, у тебя гигабайтный XML обрабатывается что-ли ?

сделать на Perl ? ( был у Perl, помню, модуль XML::Fast, написан на голом 'C', разбирает XML за 1 проход, предполагаю общую скорость исполнения - несколько миллисекунд )

Добавлено через 2 часа 17 минут
с миллисекундой погорячился;
разбор + вывод == 0.1 сек

Perl
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
{
    Документы   {
        Заказы   {
            Заказ   [
                [0] {
                        ДатаЗаказа                 "2023-10-15" (dualvar: 2023),
                        НомерЗаказа               8928,
                        ТоварнаяНакладная   [
                            [0] {
                                    Дата     "2023-10-17" (dualvar: 2023),
                                    Номер   "ФГ7"
                                },
                            [1] {
                                    Дата     "2023-10-24" (dualvar: 2023),
                                    Номер   "BP2"
                                }
                        ],
                        Товары                         {
                            Товар   [
                                [0] {
                                        Бонус                       0,
                                        ЗаказКг                   8.400,
                                        ЗаказРуб                 2772.00,
                                        КодНоменклатуры   200017,
                                        Номенклатура         "Товар1",
                                        ОтгрузкаКг             10.460,
                                        ОтгрузкаРуб           3451.80,
                                        ПродажаКг               10.460,
                                        ПродажаРуб             3451.80,
                                        СредняяЦенаРуб     0.00
                                    },
                                [1] {
                                        Бонус                       0,
                                        ЗаказКг                   4.000,
                                        ЗаказРуб                 1448.00,
                                        КодНоменклатуры   200031,
                                        Номенклатура         "Товар2",
                                        ОтгрузкаКг             4.194,
                                        ОтгрузкаРуб           1518.23,
                                        ПродажаКг               4.194,
                                        ПродажаРуб             1518.23,
                                        СредняяЦенаРуб     0.00
                                    },
                                [2] {
                                        Бонус                       0,
                                        ЗаказКг                   4.000,
                                        ЗаказРуб                 1448.00,
                                        КодНоменклатуры   200031,
                                        Номенклатура         "Товар3",
                                        ОтгрузкаКг             4.194,
                                        ОтгрузкаРуб           1518.23,
                                        ПродажаКг               4.194,
                                        ПродажаРуб             1518.23,
                                        СредняяЦенаРуб     0.00
                                    }
                            ]
                        },
                        ТорговаяТочка           {
                            Адрес                                         "адрес",
                            ДолжностьТорговогоАгента   "представитель",
                            ИНН                                             6565656565,
                            КаналСбыта                               "",
                            Контрагент                               "ИП",
                            Мерчендайзер                           "",
                            СубъектФедерации                   "",
                            Супервайзер                             "",
                            ТорговыйАгент                         "ФИО"
                        }
                    },
                [1] {
                        ДатаЗаказа                 "2023-10-15" (dualvar: 2023),
                        НомерЗаказа               8966,
                        ТоварнаяНакладная   {
                            Дата     "2023-10-20" (dualvar: 2023),
                            Номер   9299
                        },
                        Товары                         {
                            Товар   {
                                Бонус                       0,
                                ЗаказКг                   8.400,
                                ЗаказРуб                 2772.00,
                                КодНоменклатуры   "00017" (dualvar: 17),
                                Номенклатура         "Товар4",
                                ОтгрузкаКг             10.460,
                                ОтгрузкаРуб           3451.80,
                                ПродажаКг               10.460,
                                ПродажаРуб             3451.80,
                                СредняяЦенаРуб     0.00
                            }
                        },
                        ТорговаяТочка           {
                            Адрес                                         "Адрес",
                            ДолжностьТорговогоАгента   "представитель",
                            ИНН                                             3232323232,
                            КаналСбыта                               "",
                            Контрагент                               "ИП2",
                            Мерчендайзер                           "",
                            СубъектФедерации                   "",
                            Супервайзер                             "",
                            ТорговыйАгент                         "ФИО2"
                        }
                    }
            ]
        }
    }

}

@sergey020487 · 28.02.2024, 17:13 **[ТС]**

volodin661, ну как куда... много скорости не бывает. Да долго парсится, файлы есть по 15 килобайт, есть по 50 мегабайт. поток непрерывный.

@volodin661 · 28.02.2024, 17:26

sergey020487,

а можешь выложить куда-нить 50/100 Мб-ный XML ?
спортивный интерес

@sergey020487 · 28.02.2024, 17:48 **[ТС]**

volodin661, сейчас дома, завтра закину

YuS_2 · 29.02.2024, 13:54

Сообщение от sergey020487

реально ли избежать конвейеров

а чем конвейер Вас пугает?

Можно, конечно:

PowerShell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
$pth = '2.xml'
[xml]$xml = gc $pth -enc utf8
$arr = foreach ($item in $xml.selectnodes("//Заказ")){
    foreach ($i in $item.товары.товар){
        [pscustomobject]@{
            'IDorder' = $item.номерзаказа
            'DATEorder' = $item.Датазаказа
            'NumTN' = $item.товарнаянакладная.номер -join ','
            'DateTN' = $item.товарнаянакладная.дата -join ','
            'Nomenclature' = $i.номенклатура
            'Bonus' = $i.Бонус
        }
    }
}
$arr|ft -a -w

Сообщение от sergey020487

попробовал в скрипт запихать

да это же кошмар какой-то

У Вас там 5 циклов, вместо двух... это не может работать быстрее...

@sergey020487 · 29.02.2024, 14:08 **[ТС]**

YuS_2, Сколько читал на стаке, все утверждают, что самое медленное в шеле это конвеер. а самое быстрое это форич.

Новые блоги и статьи Все статьи Все блоги /
Запрет пометки на удаление и отмены проведения Maks 16.07.2026 Алгоритм из решения ниже реализован на нетиповом документе "ПутевойЛист" разработанного в КА2. Задача: запретить помечать на удаление и отменять проведения путевого листа при условии, если он сдан. . .	Как надо было делать правильно - вообще не слушать ИИ, его дело - текст. Hrethgir 15.07.2026 А вообще надо было делать не так, чтобы не исправлять ошибку https:/ / www. cyberforum. ru/ blogs/ 223907/ 10996. html , правильно было : удалил кнопку, а потом добавил её. Всё это стресс конечно. Почему?. . .	Знаете, от чего появляется стресс? kumehtar 15.07.2026 Стресс появляется оттого, что вы, зная как поступить правильно, делаете наоборот. Ларри Уингет	Нас бьют, а мы крепчаем? Какая чушь! kumehtar 15.07.2026 Вот это вот бытующее мнение, что человек меняется только под действием проблем, всегда считал вредоносным. Поверь, от проблем у людей появляются не изменения, а нервное расстройство и ПТСР. А. . .
сукцессия 29. Переход от одних деревьев на другие делать более или менее вероятностным? anaschu 12.07.2026 Насколько смена типов микоризы — исключительное событие в двухвековой сукцессии? Оценка вероятности в пространстве параметров В текущей версии модели успешно реализован ключевой механизм. . .	сукцессия 27. Думаю, как переделывать уже написанную статью с планами на сукцессию. anaschu 12.07.2026 Анализ соответствия модели требованиям Реализованные компоненты: Механизм закисления почвы через протонную помпу Конкуренция между типами микориз pH как триггер сукцессии C/ P соотношение. . .	Сукцессия 26. Мат модель создана. anaschu 12.07.2026 Модель смены растительных сукцессий посредством управления грибами работает внутри небольшой ячейки почвы, восстанавливающейся после пожара, где ненадолго бывшее царство хвойных снова захватили. . .	Решил проблему с ошибкой пагинации сообщений с сервера на алгоритме обхода дерева "Эстафета хвоста". Hrethgir 12.07.2026 Проблема была в том, что удалялась именно новая кнопка, а не старая. Ни один ИИ не обнаружил это, а сам я смог только когда с работой стало попроще и когда заставил работать будущее автономное. . .

@sergey020487 0 / 0 / 0 Регистрация: 10.02.2024 Сообщений: 122
	13.02.2024, 07:55 [ТС]
	volodin661, Согласен, хотелось бы избежать посредников в виде сбора массивов или каких-то кастомов, а сразу либо вызывать инвок и инсертить либо передавать в хранимку (не суть). Но значит надо выполнить проверку на наличие более одной товарной накладной в одном заказе. а если товары повторяются в одном заказе, значения их велечин надо просуммировать прежде чем передавать, Как это выполнить без посредников, я не понимаю. 0

@volodin661 7094 / 2325 / 353 Регистрация: 10.12.2013 Сообщений: 8,020
	13.02.2024, 10:58
	sergey020487, инструкции <create table () > готовы ? 0

@volodin661 7094 / 2325 / 353 Регистрация: 10.12.2013 Сообщений: 8,020
	13.02.2024, 11:57
	Какой ещё SSTest, должны быть таблицы Заказы, Товары, ТорговыеТочки, Накладные и реализованы связи между ними. Это сделано ? 0

@sergey020487 0 / 0 / 0 Регистрация: 10.02.2024 Сообщений: 122
	13.02.2024, 12:05 [ТС]
	volodin661, Нет таблица одна, куда будет инсертится данные. Один заказ - одна строка в скуле. 0

@sergey020487 0 / 0 / 0 Регистрация: 10.02.2024 Сообщений: 122
	14.02.2024, 19:18 [ТС]
	YuS_2, Спасибо огромное. 0

@sergey020487 0 / 0 / 0 Регистрация: 10.02.2024 Сообщений: 122
	28.02.2024, 17:13 [ТС]
	volodin661, ну как куда... много скорости не бывает. Да долго парсится, файлы есть по 15 килобайт, есть по 50 мегабайт. поток непрерывный. 0

@volodin661 7094 / 2325 / 353 Регистрация: 10.12.2013 Сообщений: 8,020
	28.02.2024, 17:26
	sergey020487, а можешь выложить куда-нить 50/100 Мб-ный XML ? спортивный интерес 0

@sergey020487 0 / 0 / 0 Регистрация: 10.02.2024 Сообщений: 122
	28.02.2024, 17:48 [ТС]
	volodin661, сейчас дома, завтра закину 0

@sergey020487 0 / 0 / 0 Регистрация: 10.02.2024 Сообщений: 122
	29.02.2024, 14:08 [ТС]
	YuS_2, Сколько читал на стаке, все утверждают, что самое медленное в шеле это конвеер. а самое быстрое это форич. 0