Форум программистов, компьютерный форум, киберфорум
PowerShell
Форум программистов и сисадминов Киберфорум > Компьютерный форум > Windows > Администрирование Windows > PowerShell
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.58/19: Рейтинг темы: голосов - 19, средняя оценка - 4.58
14 / 12 / 2
Регистрация: 27.03.2017
Сообщений: 105

Парсинг страницы htm

05.11.2019, 18:18. Показов 4011. Ответов 7
Метки нет (Все метки)
Студворк — интернет-сервис помощи студентам
Добрый вечер всем!
Подскажите, пожалуйста, как распарсить такую страницу:
JSON
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120

[
  {
    "_id": "5143017bf5a7b6a05d001675",
    "id": 217,
    "name": "Россия HD",
    "priority": 325001,
    "subscription_group": [
      "BASEPACK"
    ],
    "category": "INFORL",
    "access_granted": true,
    "logo_url": "http://app1.bonus-tv.ru/img/for_sprites/russiahd.png",
    "restrictionResult": {
      "ip": "82.202.167.203",
      "access_granted": true,
      "data": {},
      "reason": {
        "code": 0,
        "message": "No rules violation"
      }
    },
    "android": true,
    "device_id": null,
    "stream": [
      {
        "bitrate": 500,
        "size": "1920x1080",
        "link": "https://cdn-01.bonus-tv.ru/russiahd/playlist.m3u8?token=xm_148zjl5AHIZjR7VXGXw"
      }
    ]
  },
  {
    "_id": "58c7e0c15132ad546146a275",
    "id": 1000,
    "name": "Leomax",
    "priority": 320001,
    "subscription_group": [
      "BASEPACK"
    ],
    "category": "MUSICL",
    "access_granted": true,
    "logo_url": "http://app1.bonus-tv.ru/img/for_sprites/leomax.png",
    "restrictionResult": {
      "ip": "82.202.167.203",
      "access_granted": true,
      "data": {},
      "reason": {
        "code": 0,
        "message": "No rules violation"
      }
    },
    "android": true,
    "device_id": null,
    "stream": [
      {
        "bitrate": 1500,
        "size": "1280x720",
        "link": "https://tvshops.bonus-tv.ru/cdn/leomax/playlist.m3u8"
      }
    ]
  },
  {
    "_id": "58c7e0d45132ad546146a276",
    "id": 1001,
    "name": "Diskont TV",
    "priority": 320000,
    "subscription_group": [
      "BASEPACK"
    ],
    "category": "MUSICL",
    "access_granted": true,
    "logo_url": "http://app1.bonus-tv.ru/img/for_sprites/diskonttv.png",
    "restrictionResult": {
      "ip": "82.202.167.203",
      "access_granted": true,
      "data": {},
      "reason": {
        "code": 0,
        "message": "No rules violation"
      }
    },
    "android": true,
    "device_id": null,
    "stream": [
      {
        "bitrate": 1500,
        "size": "1280x720",
        "link": "https://tvshops.bonus-tv.ru/cdn/discount/playlist.m3u8"
      }
    ]
  },
  {
    "_id": "5ab4e372da44b8260cdddb52",
    "id": 204,
    "name": "Толпар",
    "priority": 60,
    "subscription_group": [
      "BASEPACK"
    ],
    "category": "ENTERG",
    "access_granted": true,
    "logo_url": "http://app1.bonus-tv.ru/img/for_sprites/tolpar.png",
    "restrictionResult": {
      "ip": "82.202.167.203",
      "access_granted": true,
      "data": {},
      "reason": {
        "code": 0,
        "message": "No rules violation"
      }
    },
    "android": true,
    "device_id": null,
    "stream": [
      {
        "link": "http://cdn-10.bonus-tv.ru:80/tolpartv_origin/index.m3u8"
      }
    ]
  }
]
Написал код:
PowerShell
1
2
3

$a = Get-Content .\bonus.htm
($a |Select-String -Pattern '[\S\s]*"name": "([^"]+)"[\S\s]*"link": "([^"]+)"' -AllMatches).Matches| 
ForEach-Object {"$($_.Groups[1].Value)`n$($_.Groups[2].Value)"}
Но то ли код неправильный, то ли regex. Вылазит ошибка "Невозможно индексировать в пустой массив"
Нужно взять все значения name и link и вывести их попарно, link под name
Заранее благодарен за помощь и подсказки.
0
Лучшие ответы (1)
Сообщение: #13970916
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
 05.11.2019, 18:18
Ответы с готовыми решениями:

Выделить из файла со списком файлов строки с именами htm-файлов и создать htm-файл со ссылками
Помогите с задачками! Задачи на bat-файлы: Выделить из файла со списком файлов строки с именами...

Создать HTML-файл со ссылками на все htm-файлы текущего каталога
Создать HTML-файл со ссылками на все htm-файлы текущего каталога: <HTML><HEAD><META...

Вывод в csv вместо htm
Всем привет. Прошу помощи в таком вопросе. Есть скрипт собирающий информацию из csv файлов и...

7
Покинул форум
3701 / 1484 / 355
Регистрация: 07.05.2015
Сообщений: 2,903
05.11.2019, 21:16
Это не HTML, а JSON.
PowerShell
1

(Get-Content .\input.json | ConvertFrom-Json).ForEach{[PSCustomObject]@{name=$_.name;link=$_.stream.link}}
1
14 / 12 / 2
Регистрация: 27.03.2017
Сообщений: 105
05.11.2019, 21:28  [ТС]
greg zakharov, спасибо большое!
Просто этот файл, при сохранении из браузера, сохраняется как htm... не знал какой точно это формат.
Подскажите, пожалуйста, а как его теперь правильно сохранить в текстовом формате (имя, под ним ссылка).
А то при сохранении через Set-Content много мусора берётся. Можно его потом и удалить, но некрасивый код получится.

И по первому вопросу. Есть всё-таки способ в похожем файле, ну или в другом каком тексте захватить с помощью Select-String два значения ?
0
Покинул форум
3701 / 1484 / 355
Регистрация: 07.05.2015
Сообщений: 2,903
05.11.2019, 22:06
Лучше сохраните итог в CSV - проще для восприятия и в какой-либо табличный парсер можно загрузить.
PowerShell
1

(Get-Content .\input.json | ConvertFrom-Json).ForEach{[PSCustomObject]@{name=$_.name;link=$_.stream.link}} | Export-Csv -Path .\result.csv
1
14 / 12 / 2
Регистрация: 27.03.2017
Сообщений: 105
05.11.2019, 22:23  [ТС]
Спасибо!
0
14 / 12 / 2
Регистрация: 27.03.2017
Сообщений: 105
07.11.2019, 01:00  [ТС]
Доброй ночи всем!
Прошу помощи с разбором ещё одной похожей страницы https://frontend.vh.yandex.ru/channels
Вроде тоже формат json, но код ув. greg zakharov с ней не срабатывает, выскакивает ошибка о недопустимости применения цикла ForEach.
таким кодом:
PowerShell
1
2

$url = "https://frontend.vh.yandex.ru/channels"
Invoke-RestMethod -UseBasicParsing -Uri $url | ConvertTo-Json -depth 10
получаю уже, по моему мнению, может я и неправ, тоже json такого вида (часть кода):
JSON
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184

{
    "user_data":  {
                      "req_id":  "1573076753185279-17538782435231575860"
                  },
    "set":  [
                {
                    "auto_fields":  {
                                        "with_cmnt":  true,
                                        "cmnt_id":  "4a2d2963e4813cd1843a1283390c971a"
                                    },
                    "family_id":  1552668708,
                    "streams":  [
                                    {
                                        "options":  [
 
                                                    ],
                                        "url":  "https://strm.yandex.ru/kal/sambo_worldcup_3/manifest.mpd?from=unknown\u0026imp_id=8\u0026partner_id=382072\u0026target_ref=https%3A//yastatic.net\u0026uuid=4a2d2963e4813cd1843a1283390c971a\u0026video_category_id=1017",
                                        "title":  "main"
                                    },
                                    {
                                        "options":  [
 
                                                    ],
                                        "url":  "https://strm.yandex.ru/kal/sambo_worldcup_3/sambo_worldcup_30.m3u8?from=unknown\u0026imp_id=8\u0026partner_id=382072\u0026target_ref=https%3A//yastatic.net\u0026uuid=4a2d2963e4813cd1843a1283390c971a\u0026video_category_id=1017",
                                        "title":  "main"
                                    }
                                ],
                    "duration":  0,
                    "channel_multiplex_number":  0,
                    "skippableFragments":  {
 
                                           },
                    "content_type_name":  "channel",
                    "stream":  {
                                   "trackings":  {
                                                     "trackingEvents":  [
 
                                                                        ]
                                                 },
                                   "withCredentials":  true
                               },
                    "internal":  false,
                    "content_url":  "https://strm.yandex.ru/kal/sambo_worldcup_3/sambo_worldcup_30.m3u8?from=unknown\u0026imp_id=8\u0026partner_id=382072\u0026target_ref=https%3A//yastatic.net\u0026uuid=4a2d2963e4813cd1843a1283390c971a\u0026video_category_id=1017",
                    "status":  [
                                   "hide_schedule",
                                   "auto_announce",
                                   "published",
                                   "hidden"
                               ],
                    "thumbnail":  "//avatars.mds.yandex.net/get-vh/1517156/9684192716786284594-yDd2j0XleeYv1xsGC1VH9ag-1553198482/orig",
                    "blacked":  0,
                    "can_play_on_station":  true,
                    "channel_category":  [
                                             "sport"
                                         ],
                    "update_time":  1572018332,
                    "embed_url":  "https://frontend.vh.yandex.ru/player/4a2d2963e4813cd1843a1283390c971a?from=unknown",
                    "computed_title":  "Кубок Мира по самбо (3 канал)",
                    "parent_id":  "49efcf58f9f5b8c29324d8e764dcb41d",
                    "meta":  {
                                 "weight":  0,
                                 "with_sport_prediction":  false,
                                 "with_overlay":  false,
                                 "project_alias":  "sambo_worldcup",
                                 "with_deep_hd":  false,
                                 "announce_thumbnail":  "//avatars.mds.yandex.net/get-vh/1454382/2a0000016996cec624dc20ae3b18fb174839/orig",
                                 "without_timeline":  false
                             },
                    "has_cachup":  1,
                    "main_color":  "#205080",
                    "description":  "Канал для трансляции Кубка Мира по самбо Мемориал А.А. Харлампиева",
                    "catchup_age":  2678400,
                    "channel_id":  1552668708,
                    "restriction_age":  18,
                    "deprecated_content_id":  "9684192716786284594",
                    "is_special_project":  true,
                    "dvr":  300,
                    "content_id":  "4a2d2963e4813cd1843a1283390c971a",
                    "title":  "Кубок Мира по самбо (3 канал)",
                    "download_episodes":  1,
                    "deep_hd":  false,
                    "has_schedule":  1,
                    "project_start_time":  1553212800,
                    "project_expiration_time":  1553385599,
                    "adConfig":  {
                                     "video_content_id":  "4a2d2963e4813cd1843a1283390c971a",
                                     "distr_id":  0,
                                     "hasPreroll":  false,
                                     "partner_id":  382072,
                                     "category":  1017,
                                     "video_genre_name":  [
 
                                                          ],
                                     "video_content_name":  "Кубок Мира по самбо (3 канал)"
                                 },
                    "has_vod":  0,
                    "logo":  "//avatars.mds.yandex.net/get-vh/1534896/9684192716786284594-t20FBZdt56vR0Qif8nh6bg-1553190736/orig"
                },
                {
                    "auto_fields":  {
                                        "with_cmnt":  true,
                                        "cmnt_id":  "47bb95ad0594874d8a0973368419835d"
                                    },
                    "family_id":  143,
                    "streams":  [
                                    {
                                        "options":  [
 
                                                    ],
                                        "url":  "https://strm.yandex.ru/kal/elka/elka0.m3u8?from=unknown\u0026partner_id=335928\u0026target_ref=https%3A//yastatic.net\u0026uuid=47bb95ad0594874d8a0973368419835d\u0026video_category_id=1017",
                                        "title":  "elka_stream"
                                    }
                                ],
                    "duration":  0,
                    "channel_multiplex_number":  0,
                    "skippableFragments":  {
 
                                           },
                    "content_type_name":  "channel",
                    "stream":  {
                                   "trackings":  {
                                                     "trackingEvents":  [
 
                                                                        ]
                                                 },
                                   "withCredentials":  true
                               },
                    "internal":  false,
                    "content_url":  "https://strm.yandex.ru/kal/elka/elka0.m3u8?from=unknown\u0026partner_id=335928\u0026target_ref=https%3A//yastatic.net\u0026uuid=47bb95ad0594874d8a0973368419835d\u0026video_category_id=1017",
                    "status":  [
                                   "hide_schedule",
                                   "auto_announce",
                                   "published",
                                   "hidden"
                               ],
                    "thumbnail":  "//avatars.mds.yandex.net/get-vh/1496358/17255211381094683872-9vjundHBmFHkNraxstGFAfg-1545917161/orig",
                    "blacked":  0,
                    "can_play_on_station":  true,
                    "channel_category":  [
                                             "entertain"
                                         ],
                    "update_time":  1552299813,
                    "embed_url":  "https://frontend.vh.yandex.ru/player/47bb95ad0594874d8a0973368419835d?from=unknown",
                    "computed_title":  "Ёлка в Гостином дворе",
                    "parent_id":  "49efcf58f9f5b8c29324d8e764dcb41d",
                    "meta":  {
                                 "weight":  0,
                                 "with_sport_prediction":  false,
                                 "with_overlay":  false,
                                 "with_deep_hd":  false,
                                 "announce_thumbnail":  "//avatars.mds.yandex.net/get-vh/1370729/2a00000167efd160d8e3d8026b270b196717/orig",
                                 "without_timeline":  false
                             },
                    "has_cachup":  1,
                    "main_color":  "#3050B0",
                    "description":  "Ёлка в Гостином дворе стала доброй традицией, и по праву считается одним из самых главных и интересных новогодних событий в городе.",
                    "catchup_age":  26948753,
                    "channel_id":  1544558652,
                    "restriction_age":  18,
                    "deprecated_content_id":  "17255211381094683872",
                    "is_special_project":  true,
                    "dvr":  300,
                    "content_id":  "47bb95ad0594874d8a0973368419835d",
                    "title":  "Ёлка в Гостином дворе",
                    "download_episodes":  0,
                    "ya_video_preview":  "https://video-preview.s3.yandex.net/vh/17255211381094683872_preview.mp4",
                    "deep_hd":  false,
                    "has_schedule":  1,
                    "project_start_time":  1546128000,
                    "project_expiration_time":  1554076799,
                    "adConfig":  {
                                     "video_content_id":  "47bb95ad0594874d8a0973368419835d",
                                     "distr_id":  0,
                                     "hasPreroll":  true,
                                     "partner_id":  335928,
                                     "category":  1017,
                                     "video_genre_name":  [
 
                                                          ],
                                     "video_content_name":  "Ёлка в Гостином дворе"
                                 },
                    "has_vod":  0,
                    "logo":  "//avatars.mds.yandex.net/get-vh/1433035/17255211381094683872-bJi71LjgB6IF-8ZdP3vEjQ-1545916987/orig"
                }
Но дальше его разобрать не получается. Нужны значения video_content_name и content_url
Подскажите, пожалуйста, как можно распарсить такой файл ?
0
Покинул форум
3701 / 1484 / 355
Регистрация: 07.05.2015
Сообщений: 2,903
07.11.2019, 10:15
Лучший ответ Сообщение было отмечено Uragan66 как решение

Решение

В ответном JSON несколько объектов: icons, set и user_name, - первые два - массивы объектов, последний - просто объект (хэш) с полем req_id. В данном же случае интерес будет представлять именно set, в котором и содержится вся интересующая информация. Иными словами, если в переменной $json хранится значение set (массив объектов, к которому применим цикл ForEach), решение можно представить по уже приведенной аналогии:
PowerShell
1

$json.ForEach{[PSCustomObject]@{name=$_.adConfig.video_content_name;url=$_.content_url}} | Export-Csv ...
Все это несложно сообразить, если тщательно обдумывать прежние решения.
1
14 / 12 / 2
Регистрация: 27.03.2017
Сообщений: 105
07.11.2019, 10:57  [ТС]
greg zakharov, спасибо большое!
Цитата Сообщение от greg zakharov Посмотреть сообщение
Все это несложно сообразить, если тщательно обдумывать прежние решения
Вроде то и обдумываю, но знаний не хватает.
Сейчас всё получилось. Ещё раз моя благодарность!
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
 07.11.2019, 10:57
Помогаю со студенческими работами здесь

Парсинг веб страницы средствами VBS
Предположим, у меня есть страница какого-либо товара с мосигры (прим. -...

Парсинг лога. Перевод скрипта с bash в vbs.
Проблема такая. В основном работаю с Linux, но сейчас потребовалось написать скрипт как под Linux,...

Парсинг текстового файла
Здравствуйте Мне нужно написать бат файл, который будет читать строку из текстового файла,...

Пинг через парсинг ini-файла
1) Нужно парсинговать txt. файл с расширением ini, который расположен в C:\ а в txt. файле...

Парсинг, правка, копирование конфигурационного файла
Здравствуйте все. Свалилась на меня, значит, задача, написать такой вот бат-файл до завтрашнего...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
8
Ответ Создать тему
Новые блоги и статьи
Знаешь почему 90% людей редко бывают счастливыми?
kumehtar 14.04.2026
Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.
Фиксация колонок в отчете СКД
Maks 14.04.2026
Фиксация колонок в СКД отчета типа Таблица. Задача: зафиксировать три левых колонки в отчете. Процедура ПриКомпоновкеРезультата(ДокументРезультат, ДанныеРасшифровки, СтандартнаяОбработка) / / . . .
Настройки VS Code
Loafer 13.04.2026
{ "cmake. configureOnOpen": false, "diffEditor. ignoreTrimWhitespace": true, "editor. guides. bracketPairs": "active", "extensions. ignoreRecommendations": true, . . .
Оптимизация кода на разграничение прав доступа к элементам формы
Maks 13.04.2026
Алгоритм из решения ниже реализован на нетиповом документе, разработанного в конфигурации КА2. Задачи, как таковой, поставлено не было, проделанное ниже исключительно моя инициатива. Было так:. . .
Контроль заполнения и очистка дат в зависимости от значения перечислений
Maks 12.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .
Архитектура слоя интернета для сервера-слоя.
Hrethgir 11.04.2026
В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .
Подстановка значения реквизита справочника в табличную часть документа
Maks 10.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .
Очистка реквизитов документа при копировании
Maks 09.04.2026
Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Поддержать - Реклама - Условия использования - Обратная связь
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru