С Новым годом! Форум программистов, компьютерный форум, киберфорум
PowerShell
Форум программистов и сисадминов Киберфорум > Компьютерный форум > Windows > Администрирование Windows > PowerShell
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.58/19: Рейтинг темы: голосов - 19, средняя оценка - 4.58
14 / 12 / 2
Регистрация: 27.03.2017
Сообщений: 105

Парсинг страницы htm

05.11.2019, 18:18. Показов 3964. Ответов 7
Метки нет (Все метки)
Студворк — интернет-сервис помощи студентам
Добрый вечер всем!
Подскажите, пожалуйста, как распарсить такую страницу:
JSON
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120

[
  {
    "_id": "5143017bf5a7b6a05d001675",
    "id": 217,
    "name": "Россия HD",
    "priority": 325001,
    "subscription_group": [
      "BASEPACK"
    ],
    "category": "INFORL",
    "access_granted": true,
    "logo_url": "http://app1.bonus-tv.ru/img/for_sprites/russiahd.png",
    "restrictionResult": {
      "ip": "82.202.167.203",
      "access_granted": true,
      "data": {},
      "reason": {
        "code": 0,
        "message": "No rules violation"
      }
    },
    "android": true,
    "device_id": null,
    "stream": [
      {
        "bitrate": 500,
        "size": "1920x1080",
        "link": "https://cdn-01.bonus-tv.ru/russiahd/playlist.m3u8?token=xm_148zjl5AHIZjR7VXGXw"
      }
    ]
  },
  {
    "_id": "58c7e0c15132ad546146a275",
    "id": 1000,
    "name": "Leomax",
    "priority": 320001,
    "subscription_group": [
      "BASEPACK"
    ],
    "category": "MUSICL",
    "access_granted": true,
    "logo_url": "http://app1.bonus-tv.ru/img/for_sprites/leomax.png",
    "restrictionResult": {
      "ip": "82.202.167.203",
      "access_granted": true,
      "data": {},
      "reason": {
        "code": 0,
        "message": "No rules violation"
      }
    },
    "android": true,
    "device_id": null,
    "stream": [
      {
        "bitrate": 1500,
        "size": "1280x720",
        "link": "https://tvshops.bonus-tv.ru/cdn/leomax/playlist.m3u8"
      }
    ]
  },
  {
    "_id": "58c7e0d45132ad546146a276",
    "id": 1001,
    "name": "Diskont TV",
    "priority": 320000,
    "subscription_group": [
      "BASEPACK"
    ],
    "category": "MUSICL",
    "access_granted": true,
    "logo_url": "http://app1.bonus-tv.ru/img/for_sprites/diskonttv.png",
    "restrictionResult": {
      "ip": "82.202.167.203",
      "access_granted": true,
      "data": {},
      "reason": {
        "code": 0,
        "message": "No rules violation"
      }
    },
    "android": true,
    "device_id": null,
    "stream": [
      {
        "bitrate": 1500,
        "size": "1280x720",
        "link": "https://tvshops.bonus-tv.ru/cdn/discount/playlist.m3u8"
      }
    ]
  },
  {
    "_id": "5ab4e372da44b8260cdddb52",
    "id": 204,
    "name": "Толпар",
    "priority": 60,
    "subscription_group": [
      "BASEPACK"
    ],
    "category": "ENTERG",
    "access_granted": true,
    "logo_url": "http://app1.bonus-tv.ru/img/for_sprites/tolpar.png",
    "restrictionResult": {
      "ip": "82.202.167.203",
      "access_granted": true,
      "data": {},
      "reason": {
        "code": 0,
        "message": "No rules violation"
      }
    },
    "android": true,
    "device_id": null,
    "stream": [
      {
        "link": "http://cdn-10.bonus-tv.ru:80/tolpartv_origin/index.m3u8"
      }
    ]
  }
]
Написал код:
PowerShell
1
2
3

$a = Get-Content .\bonus.htm
($a |Select-String -Pattern '[\S\s]*"name": "([^"]+)"[\S\s]*"link": "([^"]+)"' -AllMatches).Matches| 
ForEach-Object {"$($_.Groups[1].Value)`n$($_.Groups[2].Value)"}
Но то ли код неправильный, то ли regex. Вылазит ошибка "Невозможно индексировать в пустой массив"
Нужно взять все значения name и link и вывести их попарно, link под name
Заранее благодарен за помощь и подсказки.
0
Лучшие ответы (1)
Сообщение: #13970916
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
 05.11.2019, 18:18
Ответы с готовыми решениями:

Выделить из файла со списком файлов строки с именами htm-файлов и создать htm-файл со ссылками
Помогите с задачками! Задачи на bat-файлы: Выделить из файла со списком файлов строки с именами...

Создать HTML-файл со ссылками на все htm-файлы текущего каталога
Создать HTML-файл со ссылками на все htm-файлы текущего каталога: <HTML><HEAD><META...

Вывод в csv вместо htm
Всем привет. Прошу помощи в таком вопросе. Есть скрипт собирающий информацию из csv файлов и...

7
Покинул форум
3700 / 1483 / 355
Регистрация: 07.05.2015
Сообщений: 2,903
05.11.2019, 21:16
Это не HTML, а JSON.
PowerShell
1

(Get-Content .\input.json | ConvertFrom-Json).ForEach{[PSCustomObject]@{name=$_.name;link=$_.stream.link}}
1
14 / 12 / 2
Регистрация: 27.03.2017
Сообщений: 105
05.11.2019, 21:28  [ТС]
greg zakharov, спасибо большое!
Просто этот файл, при сохранении из браузера, сохраняется как htm... не знал какой точно это формат.
Подскажите, пожалуйста, а как его теперь правильно сохранить в текстовом формате (имя, под ним ссылка).
А то при сохранении через Set-Content много мусора берётся. Можно его потом и удалить, но некрасивый код получится.

И по первому вопросу. Есть всё-таки способ в похожем файле, ну или в другом каком тексте захватить с помощью Select-String два значения ?
0
Покинул форум
3700 / 1483 / 355
Регистрация: 07.05.2015
Сообщений: 2,903
05.11.2019, 22:06
Лучше сохраните итог в CSV - проще для восприятия и в какой-либо табличный парсер можно загрузить.
PowerShell
1

(Get-Content .\input.json | ConvertFrom-Json).ForEach{[PSCustomObject]@{name=$_.name;link=$_.stream.link}} | Export-Csv -Path .\result.csv
1
14 / 12 / 2
Регистрация: 27.03.2017
Сообщений: 105
05.11.2019, 22:23  [ТС]
Спасибо!
0
14 / 12 / 2
Регистрация: 27.03.2017
Сообщений: 105
07.11.2019, 01:00  [ТС]
Доброй ночи всем!
Прошу помощи с разбором ещё одной похожей страницы https://frontend.vh.yandex.ru/channels
Вроде тоже формат json, но код ув. greg zakharov с ней не срабатывает, выскакивает ошибка о недопустимости применения цикла ForEach.
таким кодом:
PowerShell
1
2

$url = "https://frontend.vh.yandex.ru/channels"
Invoke-RestMethod -UseBasicParsing -Uri $url | ConvertTo-Json -depth 10
получаю уже, по моему мнению, может я и неправ, тоже json такого вида (часть кода):
JSON
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184

{
    "user_data":  {
                      "req_id":  "1573076753185279-17538782435231575860"
                  },
    "set":  [
                {
                    "auto_fields":  {
                                        "with_cmnt":  true,
                                        "cmnt_id":  "4a2d2963e4813cd1843a1283390c971a"
                                    },
                    "family_id":  1552668708,
                    "streams":  [
                                    {
                                        "options":  [
 
                                                    ],
                                        "url":  "https://strm.yandex.ru/kal/sambo_worldcup_3/manifest.mpd?from=unknown\u0026imp_id=8\u0026partner_id=382072\u0026target_ref=https%3A//yastatic.net\u0026uuid=4a2d2963e4813cd1843a1283390c971a\u0026video_category_id=1017",
                                        "title":  "main"
                                    },
                                    {
                                        "options":  [
 
                                                    ],
                                        "url":  "https://strm.yandex.ru/kal/sambo_worldcup_3/sambo_worldcup_30.m3u8?from=unknown\u0026imp_id=8\u0026partner_id=382072\u0026target_ref=https%3A//yastatic.net\u0026uuid=4a2d2963e4813cd1843a1283390c971a\u0026video_category_id=1017",
                                        "title":  "main"
                                    }
                                ],
                    "duration":  0,
                    "channel_multiplex_number":  0,
                    "skippableFragments":  {
 
                                           },
                    "content_type_name":  "channel",
                    "stream":  {
                                   "trackings":  {
                                                     "trackingEvents":  [
 
                                                                        ]
                                                 },
                                   "withCredentials":  true
                               },
                    "internal":  false,
                    "content_url":  "https://strm.yandex.ru/kal/sambo_worldcup_3/sambo_worldcup_30.m3u8?from=unknown\u0026imp_id=8\u0026partner_id=382072\u0026target_ref=https%3A//yastatic.net\u0026uuid=4a2d2963e4813cd1843a1283390c971a\u0026video_category_id=1017",
                    "status":  [
                                   "hide_schedule",
                                   "auto_announce",
                                   "published",
                                   "hidden"
                               ],
                    "thumbnail":  "//avatars.mds.yandex.net/get-vh/1517156/9684192716786284594-yDd2j0XleeYv1xsGC1VH9ag-1553198482/orig",
                    "blacked":  0,
                    "can_play_on_station":  true,
                    "channel_category":  [
                                             "sport"
                                         ],
                    "update_time":  1572018332,
                    "embed_url":  "https://frontend.vh.yandex.ru/player/4a2d2963e4813cd1843a1283390c971a?from=unknown",
                    "computed_title":  "Кубок Мира по самбо (3 канал)",
                    "parent_id":  "49efcf58f9f5b8c29324d8e764dcb41d",
                    "meta":  {
                                 "weight":  0,
                                 "with_sport_prediction":  false,
                                 "with_overlay":  false,
                                 "project_alias":  "sambo_worldcup",
                                 "with_deep_hd":  false,
                                 "announce_thumbnail":  "//avatars.mds.yandex.net/get-vh/1454382/2a0000016996cec624dc20ae3b18fb174839/orig",
                                 "without_timeline":  false
                             },
                    "has_cachup":  1,
                    "main_color":  "#205080",
                    "description":  "Канал для трансляции Кубка Мира по самбо Мемориал А.А. Харлампиева",
                    "catchup_age":  2678400,
                    "channel_id":  1552668708,
                    "restriction_age":  18,
                    "deprecated_content_id":  "9684192716786284594",
                    "is_special_project":  true,
                    "dvr":  300,
                    "content_id":  "4a2d2963e4813cd1843a1283390c971a",
                    "title":  "Кубок Мира по самбо (3 канал)",
                    "download_episodes":  1,
                    "deep_hd":  false,
                    "has_schedule":  1,
                    "project_start_time":  1553212800,
                    "project_expiration_time":  1553385599,
                    "adConfig":  {
                                     "video_content_id":  "4a2d2963e4813cd1843a1283390c971a",
                                     "distr_id":  0,
                                     "hasPreroll":  false,
                                     "partner_id":  382072,
                                     "category":  1017,
                                     "video_genre_name":  [
 
                                                          ],
                                     "video_content_name":  "Кубок Мира по самбо (3 канал)"
                                 },
                    "has_vod":  0,
                    "logo":  "//avatars.mds.yandex.net/get-vh/1534896/9684192716786284594-t20FBZdt56vR0Qif8nh6bg-1553190736/orig"
                },
                {
                    "auto_fields":  {
                                        "with_cmnt":  true,
                                        "cmnt_id":  "47bb95ad0594874d8a0973368419835d"
                                    },
                    "family_id":  143,
                    "streams":  [
                                    {
                                        "options":  [
 
                                                    ],
                                        "url":  "https://strm.yandex.ru/kal/elka/elka0.m3u8?from=unknown\u0026partner_id=335928\u0026target_ref=https%3A//yastatic.net\u0026uuid=47bb95ad0594874d8a0973368419835d\u0026video_category_id=1017",
                                        "title":  "elka_stream"
                                    }
                                ],
                    "duration":  0,
                    "channel_multiplex_number":  0,
                    "skippableFragments":  {
 
                                           },
                    "content_type_name":  "channel",
                    "stream":  {
                                   "trackings":  {
                                                     "trackingEvents":  [
 
                                                                        ]
                                                 },
                                   "withCredentials":  true
                               },
                    "internal":  false,
                    "content_url":  "https://strm.yandex.ru/kal/elka/elka0.m3u8?from=unknown\u0026partner_id=335928\u0026target_ref=https%3A//yastatic.net\u0026uuid=47bb95ad0594874d8a0973368419835d\u0026video_category_id=1017",
                    "status":  [
                                   "hide_schedule",
                                   "auto_announce",
                                   "published",
                                   "hidden"
                               ],
                    "thumbnail":  "//avatars.mds.yandex.net/get-vh/1496358/17255211381094683872-9vjundHBmFHkNraxstGFAfg-1545917161/orig",
                    "blacked":  0,
                    "can_play_on_station":  true,
                    "channel_category":  [
                                             "entertain"
                                         ],
                    "update_time":  1552299813,
                    "embed_url":  "https://frontend.vh.yandex.ru/player/47bb95ad0594874d8a0973368419835d?from=unknown",
                    "computed_title":  "Ёлка в Гостином дворе",
                    "parent_id":  "49efcf58f9f5b8c29324d8e764dcb41d",
                    "meta":  {
                                 "weight":  0,
                                 "with_sport_prediction":  false,
                                 "with_overlay":  false,
                                 "with_deep_hd":  false,
                                 "announce_thumbnail":  "//avatars.mds.yandex.net/get-vh/1370729/2a00000167efd160d8e3d8026b270b196717/orig",
                                 "without_timeline":  false
                             },
                    "has_cachup":  1,
                    "main_color":  "#3050B0",
                    "description":  "Ёлка в Гостином дворе стала доброй традицией, и по праву считается одним из самых главных и интересных новогодних событий в городе.",
                    "catchup_age":  26948753,
                    "channel_id":  1544558652,
                    "restriction_age":  18,
                    "deprecated_content_id":  "17255211381094683872",
                    "is_special_project":  true,
                    "dvr":  300,
                    "content_id":  "47bb95ad0594874d8a0973368419835d",
                    "title":  "Ёлка в Гостином дворе",
                    "download_episodes":  0,
                    "ya_video_preview":  "https://video-preview.s3.yandex.net/vh/17255211381094683872_preview.mp4",
                    "deep_hd":  false,
                    "has_schedule":  1,
                    "project_start_time":  1546128000,
                    "project_expiration_time":  1554076799,
                    "adConfig":  {
                                     "video_content_id":  "47bb95ad0594874d8a0973368419835d",
                                     "distr_id":  0,
                                     "hasPreroll":  true,
                                     "partner_id":  335928,
                                     "category":  1017,
                                     "video_genre_name":  [
 
                                                          ],
                                     "video_content_name":  "Ёлка в Гостином дворе"
                                 },
                    "has_vod":  0,
                    "logo":  "//avatars.mds.yandex.net/get-vh/1433035/17255211381094683872-bJi71LjgB6IF-8ZdP3vEjQ-1545916987/orig"
                }
Но дальше его разобрать не получается. Нужны значения video_content_name и content_url
Подскажите, пожалуйста, как можно распарсить такой файл ?
0
Покинул форум
3700 / 1483 / 355
Регистрация: 07.05.2015
Сообщений: 2,903
07.11.2019, 10:15
Лучший ответ Сообщение было отмечено Uragan66 как решение

Решение

В ответном JSON несколько объектов: icons, set и user_name, - первые два - массивы объектов, последний - просто объект (хэш) с полем req_id. В данном же случае интерес будет представлять именно set, в котором и содержится вся интересующая информация. Иными словами, если в переменной $json хранится значение set (массив объектов, к которому применим цикл ForEach), решение можно представить по уже приведенной аналогии:
PowerShell
1

$json.ForEach{[PSCustomObject]@{name=$_.adConfig.video_content_name;url=$_.content_url}} | Export-Csv ...
Все это несложно сообразить, если тщательно обдумывать прежние решения.
1
14 / 12 / 2
Регистрация: 27.03.2017
Сообщений: 105
07.11.2019, 10:57  [ТС]
greg zakharov, спасибо большое!
Цитата Сообщение от greg zakharov Посмотреть сообщение
Все это несложно сообразить, если тщательно обдумывать прежние решения
Вроде то и обдумываю, но знаний не хватает.
Сейчас всё получилось. Ещё раз моя благодарность!
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
 07.11.2019, 10:57
Помогаю со студенческими работами здесь

Парсинг веб страницы средствами VBS
Предположим, у меня есть страница какого-либо товара с мосигры (прим. -...

Парсинг лога. Перевод скрипта с bash в vbs.
Проблема такая. В основном работаю с Linux, но сейчас потребовалось написать скрипт как под Linux,...

Парсинг текстового файла
Здравствуйте Мне нужно написать бат файл, который будет читать строку из текстового файла,...

Пинг через парсинг ini-файла
1) Нужно парсинговать txt. файл с расширением ini, который расположен в C:\ а в txt. файле...

Парсинг, правка, копирование конфигурационного файла
Здравствуйте все. Свалилась на меня, значит, задача, написать такой вот бат-файл до завтрашнего...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
8
Ответ Создать тему
Новые блоги и статьи
WordPad для Windows 11
Jel 10.01.2026
WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .
Classic Notepad for Windows 11
Jel 10.01.2026
Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .
Почему дизайн решает?
Neotwalker 09.01.2026
В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .
Модель микоризы: классовый агентный подход 3
anaschu 06.01.2026
aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114
Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR
ФедосеевПавел 06.01.2026
Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .
Модель микоризы: классовый агентный подход 2
anaschu 06.01.2026
репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .
Расчёт токов в цепи постоянного тока
igorrr37 05.01.2026
/ * Дана цепь постоянного тока с сопротивлениями и напряжениями. Надо найти токи в ветвях. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и решает её. Последовательность действий:. . .
Новый CodeBlocs. Версия 25.03
palva 04.01.2026
Оказывается, недавно вышла новая версия CodeBlocks за номером 25. 03. Когда-то давно я возился с только что вышедшей тогда версией 20. 03. С тех пор я давно снёс всё с компьютера и забыл. Теперь. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Поддержать - Реклама - Условия использования - Обратная связь
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru