0 / 0 / 0
Регистрация: 19.03.2022
Сообщений: 1

Парсинг сайта

06.03.2024, 19:39. Показов 453. Ответов 1

Студворк — интернет-сервис помощи студентам
Всем привет! Столкнулся с такой проблемой, при парсинге сайта, с использованием requests: мне нужно собрать ссылки и текст, но проблема в том, что ссылка пишется не напрямую, а через функцию js в html коде, то есть, грубо говоря мне нужно чтобы вызвать функцию js, передав ей параметры. В целом, всё работает, но при использовании текущего способа ключ одной из спаршенных ссылок бьётся и по итогу ссылка получается невалидной. И да, мне нужно вызвать эту функцию (не знаю как). Я не могу использовать Selenium, пишу код на #Python

Я первый раз на форуме и только начинаю осваивать парсинг, буду очень благодарен за ответ

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
function submit(key, title, value)
    {
        var url = document.location.href;
        if (document.location.href.indexOf('#') != -1)
            url = document.location.href.substring(0, document.location.href.indexOf('#'));
        if (value != '')
            document.location.href = url + "#" + value;
        else
            document.location.href = url;
        var form = document.getElementById('PostForm');
        form.innerHTML = "<input type=\"hidden\" name=\"Key\">";
        form.innerHTML += "<input type=\"hidden\" name=\"Title\">";
        document.forms[1].Key.value = key;
        document.forms[1].Title.value = title;
        document.forms[1].action = "Groups.aspx";
        document.forms[1].submit();
    }
HTML5
1
<a href="javascript:submit('RJuzPlvdavwzyOu12R7PKQ==','название товара....','0');">название товара....</a>
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
06.03.2024, 19:39
Ответы с готовыми решениями:

Парсинг сайта с синонимами
# scraper.py import requests from bs4 import BeautifulSoup url = 'https://text.ru/' response = requests.get(url) soup =...

Парсинг динамического сайта
import fake_useragent import requests from bs4 import BeautifulSoup def get_discounts(): user =...

Парсинг расписания автобусов с сайта
я хочу в свой телеграмм бот парсить расписание автобусов с сайта. Но у меня не получается ничего, я 2 дня работаю на Python.Если кто - то...

1
Заклинатель змей
 Аватар для DobroAlex
705 / 560 / 219
Регистрация: 30.04.2016
Сообщений: 2,605
08.03.2024, 01:49
notforu, вы бы хоть сайт дали. Алсо, вариантов 2:
1) написать свою функцию на питоне, которая будет считать тоже,что и JS функция. Будет работать ровно до тех пор, пока не поменяется реализация функции на сайте
2( использовать selenium и не становиться во вторую позу
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
08.03.2024, 01:49
Помогаю со студенческими работами здесь

Парсинг сайта и загрузка изображений
Всю голову сломал. Помогите, пожалуйста. Как можно с конкретной страницы гугла...

Парсинг данных с сайта в Google Sheets
Здравствуйте, я полный новичок в Google Sheets, можете пожалуйста направить меня на правильный пусть, мне нужно с сайта: ...

Как исключить из поиска информацию, которую уже отправлял бот (парсинг сайта)?
Доброго времени суток.Учусь писать телеграм ботов.У меня стоит задача написать бота с рецептами,который производит поиск по ключевым...

Парсинг сайта
import requests from bs4 import BeautifulSoup pric=*4 q=0 for j in range(1,2): url =...

Парсинг сайта
Пишу телеграм бота где можно поискать команду для игор. Дошек в standoff 2, но у них нету api, зато есть оффициальный магазин, в котором...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Опции темы

Новые блоги и статьи
Первый деплой
lagorue 16.01.2026
Не спеша развернул своё 1ое приложение в kubernetes. А дальше мне интересно создать 1фронтэнд приложения и 2 бэкэнд приложения развернуть 2 деплоя в кубере получится 2 сервиса и что-бы они. . .
Расчёт переходных процессов в цепи постоянного тока
igorrr37 16.01.2026
/ * Дана цепь постоянного тока с R, L, C, k(ключ), U, E, J. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа, решает её и находит токи на L и напряжения на C в установ. режимах до и. . .
Восстановить юзерскрипты Greasemonkey из бэкапа браузера
damix 15.01.2026
Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .
Изучаю kubernetes
lagorue 13.01.2026
А пригодятся-ли мне знания kubernetes в России?
Сукцессия микоризы: основная теория в виде двух уравнений.
anaschu 11.01.2026
https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/
WordPad для Windows 11
Jel 10.01.2026
WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .
Classic Notepad for Windows 11
Jel 10.01.2026
Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .
Почему дизайн решает?
Neotwalker 09.01.2026
В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru