Форум программистов, компьютерный форум, киберфорум
Python: API, боты
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
0 / 0 / 0
Регистрация: 19.03.2022
Сообщений: 1

Парсинг сайта

06.03.2024, 19:39. Показов 509. Ответов 1

Студворк — интернет-сервис помощи студентам
Всем привет! Столкнулся с такой проблемой, при парсинге сайта, с использованием requests: мне нужно собрать ссылки и текст, но проблема в том, что ссылка пишется не напрямую, а через функцию js в html коде, то есть, грубо говоря мне нужно чтобы вызвать функцию js, передав ей параметры. В целом, всё работает, но при использовании текущего способа ключ одной из спаршенных ссылок бьётся и по итогу ссылка получается невалидной. И да, мне нужно вызвать эту функцию (не знаю как). Я не могу использовать Selenium, пишу код на #Python

Я первый раз на форуме и только начинаю осваивать парсинг, буду очень благодарен за ответ

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
function submit(key, title, value)
    {
        var url = document.location.href;
        if (document.location.href.indexOf('#') != -1)
            url = document.location.href.substring(0, document.location.href.indexOf('#'));
        if (value != '')
            document.location.href = url + "#" + value;
        else
            document.location.href = url;
        var form = document.getElementById('PostForm');
        form.innerHTML = "<input type=\"hidden\" name=\"Key\">";
        form.innerHTML += "<input type=\"hidden\" name=\"Title\">";
        document.forms[1].Key.value = key;
        document.forms[1].Title.value = title;
        document.forms[1].action = "Groups.aspx";
        document.forms[1].submit();
    }
HTML5
1
<a href="javascript:submit('RJuzPlvdavwzyOu12R7PKQ==','название товара....','0');">название товара....</a>
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
06.03.2024, 19:39
Ответы с готовыми решениями:

Парсинг сайта с синонимами
# scraper.py import requests from bs4 import BeautifulSoup url = 'https://text.ru/' response = requests.get(url) soup =...

Парсинг динамического сайта
import fake_useragent import requests from bs4 import BeautifulSoup def get_discounts(): user =...

Парсинг расписания автобусов с сайта
я хочу в свой телеграмм бот парсить расписание автобусов с сайта. Но у меня не получается ничего, я 2 дня работаю на Python.Если кто - то...

1
Заклинатель змей
 Аватар для DobroAlex
705 / 560 / 219
Регистрация: 30.04.2016
Сообщений: 2,605
08.03.2024, 01:49
notforu, вы бы хоть сайт дали. Алсо, вариантов 2:
1) написать свою функцию на питоне, которая будет считать тоже,что и JS функция. Будет работать ровно до тех пор, пока не поменяется реализация функции на сайте
2( использовать selenium и не становиться во вторую позу
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
08.03.2024, 01:49
Помогаю со студенческими работами здесь

Парсинг сайта и загрузка изображений
Всю голову сломал. Помогите, пожалуйста. Как можно с конкретной страницы гугла...

Парсинг данных с сайта в Google Sheets
Здравствуйте, я полный новичок в Google Sheets, можете пожалуйста направить меня на правильный пусть, мне нужно с сайта: ...

Как исключить из поиска информацию, которую уже отправлял бот (парсинг сайта)?
Доброго времени суток.Учусь писать телеграм ботов.У меня стоит задача написать бота с рецептами,который производит поиск по ключевым...

Парсинг сайта
import requests from bs4 import BeautifulSoup pric=*4 q=0 for j in range(1,2): url =...

Парсинг сайта
Пишу телеграм бота где можно поискать команду для игор. Дошек в standoff 2, но у них нету api, зато есть оффициальный магазин, в котором...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Новые блоги и статьи
Знаешь почему 90% людей редко бывают счастливыми?
kumehtar 14.04.2026
Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.
Фиксация колонок в отчете СКД
Maks 14.04.2026
Фиксация колонок в СКД отчета типа Таблица. Задача: зафиксировать три левых колонки в отчете. Процедура ПриКомпоновкеРезультата(ДокументРезультат, ДанныеРасшифровки, СтандартнаяОбработка) / / . . .
Настройки VS Code
Loafer 13.04.2026
{ "cmake. configureOnOpen": false, "diffEditor. ignoreTrimWhitespace": true, "editor. guides. bracketPairs": "active", "extensions. ignoreRecommendations": true, . . .
Оптимизация кода на разграничение прав доступа к элементам формы
Maks 13.04.2026
Алгоритм из решения ниже реализован на нетиповом документе, разработанного в конфигурации КА2. Задачи, как таковой, поставлено не было, проделанное ниже исключительно моя инициатива. Было так:. . .
Контроль заполнения и очистка дат в зависимости от значения перечислений
Maks 12.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .
Архитектура слоя интернета для сервера-слоя.
Hrethgir 11.04.2026
В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .
Подстановка значения реквизита справочника в табличную часть документа
Maks 10.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: при выборе сотрудника (справочник Сотрудники) в ТЧ документа. . .
Очистка реквизитов документа при копировании
Maks 09.04.2026
Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru