С Новым годом! Форум программистов, компьютерный форум, киберфорум
Python для начинающих
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.76/21: Рейтинг темы: голосов - 21, средняя оценка - 4.76
9 / 0 / 0
Регистрация: 16.02.2019
Сообщений: 67

Парсинг Java чата

13.04.2020, 01:15. Показов 4553. Ответов 18

Студворк — интернет-сервис помощи студентам
здравствуйте.
Хочу спарсить чат - а конкретно все что есть в элементе(1).
Но если вписываю его для нахождения то его прога не находит.
Попробовал найти элемент выше(2) и получилось найти нужный элемент(3).
Но если попробовать найти то что вывелось то тоже самое(4)
Сказали что сайт наботает на Java и как такое парсить - не знаю.
Изначатьно запускаю через Selenium, и думал использовать bs4, но вроде он не умеет работать с Java.
Миниатюры
Парсинг Java чата   Парсинг Java чата   Парсинг Java чата  

Парсинг Java чата  
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
13.04.2020, 01:15
Ответы с готовыми решениями:

Парсинг телеграмм чата
Всем привет, задался вопросом, как можно парсить чат телеграмма? API телеграмма я так понимаю для своего собственного чата, а я в чат попал...

Парсинг ответов из бот-чата Телеграмм в Битрикс24 в карточку сделку в пользовательское поле
Добрый день, мне нужно реализовать бизнес-процесс в Б24. Отправлять конкретному пользователю в телеграмм сообщение с данными, типа (Имя:...

Cоздание java чата
Знающие ява программирование люди , помогите написать ява чат. Компьютера у меня нет и язык программирования незнаю. Но быстро учусь. И...

18
Эксперт по компьютерным сетям
 Аватар для Jabbson
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
13.04.2020, 03:39
Ни кода, ни сайта, а проблема описаны в комиксах, да так, что после прочтения становится меньше понятно, чем до. Уважаемый, так трудно помочь
1
13.04.2020, 09:28

Не по теме:

потом окажется что нужен сниффер, а не парсер...

0
13.04.2020, 14:35

Не по теме:

Не java, а javascript

0
Эксперт по компьютерным сетям
 Аватар для Jabbson
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
13.04.2020, 15:55
Цитата Сообщение от Рыжий Лис Посмотреть сообщение
Не java, а javascript

Не по теме:

Это мелочи, ты придираешься

0
9 / 0 / 0
Регистрация: 16.02.2019
Сообщений: 67
13.04.2020, 18:51  [ТС]
Jabbson, я не хотел скидывать сайт потому - что... ненадо) но коль уж надо то не бейте)
Кликните здесь для просмотра всего текста

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
from selenium import webdriver
from bs4 import BeautifulSoup
from lxml import html
import time
 
import requests
 
browser=webdriver.Firefox(executable_path=r"Путь\geckodriver.exe")
 
browser.get('https://rt.bongacams.com/')
 
submit = browser.find_element_by_xpath("/html/body/div[4]/div/div/div/div[2]/div[4]/a[1]")
submit.click()
 
submit = browser.find_element_by_xpath("/html/body/div[1]/div[3]/div[5]/div/a")
submit.click()
 
textarea=browser.find_element_by_name('log_in[username]')
textarea.send_keys('логин')
textarea=browser.find_element_by_name('log_in[password]')
textarea.send_keys('пароль')
time.sleep(1)
 
submit = browser.find_element_by_xpath("/html/body/div[1]/div[3]/div[5]/div/div/form/div/div[2]/button")
submit.click()
 
browser.get('https://rt.bongacams.com/profile/" - любая доступная модель')
0
9 / 0 / 0
Регистрация: 16.02.2019
Сообщений: 67
14.04.2020, 11:04  [ТС]
ну я так понял тему можно закрывать и создавать новую?) походу тут уже никто не ответит
0
Эксперт по компьютерным сетям
 Аватар для Jabbson
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
14.04.2020, 16:27
да все залипли на картинки теперь...

Добавлено через 1 минуту
Там чтобы до этого чата добраться, нужно быть залогиненым?
0
9 / 0 / 0
Регистрация: 16.02.2019
Сообщений: 67
15.04.2020, 01:18  [ТС]
Jabbson, не обязательною.. чат доступен и без логина. просто я моддер в том чате и хотел создать бота следящего за порядком. но основная задача - выдирать самое последнее сообщение из чата что-бы бот мог их проверять. но я тупо не понимаю почему я не могу пропарсить страницу и вместе с этим ко мне прийдёт сообщения чата.
0
Эксперт по компьютерным сетям
 Аватар для Jabbson
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
15.04.2020, 02:04
Лучший ответ Сообщение было отмечено Dobrodeetel как решение

Решение

Python
1
2
3
4
5
6
7
8
9
10
11
12
from selenium import webdriver
driver = webdriver.Chrome()
driver.get("<chat url goes here>")
 
agree = driver.find_element_by_css_selector('.agree')
agree.click()
 
msgs = driver.find_elements_by_css_selector('div.msg_member')
for msg in msgs:
    print(msg.text)
 
driver.close()
Добавлено через 53 секунды
вот все загруженные сообщения из отдельно взятого чата
1
9 / 0 / 0
Регистрация: 16.02.2019
Сообщений: 67
15.04.2020, 02:23  [ТС]
Jabbson, дружище) где ж ты был раньше?) обожаю тебя)
0
Эксперт по компьютерным сетям
 Аватар для Jabbson
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
15.04.2020, 02:26
Да я пока классы смотрел, три раза забыл зачем зашёл
0
9 / 0 / 0
Регистрация: 16.02.2019
Сообщений: 67
15.04.2020, 03:26  [ТС]
Jabbson, вот я пока что мучаю твой код. вот сказал бы ты в чем возвращает данные browser.get
я имею ввиду это список..? я рил не знаю как это определить. короче я бы хотел вывести только последний элемент или понять как понять индекс последнего) так же хотелось бы вывести полную инфу о сообщении а не только текст) например автора) если так можно. я то могу сделать алгоритм по избавлении лишнего хлама - но мне нужно понять как вывести вообще всю возможную инфу о сообщении)сможешь помочь 2 раз?)
0
Эксперт по компьютерным сетям
 Аватар для Jabbson
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
15.04.2020, 03:32
Цитата Сообщение от Dobrodeetel Посмотреть сообщение
но мне нужно понять как вывести вообще всю возможную инфу о сообщении
Например, какую? Ник и сообщение, какая там еще инфа?
0
9 / 0 / 0
Регистрация: 16.02.2019
Сообщений: 67
15.04.2020, 03:35  [ТС]
ну тип того) да там есть ник но он... соеденёт с сообщением.его конечно можно как то отделить но есть ли решение по легче?
кстати разобрался по поводу того как вывести последний элемент)
0
Эксперт по компьютерным сетям
 Аватар для Jabbson
5907 / 3359 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
15.04.2020, 04:18
Лучший ответ Сообщение было отмечено Dobrodeetel как решение

Решение

держи

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
 
driver = webdriver.Chrome()
driver.get("<chat url goes here>")
 
# click the button
agree = driver.find_element_by_css_selector('.agree')
agree.click()
 
try:
    # wait until we find .msg_member or timeout in 10sec
    last_msg = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, ".msg_member:last-of-type"))
    )
except TimeoutException:
    print("Cannot find the last message")
else:
    # found
    # extract nick and message
    nick = last_msg.find_element_by_tag_name('dfn').text
    msg = last_msg.find_element_by_css_selector('span.msg').text
 
    print('nick: {n}, message: {m}'.format(n=nick, m=msg))
finally:
    # clean up
    driver.quit()
3
9 / 0 / 0
Регистрация: 16.02.2019
Сообщений: 67
15.04.2020, 12:08  [ТС]
Боже, спасибо огромное!
0
0 / 0 / 0
Регистрация: 29.04.2021
Сообщений: 2
29.04.2021, 16:43
Здравствуйте, у меня похожая проблема, только мне нужен парсинг чата https://chaturbate.com/, не могли бы вы подсказать как будет выглядеть форма поиска для донатов? Я попытался сам разобраться, но мой код не работает

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
 
 
 
 
driver = webdriver.Chrome()
driver.get('https://chaturbate.com/model/');
driver.find_element_by_id("close_entrance_terms").click()
while(True):
    try:
        # wait until we find .msg_member or timeout in 10sec
        last_msg = WebDriverWait(driver, 10).until(
            EC.presence_of_element_located((By.CSS_SELECTOR, ".msg-text:last-of-type"))
        )
 
    except TimeoutException:
        print("Cannot find the last message")
    else:
        # # found
        # # extract nick and message
       
        msg = last_msg.find_element_by_css_selector('span.emoticonImage').text
 
        print('message: {m}'.format(m=msg))
0
0 / 0 / 0
Регистрация: 29.04.2021
Сообщений: 2
30.04.2021, 07:15
Спасибо уже не надо, разобрался сам!)
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
30.04.2021, 07:15
Помогаю со студенческими работами здесь

Пример простого чата на Java
Люди покажите пример простого чата на Java

Помощь с созданием (gui) чата на java для локальной сети
стоит задача создания чата. (с использованием сокетов) Вопросы в следующем!!! 1.как я понимаю сервер должен ожидать клиента в...

Нужен TCP STUN-SERVER для реализации чата в Java
Сразу извиняюсь, если не туда написал, но проблему срочно нужно решить. У меня есть готовый чат на Java, но он не будет работать через...

Трудности при написании чата. Покажите простой пример чата на 2 человека.
Ребят, уже с ума сошел, но никак не сделаю нормальный чат в PHP. Я делаю так: есть textatea и куда потом через POST записывается текст в...

Модуль для чата типа мини-чата вконтакте
Здравствуйте! Все же наверное знаю мини-чатик вконтакте, который находится в правом нижнем углу. На него можно нажать и перемещаться по...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
19
Ответ Создать тему
Новые блоги и статьи
сукцессия микоризы: основная теория в виде двух уравнений.
anaschu 11.01.2026
https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/
WordPad для Windows 11
Jel 10.01.2026
WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .
Classic Notepad for Windows 11
Jel 10.01.2026
Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .
Почему дизайн решает?
Neotwalker 09.01.2026
В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .
Модель микоризы: классовый агентный подход 3
anaschu 06.01.2026
aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114
Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR
ФедосеевПавел 06.01.2026
Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .
Модель микоризы: классовый агентный подход 2
anaschu 06.01.2026
репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .
Расчёт токов в цепи постоянного тока
igorrr37 05.01.2026
/ * Дана цепь постоянного тока с сопротивлениями и источниками (напряжения, ЭДС и тока). Найти токи и напряжения во всех элементах. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru