Форум программистов, компьютерный форум CyberForum.ru

Java EE (J2EE)

Войти
Регистрация
Восстановить пароль
 
Hatsuko
-1 / 0 / 0
Регистрация: 04.12.2014
Сообщений: 45
#1

Jsoup не коннектится к гуглу - Java EE

08.01.2017, 23:02. Просмотров 198. Ответов 2
Метки нет (Все метки)

Java
1
2
3
4
5
6
7
8
String link ="https://www.google.com/search?q="+word.getKeyWord()+'/';
            System.out.print(link);
           
            try {
                  Document doc = Jsoup.connect(link).get();
            } catch (IOException ex) {
                 Logger.getLogger(Search.class.getName()).log(Level.SEVERE, null, ex);
        }
Jsoup не коннектится к гуглу

в чем причина и как решить эту проблему?
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
08.01.2017, 23:02     Jsoup не коннектится к гуглу
Посмотрите здесь:

Java SE JSoup парсер
Jsoup проверка на существование Java SE
Java SE Как построчно считать/записать (текст получаю через JSoup)
парсер JSOUP Java SE
HTML, CSS Оптимизация загрузки CSS по Гуглу
Java SE Jsoup redirect
Java SE Jsoup и авторизация
Общение с сервером через Jsoup Java SE
нужен совет по парсеру jsoup и запросам к гуглу Java Сети
Jsoup Java SE
Как угодить гуглу с оптимизацией?
Парсинг Jsoup Java SE

Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
После регистрации реклама в сообщениях будет скрыта и будут доступны все возможности форума.
we2seek
75 / 75 / 17
Регистрация: 25.01.2010
Сообщений: 360
09.01.2017, 00:55     Jsoup не коннектится к гуглу #2
Сейчас под рукой нет компа, чтоб проаерить, но в интернетах советуют указать юзерагента:
Java
1
2
3
Jsoup.connect(itemUrl)
     .userAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.152 Safari/537.36")
     .get()
turbanoff
Модератор
Эксперт Java
3903 / 3638 / 436
Регистрация: 18.05.2010
Сообщений: 9,160
Записей в блоге: 11
Завершенные тесты: 1
10.01.2017, 09:53     Jsoup не коннектится к гуглу #3
Цитата Сообщение от Hatsuko Посмотреть сообщение
в чем причина
Гугл не любит, когда к нему коннектятся боты, не используя API. Вот и запрещает вам получать выдачу.
Нужно попытаться прикинуться браузером, если вам нужно всё таки получать выдачу именно так.
Например отправлять стандартные http-headers который посылает браузер.
Yandex
Объявления
10.01.2017, 09:53     Jsoup не коннектится к гуглу
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2017, vBulletin Solutions, Inc.
Рейтинг@Mail.ru