Форум программистов, компьютерный форум, киберфорум
Java SE (J2SE)
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 5.00/3: Рейтинг темы: голосов - 3, средняя оценка - 5.00
 Аватар для olexiy86
32 / 30 / 11
Регистрация: 27.09.2014
Сообщений: 359

Как скачать index.html под видом браузера

13.12.2016, 17:38. Показов 1045. Ответов 7
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Задача в том что нужно скачать с сайта файл index.html , как это сделать я знаю, но мне нужно скачать его так, чтобы сервер с которого качаю ничего не понял, и не отличил меня от браузера. Как это сделать ? На какие параметры запроса нужно обратить внимание?
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
13.12.2016, 17:38
Ответы с готовыми решениями:

В чем разница: скачать Windows 10 с трекера или с офсайта под видом человека с ограниченными возможностями?
Здравствуйте. Извините за беспокойство просто мучает 1 вопрос. Подскажите в чем разница скачать Windoows 10 с торрента или скачать с офф...

Как сделать чтобы "WebBrowser1.Navigate ("Index.html ")" вызывал Index.html из каталога в котором находится?
Люди добрые, помогите. Проблема в следующем: Как сделать чтобы "WebBrowser1.Navigate ("Index.html ")" вызывал Index.html...

Как сделать что бы первым загружался не index.php а index.html
Как сделать что бы первым загружался не index.php а index.html Находил в гугл инфо, пробовал ничего не получается... Вот мой код с ...

7
2884 / 2296 / 769
Регистрация: 12.05.2014
Сообщений: 7,978
13.12.2016, 17:42
я бы предложил почитать про jsoup и useragent
1
 Аватар для olexiy86
32 / 30 / 11
Регистрация: 27.09.2014
Сообщений: 359
13.12.2016, 18:44  [ТС]
Паблито, Сейчас почитаю, но я так понимаю если просто сделать как ниже то меня раскроют ?
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
public class DownloadHtml {
 
    private URLConnection urlConnection;
 
    public DownloadHtml() throws Exception {
 
        openConnection();
 
        getDataStream();
 
    }
 
    private void openConnection()  {
 
        URL url = null;
        try {
            url = new URL("https://www.#####");
            
        } catch (MalformedURLException e) {
            e.printStackTrace();
        }
 
        try {
            urlConnection = url.openConnection();
 
            System.out.println("=== Connection open  ===");
        } catch (IOException e) {
            e.printStackTrace();
        }
 
        try {
            urlConnection.connect();
 
            System.out.println("=== Connection sucessfull !!! ===");
        } catch (IOException e) {
            e.printStackTrace();
        }
 
   }
 
   private void getDataStream() throws Exception {
 
       InputStreamReader  inStream = new InputStreamReader(urlConnection.getInputStream());
       BufferedReader bufferedReader = new BufferedReader(inStream);
       String inputline;
 
       while((inputline=bufferedReader.readLine()) != null){
           System.out.println(inputline);
       }
       
   }
}
0
2884 / 2296 / 769
Регистрация: 12.05.2014
Сообщений: 7,978
13.12.2016, 19:09
что нужно сделать на самом деле?
ведь нужен не сам файл, а надо что-то в нем парсить и вытягивать инфу?
0
 Аватар для olexiy86
32 / 30 / 11
Регистрация: 27.09.2014
Сообщений: 359
13.12.2016, 19:18  [ТС]
Паблито, Да, например я обращаюсь к некоторому сайту (у которого нет API ). И он мне даёт по одной страничке, а таких страничек больше 200 (по 20 интересующих меня обьектов на каждой, например сайт знакомств , и с каждого обьекта мне нужен возраст и цвет глаз. ). Так вот я боюсь что если сделаю 200 запросов за 200 сек, и это всё в наглую способом выше то там сразу поймут в чём дело. И могут заблокировать мой IP ( или не могут ?). Вот и хочу косить под браузер, или есть ещё варианты ?
0
2884 / 2296 / 769
Регистрация: 12.05.2014
Сообщений: 7,978
13.12.2016, 19:26
потому я сразу и предложил почитать про jsoup
большинство сайтов разбирается на ура
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import java.io.IOException;
 
public class TestJsoup {
 
    public static void main(String[] args) throws IOException {
 
        Connection.Response response = Jsoup.connect("http://minfin.com.ua/")
                .userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64; rv:49.0) Gecko/20100101 Firefox/49.0").execute();
        Document document = Jsoup.parseBodyFragment(response.body());
 
        String text = document.select("span.mf-currencies-bidask-wrap").text();
        System.out.println(text);
    }
}
просто пример, берет текст с курсом валют

в запросах используется jquery синтаксис, короче читать и изучать есть что
1
Эксперт Java
 Аватар для KEKCoGEN
2399 / 2224 / 565
Регистрация: 28.12.2010
Сообщений: 8,672
13.12.2016, 20:03
olexiy86, всем по барабану на ваши 200 запросов. Можете качать не боясь
1
 Аватар для olexiy86
32 / 30 / 11
Регистрация: 27.09.2014
Сообщений: 359
13.12.2016, 20:06  [ТС]
KEKCoGEN, Успокоил, спасибо.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
13.12.2016, 20:06
Помогаю со студенческими работами здесь

Как сделать отображене нужного мне контента в index.php и index.html ?
Здравствуйте ! Подскажите пожалуйста . Опишу ситуацию вкратце есть форум index.php в главной странице есть Раздел "Самые обсуждаемые...

Как сделать одинаковое отображене нужного мне контента в index.php и index.html ?
Здравствуйте ! Подскажите пожалуйста .И извините за глупый вопрос.К php редко обращаюсь. Опишу ситуацию вкратце есть форум index.php в...

Как можно прописать, чтобы при открытии домена в браузере по умолчанию открывался не index.html, а index.php?
Добрый день! Подскажите, как можно прописать, чтобы при открытии домена в браузере по умолчанию открывался не index.html, а index.php?

Как вводить пароль под видом звездочек
Мне нужно поставить пароль на программу? сам пароль я так то поставил вот: Private Sub Form_Load() Dim a As String a =...

Как отправить http запрос под видом Android/iOS приложения?
Нужно чтобы сайт определил меня как телефон, а не компьютер и причём запрос выглядел как будто он отправлен из приложения телефона,...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
8
Ответ Создать тему
Новые блоги и статьи
http://iceja.net/ математические сервисы
iceja 20.01.2026
Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .
http://iceja.net/ сервер решения полиномов
iceja 18.01.2026
Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .
Расчёт переходных процессов в цепи постоянного тока
igorrr37 16.01.2026
/ * Дана цепь постоянного тока с R, L, C, k(ключ), U, E, J. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа, решает её и находит: токи, напряжения и их 1 и 2 производные при t = 0;. . .
Восстановить юзерскрипты Greasemonkey из бэкапа браузера
damix 15.01.2026
Если восстановить из бэкапа профиль Firefox после переустановки винды, то список юзерскриптов в Greasemonkey будет пустым. Но восстановить их можно так. Для этого понадобится консольная утилита. . .
Сукцессия микоризы: основная теория в виде двух уравнений.
anaschu 11.01.2026
https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/
WordPad для Windows 11
Jel 10.01.2026
WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .
Classic Notepad for Windows 11
Jel 10.01.2026
Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .
Почему дизайн решает?
Neotwalker 09.01.2026
В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru