Обход системы защиты контента веб страницы

@angeles86 · Регистрация: 22.09.2012

Студворк — интернет-сервис помощи студентам

Доброго времени суток.
Задали нам задачку: Написать класс, который должен скачать исходный текст веб страницы.
А вот в качестве тренировки дали злобный сайт http://anidb.net и ряд ему подобных (по сложности).
Ни одни стандартные средства JAVA не помогают. Типа:

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import java.net.*;
import java.io.*;
 
public class URLReader {
    public static void main(String[] args) throws Exception {
 
        URL link = new URL("http://www.anidb.net/");
        BufferedReader in = new BufferedReader(
        new InputStreamReader(link.openStream()));
 
        String inputLine;
        while ((inputLine = in.readLine()) != null)
            System.out.println(inputLine);
        in.close();
    }
}

Результат данного кода и ряда ему подобных, следующий:
Šwq>²"¦§5´_ï__ÇUº=ôÙö?kŠ}~“bd`?l“Ïçz¢Çê õ>_"?j×‰R“y}K¸\Ìc_DLÙªÏ_
–óMm_¼_0”•ö°ËC_aí½sî¤ìÁS ‚>dC0ìs_–y¹ñ±ÏÝÜAø%È_äÖá__æ©A@,4x„Š¶_ëÉƒ ?

Пробовали фиксить все что приходило в голову: headers, cookies итд.
Ничего не получается. За 2 недели ноль результата.
Если есть идеи, буду рад с ними ознакомится.
СНОВА ХОЧУ СПАТЬ ПО НОЧАМ!!!

Добавлено через 7 часов 6 минут
Ответ закодирован в gzip. Обернуть входящий поток в java.util.zip.GZIPInputStream и проблема решена.
Добрые люди помогли.

@aleksandy · 25.09.2012, 08:18

На будущее, когда считываешь поток не байтами, а символами, обязатеьно надо указывать кодировку. Ее можно получить из заголовков http-запроса. Там же можно было увидеть, что ответ выдаётся в gzip-е. Ну, и, если это не цель задания, то лучше не изобретать велосипеды, а взять, например, http-клиента из apache-http-components или из jetty.

@angeles86 · 25.09.2012, 20:48 **[ТС]**

ОК. Спасиба. На будущее запомню.

Новые блоги и статьи Все статьи Все блоги /
Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .	влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .	Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .
Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .	Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .	Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly 8Observer8 24.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .	моя боль iceja 24.01.2026 Выложила интерполяцию кубическими сплайнами www. iceja. net REST сервисы временно не работают, только через Web. Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .

@aleksandy 636 / 528 / 165 Регистрация: 01.04.2010 Сообщений: 1,843
	25.09.2012, 08:18
	На будущее, когда считываешь поток не байтами, а символами, обязатеьно надо указывать кодировку. Ее можно получить из заголовков http-запроса. Там же можно было увидеть, что ответ выдаётся в gzip-е. Ну, и, если это не цель задания, то лучше не изобретать велосипеды, а взять, например, http-клиента из apache-http-components или из jetty. 0

@angeles86 0 / 0 / 0 Регистрация: 22.09.2012 Сообщений: 3
	25.09.2012, 20:48 [ТС]
	ОК. Спасиба. На будущее запомню. 0