Странные вещи при сериализации

@phvoronov · Регистрация: 27.07.2012

Студворк — интернет-сервис помощи студентам

(РЕШЕНА)
Столкнулся со странным для меня поведением джавы при сериализации. Саму проблему сформулирую без привязи к самому приложению, чтобы было легче понять.
Итак, пусть мне надо записать очень большой файл байтов и есть функция их генерирующая. Нельзя все байты сгенерировать сразу, тк их может быть очень много (гигабайты, например). Будем записывать по мегабайту.

Поэтому, первая мне пришедшая в голову реализация:

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
public class Main {
    public static Random random = new Random(System.currentTimeMillis());
    
    public static byte giveMeNextByte() {
        return (byte) random.nextInt();
    }
    
 
    public static void main(String[] args) throws InterruptedException, FileNotFoundException, IOException {
        ObjectOutputStream out = new ObjectOutputStream(new FileOutputStream("data/file"));
        byte[] array = new byte[1024 * 1024];
        
        for (int i = 0; i < 300; i++) {
            System.out.println(i);
            for (int j = 0; j < array.length; j++) {
                array[j] = giveMeNextByte();
            }
            out.writeObject(array);
        }
        
        out.close();
    }
 
}

Но что произойдет?
Java подумает, что мы 300 раз записываем один и тот же массив (ссылка же у array не меняется), поэтому она сохранит значения только первого массива и все остальные 299 будет считать его повторами. Как итог, у нас файл будет занимать всего 1 мегабайт и при чтении 300 массивов мы будем получать один и тот же первый записанный массив.
Для меня это было удивительным, тк я думал, что такого рода "умные вещи" с анализом ссылок происходит только при вызове сериализации всего объекта и во время его записи анализируются все его референсы. Ну да ладно. Оказывается java анализирует ссылки и когда вручную пошагово записываем объекты в поток.

Таким образом проблема ещё не решена. Тогда приходит в голову другое решение. Создавать каждый раз новый массив.

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
public class Main {
    public static Random random = new Random(System.currentTimeMillis());
    
    public static byte giveMeNextByte() {
        return (byte) random.nextInt();
    }
    
 
    public static void main(String[] args) throws InterruptedException, FileNotFoundException, IOException, ClassNotFoundException {
        ObjectOutputStream out = new ObjectOutputStream(new FileOutputStream("data/file"));
        byte[] array = new byte[1024 * 1024];
        
        for (int i = 0; i < 300; i++) {
            System.out.println(i);
            array = new byte[1024 * 1024];
            for (int j = 0; j < array.length; j++) {
                array[j] = giveMeNextByte();
            }
            out.writeObject(array);
        }
        
        out.close();
    }
 
}

Что-ж, вот теперь заработает, но только если вместо 300 массивов мы будем записывать поменьше — 100, например. Тк если запустим как есть, то на ~250 крешнется с ошибкой java.lang.OutOfMemoryError: Java heap space.
Происходит это, наверное, тк java ObjectOutputStream не освобождает записанные в него объекты для "умной" работы со ссылками. И совсем непонятно как эту проблему решить, прошу совета.

Добавлено через 2 часа 46 минут
Проблема решена замечательным методом reset() у объектного потока, который заставляет джаву забыть о записанных объектах.

@Skipy · 27.07.2012, 23:59

А просто записывать сгенерированные байты через OutputStream.write(byte[]) Вы не пробовали? Без использования сериализации массивов? Самый простой и эффективный путь.

@janoh · 28.07.2012, 00:16

На практике мне требовалось сохранять объекты, а не массивы; да, у некоторых были поля-байтэрреи.
reset() всё спас. Просто я не думал, что, например, даже после такой конструкции

Java
1
out.writeObject(new SomeClass());

созданный экземпляр будет находиться в оперативной памяти.

Новые блоги и статьи Все статьи Все блоги /
Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .	влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .	Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .
Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .	Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly 8Observer8 24.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .	моя боль iceja 24.01.2026 Выложила интерполяцию кубическими сплайнами www. iceja. net REST сервисы временно не работают, только через Web. Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .	Модель сукцессии микоризы anaschu 24.01.2026 Решили писать научную статью с неким РОманом

@Skipy 2000 / 1427 / 92 Регистрация: 25.11.2010 Сообщений: 3,611
	27.07.2012, 23:59
	А просто записывать сгенерированные байты через OutputStream.write(byte[]) Вы не пробовали? Без использования сериализации массивов? Самый простой и эффективный путь. 0