Странные вещи при сериализации

@phvoronov · Регистрация: 27.07.2012

Студворк — интернет-сервис помощи студентам

(РЕШЕНА)
Столкнулся со странным для меня поведением джавы при сериализации. Саму проблему сформулирую без привязи к самому приложению, чтобы было легче понять.
Итак, пусть мне надо записать очень большой файл байтов и есть функция их генерирующая. Нельзя все байты сгенерировать сразу, тк их может быть очень много (гигабайты, например). Будем записывать по мегабайту.

Поэтому, первая мне пришедшая в голову реализация:

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
public class Main {
    public static Random random = new Random(System.currentTimeMillis());
    
    public static byte giveMeNextByte() {
        return (byte) random.nextInt();
    }
    
 
    public static void main(String[] args) throws InterruptedException, FileNotFoundException, IOException {
        ObjectOutputStream out = new ObjectOutputStream(new FileOutputStream("data/file"));
        byte[] array = new byte[1024 * 1024];
        
        for (int i = 0; i < 300; i++) {
            System.out.println(i);
            for (int j = 0; j < array.length; j++) {
                array[j] = giveMeNextByte();
            }
            out.writeObject(array);
        }
        
        out.close();
    }
 
}

Но что произойдет?
Java подумает, что мы 300 раз записываем один и тот же массив (ссылка же у array не меняется), поэтому она сохранит значения только первого массива и все остальные 299 будет считать его повторами. Как итог, у нас файл будет занимать всего 1 мегабайт и при чтении 300 массивов мы будем получать один и тот же первый записанный массив.
Для меня это было удивительным, тк я думал, что такого рода "умные вещи" с анализом ссылок происходит только при вызове сериализации всего объекта и во время его записи анализируются все его референсы. Ну да ладно. Оказывается java анализирует ссылки и когда вручную пошагово записываем объекты в поток.

Таким образом проблема ещё не решена. Тогда приходит в голову другое решение. Создавать каждый раз новый массив.

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
public class Main {
    public static Random random = new Random(System.currentTimeMillis());
    
    public static byte giveMeNextByte() {
        return (byte) random.nextInt();
    }
    
 
    public static void main(String[] args) throws InterruptedException, FileNotFoundException, IOException, ClassNotFoundException {
        ObjectOutputStream out = new ObjectOutputStream(new FileOutputStream("data/file"));
        byte[] array = new byte[1024 * 1024];
        
        for (int i = 0; i < 300; i++) {
            System.out.println(i);
            array = new byte[1024 * 1024];
            for (int j = 0; j < array.length; j++) {
                array[j] = giveMeNextByte();
            }
            out.writeObject(array);
        }
        
        out.close();
    }
 
}

Что-ж, вот теперь заработает, но только если вместо 300 массивов мы будем записывать поменьше — 100, например. Тк если запустим как есть, то на ~250 крешнется с ошибкой java.lang.OutOfMemoryError: Java heap space.
Происходит это, наверное, тк java ObjectOutputStream не освобождает записанные в него объекты для "умной" работы со ссылками. И совсем непонятно как эту проблему решить, прошу совета.

Добавлено через 2 часа 46 минут
Проблема решена замечательным методом reset() у объектного потока, который заставляет джаву забыть о записанных объектах.

@Skipy · 27.07.2012, 23:59

А просто записывать сгенерированные байты через OutputStream.write(byte[]) Вы не пробовали? Без использования сериализации массивов? Самый простой и эффективный путь.

@janoh · 28.07.2012, 00:16

На практике мне требовалось сохранять объекты, а не массивы; да, у некоторых были поля-байтэрреи.
reset() всё спас. Просто я не думал, что, например, даже после такой конструкции

Java
1
out.writeObject(new SomeClass());

созданный экземпляр будет находиться в оперативной памяти.

Новые блоги и статьи Все статьи Все блоги /
Валидация и контроль данных табличной части документа перед записью Maks 22.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в КА2. Задача: контроль и валидация данных табличной части документа перед записью с учетом регламента компании. . .	Отчёт о затраченных материалах за определенный период с макетом печатной формы Maks 21.04.2026 Отчёт из решения ниже размещён в конфигурации КА2. Задача: разработка отчёта по затраченным материалам за определённый период, с возможностью вывода печатной формы отчёта с шапкой и подвалом. В. . .	Отчёт о спецтехнике находящейся в ремонте Maks 20.04.2026 Отчёт из решения ниже размещен в конфигурации КА2. Задача: отобразить спецтехнику, которая на данный момент находится в ремонте. Есть нетиповой документ "Заявка на ремонт спецтехники" который. . .	Памятка для бота и "визитка" для читателей "Semantic Universe Layer (Слой семантической вселенной)" Hrethgir 19.04.2026 Сгенерировано для краткого описания по случаю сборки и компиляции скелета серверного приложения. И пусть после этого скажут, что статьи сгенерированные AI - туфта и не интересно. И это не реклама -. . .
Запрет удаления строк ТЧ документа при определённом условии Maks 19.04.2026 Алгоритм из решения ниже реализован на примере нетипового документа "Аккумуляторы", разработанного в конфигурации КА2. У данного документа есть ТЧ, в которой в зависимости от прав доступа. . .	Модель заражения группы наркоманов alhaos 17.04.2026 Условия задачи сформулированы тут Суть: - Группа наркоманов из 10 человек. - Только один инфицирован ВИЧ. - Колются одной иглой. - Колются раз в день. - Колются последовательно через. . .	Мысли в слух. Про "навсегда". kumehtar 16.04.2026 Подумалось тут, что наверное очень глупо использовать во всяких своих установках понятие "навсегда". Это очень сильное понятие, и я только начинаю понимать край его смысла, не смотря на то что давно. . .	My Business CRM MaGz GoLd 16.04.2026 Всем привет, недавно возникла потребность создать CRM, для личных нужд. Собственно программа предоставляет из себя базу данных клиентов, в которой можно фиксировать звонки, стадии сделки, а также. . .

@Skipy 2000 / 1427 / 92 Регистрация: 25.11.2010 Сообщений: 3,611
	27.07.2012, 23:59
	А просто записывать сгенерированные байты через OutputStream.write(byte[]) Вы не пробовали? Без использования сериализации массивов? Самый простой и эффективный путь. 0

Опции темы