Как записать структуру в бинарный файл одним "блоком"

@daslex · Регистрация: 02.08.2011

Как записать структуру в бинарный файл одним "блоком", если в структуре есть private данные?

C++

struct MyStruct{
       char Name[20];
       void getN()  {cin>>N;}
       void showN() {cout<<N;};
   private:
       int N;
};

C++

int main()
{
    const int N=3;
    MyStruct A[N];
    strcpy(A[0].Name,"Ivan");
     A[0].getN();
 
    strcpy(A[1].Name,"Wasia");
    A[1].getN();
 
    strcpy(A[2].Name,"Petrosan");
    A[2].getN();
 
   //Записать в бинарный файл
   //Прочитать из  файла в массив структур.
 
}

Есть ли для этого какие-то механизмы, трюки или хоть что-то полезное?
Как бы если структур много, а в них данных много, то запись кусочками не очень симпатична.

Интересует как C++, так и вариант с Си, но дублировать темы нельзя, поэтому об обоих языках вопрос в одной ветке.

@nmcf · 24.09.2015, 21:05

private как-то мешает записывать её целиком?

C++

1	ofs.write(reinterpret_cast<char >(A), sizeof(MyStruct) N);

@daslex · 24.09.2015, 21:14 **[ТС]**

Все норм. ничто не мешает. ) понял.

@DrOffset · 24.09.2015, 21:24

Сообщение от daslex

ничто не мешает

На самом деле мешает.
Если говорить в общем, то классы и структуры, в которых содержатся данные в разных секциях так записывать нельзя, потому что:

Сообщение от 9.2/13

Nonstatic data members of a (non-union) class with the same access control (Clause 11) are allocated so
that later members have higher addresses within a class object. The order of allocation of non-static data
members with different access control is unspecified (Clause 11).

Т.е., например, если ты так запишешь структуру программой, скомпилированную одним компилятором, а прочитаешь, скомпилированной другим (или тем же, но с другими настройками), то вполне можешь получить не то, что ожидаешь.
Кроме этого ,есть еще проблема разного порядка байт (которая, впрочем, не важна, если мы не переносим такие дампы между платформами).

@daslex · 24.09.2015, 21:35 **[ТС]**

Т.е. так записывать можно только чистые структуры и классы, в которых абсолютно всё в одной секции, т.е. в секции public или же если абсолютно однозначно и запись и чтение будут выполнятся программой, скомпилированной в одном компиляторе с одними и теми же настройками на момент компиляции, да еще и исключительно для одной платформы?

@nmcf · 24.09.2015, 21:39

DrOffset, это разве не о классах?

@DrOffset · 24.09.2015, 21:45

Сообщение от nmcf

это разве не о классах?

Написал в структуре - public/private - это уже не структура, а класс и С-шные законы на него действовать уже не обязаны.

Добавлено через 26 секунд

Сообщение от daslex

Т.е. так записывать можно только чистые структуры и классы, в которых абсолютно всё в одной секции, т.е. в секции public или же если абсолютно однозначно и запись и чтение будут выполнятся программой, скомпилированной в одном компиляторе с одними и теми же настройками на момент компиляции, да еще и исключительно для одной платформы?

Строго говоря, да.

Т.е. так записывать можно только чистые структуры и классы, в которых абсолютно всё в одной секции

Причем то, что в одной секции, должно быть объектами POD типов.

@nmcf · 24.09.2015, 21:46

Ну если запись и чтение делает одна программа, то allocation должен совпадать.

@DrOffset · 24.09.2015, 21:51

Сообщение от nmcf

Ну если запись и чтение делает одна программа, то allocation должен совпадать.

Не должен, а может. Но, например, нет гарантий, что в одна и та же программа в debug\release вариантах не будет вести себя по-разному.
Естественно в реальности все может быть хорошо. Мы вот недавно баг исправили, который 15 лет жил и никто его не замечал, пока компилятор не обновили.
Мое дело предупредить, а вы сами решайте что с этим делать дальше.

@nmcf · 24.09.2015, 21:55

Ну не может же одна и та же программа по разному строить одну и ту же структуру, нестыковки будут внутри.

@DrOffset · 24.09.2015, 22:02

Сообщение от nmcf

Ну не может же одна и та же программа по разному строить одну и ту же структуру, нестыковки будут внутри.

Это еще почему? Написано же, что порядок неопределен.
Компилятор в отладочных целях может расположить элементы в разных секциях в одном порядке, а в релизе, с максимумом оптимизации в другом - это же обычное дело.
Что толку спорить с фактами?

Tulosba · 24.09.2015, 22:04

Сообщение от DrOffset

На самом деле мешает.

Если рассуждать с точки зрения совместимости бинарных данных в разных системах, то надо и порядок байтов учитывать.

Не по теме:

P.S. формально речь шла о write-only :)

Сообщение от DrOffset

который 15 лет жил и никто его не замечал

Значит другой баг его компенсировал, а исправив этот можно нарушить работу программы.

@DrOffset · 24.09.2015, 22:07

Сообщение от Tulosba

то надо и порядок байтов учитывать.

А я об этом написал же выше.

Сообщение от Tulosba

Значит другой баг его компенсировал, а исправив этот можно нарушить работу программы.

Его компенсировала особенность интерпретации UB компилятором. В новой версии UB cтало проявляться иначе и все сломалось

Добавлено через 1 минуту

Не по теме:

Сообщение от Tulosba

P.S. формально речь шла о write-only

Вот вам бы лишь бы придраться, сэр :)

@daslex · 24.09.2015, 22:09 **[ТС]**

Можно немного почитать о POD типах и можно увидеть нечто типа:

Чтобы быстро записать на диск сложный заголовок файла наподобие BMP, можно сформировать его в памяти, а затем записать одной командой — но структура данных, в которой формируем заголовок, также должна быть POD’ом.

Вообще не вижу смысла спорить с аргументацией DrOffset,

но моя интуиция мне говорит, что в C++11 может быть так (ну не совсем так, но некоторым подобием такого) может и можно записывать в файл. Это только догадки, ни коим образом не утверждения.

@nmcf · 24.09.2015, 22:11

Сообщение от DrOffset

Компилятор в отладочных целях

Да я не об этом. Конкретный скомпилированный экземпляр программы будет использовать идентичную структуру для всех операций.

@DrOffset · 24.09.2015, 22:15

Сообщение от daslex

но моя интуиция мне говорит, что в C++11

Вообще моя цитата из одного из последних драфтов С++14. И, насколько я знаю, подобное ограничение всегда существовало.
Вот для сишных структур в пределах платформы ABI "стандартизировано" (но мы помним, что в сишных структурах не может быть никаких public\private), почитать можно тут.

Добавлено через 1 минуту

Сообщение от nmcf

Конкретный скомпилированный экземпляр программы будет использовать идентичную структуру для всех операций.

С этим никто не спорил

Но это несколько эфемерная гарантия, согласись. Разве что жестко зафиксировать версию и настройки компиляторов и ни в коем случае никому другому не давать свою программу собирать из исходников.

@nmcf · 24.09.2015, 22:18

Может, есть какие-то настройки компилятора, чтобы жёстко закрепить последовательность полей. Типа #pragma pack для выравнивания.

@DrOffset · 24.09.2015, 22:22

Сообщение от nmcf

Может, есть какие-то настройки компилятора, чтобы жёстко закрепить последовательность полей. Типа #pragma pack для выравнивания.

Да скорее всего есть.
Только не проще ли писать сразу корректные программы, а не искать потом костыли для того, чтобы все не сломалось?

ValeryS · 24.09.2015, 22:53

Сообщение от DrOffset

Т.е., например, если ты так запишешь структуру программой, скомпилированную одним компилятором, а прочитаешь, скомпилированной другим (или тем же, но с другими настройками), то вполне можешь получить не то, что ожидаешь.

так это можно и на простой структуре хапнуть, разное выравнивание и все, приплыли
я бы ввел в класс метод(ы) что то типа
WriteFile ReadFile
и в них бы все и реализовал
а для корректной обработки данных от разных компиляторов, можно ввести поле версия
и при чтении проверять свой файл или нет

Добавлено через 1 минуту

Сообщение от nmcf

Типа #pragma pack для выравнивания.

а прагма может делать всепо другому в другом компиляторе
знаменитая MS pragma once, тому пример

@DrOffset · 24.09.2015, 22:57

Сообщение от ValeryS

так это можно и на простой структуре хапнуть

Можно. Но в пределах платформы (например только x86 или только x86_64, или только SPARC32 и т.д.) выравнивание не будет меняться. Там выше ссылка была.
В принципе конечно, если совсем строго подходить к вопросу, то так сохранять структуры можно только с отключенным выравниванием, с гарантией определенного порядка байт и только POD.
Но вопрос с public\private более тонкий, поэтому я высказывался подробно только о нем.

@nmcf 6914 / 5979 / 2709 Регистрация: 14.04.2014 Сообщений: 25,504
	24.09.2015, 21:55	10
	Ну не может же одна и та же программа по разному строить одну и ту же структуру, нестыковки будут внутри. 0

Tulosba :) 4764 / 3258 / 497 Регистрация: 19.02.2013 Сообщений: 9,046
	24.09.2015, 22:04	12
	Сообщение от DrOffset На самом деле мешает. Если рассуждать с точки зрения совместимости бинарных данных в разных системах, то надо и порядок байтов учитывать. Не по теме: P.S. формально речь шла о write-only :) Сообщение от DrOffset который 15 лет жил и никто его не замечал Значит другой баг его компенсировал, а исправив этот можно нарушить работу программы. 0

@DrOffset 13883 / 7419 / 1759 Регистрация: 30.01.2014 Сообщений: 12,411
	24.09.2015, 22:15	16
	Сообщение от daslex но моя интуиция мне говорит, что в C++11 Вообще моя цитата из одного из последних драфтов С++14. И, насколько я знаю, подобное ограничение всегда существовало. Вот для сишных структур в пределах платформы ABI "стандартизировано" (но мы помним, что в сишных структурах не может быть никаких public\private), почитать можно тут. Добавлено через 1 минуту Сообщение от nmcf Конкретный скомпилированный экземпляр программы будет использовать идентичную структуру для всех операций. С этим никто не спорил Но это несколько эфемерная гарантия, согласись. Разве что жестко зафиксировать версию и настройки компиляторов и ни в коем случае никому другому не давать свою программу собирать из исходников. 1

@nmcf 6914 / 5979 / 2709 Регистрация: 14.04.2014 Сообщений: 25,504
	24.09.2015, 22:18	17
	Может, есть какие-то настройки компилятора, чтобы жёстко закрепить последовательность полей. Типа #pragma pack для выравнивания. 0

ValeryS Модератор 8329 / 6181 / 829 Регистрация: 14.02.2011 Сообщений: 21,477
	24.09.2015, 22:53	19
	Сообщение от DrOffset Т.е., например, если ты так запишешь структуру программой, скомпилированную одним компилятором, а прочитаешь, скомпилированной другим (или тем же, но с другими настройками), то вполне можешь получить не то, что ожидаешь. так это можно и на простой структуре хапнуть, разное выравнивание и все, приплыли я бы ввел в класс метод(ы) что то типа WriteFile ReadFile и в них бы все и реализовал а для корректной обработки данных от разных компиляторов, можно ввести поле версия и при чтении проверять свой файл или нет Добавлено через 1 минуту Сообщение от nmcf Типа #pragma pack для выравнивания. а прагма может делать всепо другому в другом компиляторе знаменитая MS pragma once, тому пример 0

Как записать структуру в бинарный файл одним "блоком"

Решение

Решение

@daslex 1362 / 586 / 198 Регистрация: 02.08.2011 Сообщений: 2,880
	24.09.2015, 21:14 [ТС]	3
	Все норм. ничто не мешает. ) понял. 0

@DrOffset 13883 / 7419 / 1759 Регистрация: 30.01.2014 Сообщений: 12,411
	24.09.2015, 21:24	4
	Сообщение было отмечено daslex как решение Решение Сообщение от daslex ничто не мешает На самом деле мешает. Если говорить в общем, то классы и структуры, в которых содержатся данные в разных секциях так записывать нельзя, потому что: Сообщение от 9.2/13 Nonstatic data members of a (non-union) class with the same access control (Clause 11) are allocated so that later members have higher addresses within a class object. The order of allocation of non-static data members with different access control is unspecified (Clause 11). Т.е., например, если ты так запишешь структуру программой, скомпилированную одним компилятором, а прочитаешь, скомпилированной другим (или тем же, но с другими настройками), то вполне можешь получить не то, что ожидаешь. Кроме этого ,есть еще проблема разного порядка байт (которая, впрочем, не важна, если мы не переносим такие дампы между платформами). 2

@daslex 1362 / 586 / 198 Регистрация: 02.08.2011 Сообщений: 2,880
	24.09.2015, 21:35 [ТС]	5
	Т.е. так записывать можно только чистые структуры и классы, в которых абсолютно всё в одной секции, т.е. в секции public или же если абсолютно однозначно и запись и чтение будут выполнятся программой, скомпилированной в одном компиляторе с одними и теми же настройками на момент компиляции, да еще и исключительно для одной платформы? 0

@nmcf 6914 / 5979 / 2709 Регистрация: 14.04.2014 Сообщений: 25,504
	24.09.2015, 21:39	6
	DrOffset, это разве не о классах? 0

@DrOffset 13883 / 7419 / 1759 Регистрация: 30.01.2014 Сообщений: 12,411
	24.09.2015, 21:45	7
	Сообщение от nmcf это разве не о классах? Написал в структуре - public/private - это уже не структура, а класс и С-шные законы на него действовать уже не обязаны. Добавлено через 26 секунд Сообщение от daslex Т.е. так записывать можно только чистые структуры и классы, в которых абсолютно всё в одной секции, т.е. в секции public или же если абсолютно однозначно и запись и чтение будут выполнятся программой, скомпилированной в одном компиляторе с одними и теми же настройками на момент компиляции, да еще и исключительно для одной платформы? Строго говоря, да. Т.е. так записывать можно только чистые структуры и классы, в которых абсолютно всё в одной секции Причем то, что в одной секции, должно быть объектами POD типов. 1

@nmcf 6914 / 5979 / 2709 Регистрация: 14.04.2014 Сообщений: 25,504
	24.09.2015, 21:46	8
	Ну если запись и чтение делает одна программа, то allocation должен совпадать. 0

@DrOffset 13883 / 7419 / 1759 Регистрация: 30.01.2014 Сообщений: 12,411
	24.09.2015, 21:51	9
	Сообщение от nmcf Ну если запись и чтение делает одна программа, то allocation должен совпадать. Не должен, а может. Но, например, нет гарантий, что в одна и та же программа в debug\release вариантах не будет вести себя по-разному. Естественно в реальности все может быть хорошо. Мы вот недавно баг исправили, который 15 лет жил и никто его не замечал, пока компилятор не обновили. Мое дело предупредить, а вы сами решайте что с этим делать дальше. 1

@DrOffset 13883 / 7419 / 1759 Регистрация: 30.01.2014 Сообщений: 12,411
	24.09.2015, 22:02	11
	Сообщение от nmcf Ну не может же одна и та же программа по разному строить одну и ту же структуру, нестыковки будут внутри. Это еще почему? Написано же, что порядок неопределен. Компилятор в отладочных целях может расположить элементы в разных секциях в одном порядке, а в релизе, с максимумом оптимизации в другом - это же обычное дело. Что толку спорить с фактами? 0

@DrOffset 13883 / 7419 / 1759 Регистрация: 30.01.2014 Сообщений: 12,411
	24.09.2015, 22:07	13
	Сообщение от Tulosba то надо и порядок байтов учитывать. А я об этом написал же выше. Сообщение от Tulosba Значит другой баг его компенсировал, а исправив этот можно нарушить работу программы. Его компенсировала особенность интерпретации UB компилятором. В новой версии UB cтало проявляться иначе и все сломалось Добавлено через 1 минуту Не по теме: Сообщение от Tulosba P.S. формально речь шла о write-only Вот вам бы лишь бы придраться, сэр :) 0

@daslex 1362 / 586 / 198 Регистрация: 02.08.2011 Сообщений: 2,880
	24.09.2015, 22:09 [ТС]	14
	Можно немного почитать о POD типах и можно увидеть нечто типа: Чтобы быстро записать на диск сложный заголовок файла наподобие BMP, можно сформировать его в памяти, а затем записать одной командой — но структура данных, в которой формируем заголовок, также должна быть POD’ом. Вообще не вижу смысла спорить с аргументацией DrOffset, но моя интуиция мне говорит, что в C++11 может быть так (ну не совсем так, но некоторым подобием такого) может и можно записывать в файл. Это только догадки, ни коим образом не утверждения. 0

@nmcf 6914 / 5979 / 2709 Регистрация: 14.04.2014 Сообщений: 25,504
	24.09.2015, 22:11	15
	Сообщение от DrOffset Компилятор в отладочных целях Да я не об этом. Конкретный скомпилированный экземпляр программы будет использовать идентичную структуру для всех операций. 0

@DrOffset 13883 / 7419 / 1759 Регистрация: 30.01.2014 Сообщений: 12,411
	24.09.2015, 22:22	18
	Сообщение от nmcf Может, есть какие-то настройки компилятора, чтобы жёстко закрепить последовательность полей. Типа #pragma pack для выравнивания. Да скорее всего есть. Только не проще ли писать сразу корректные программы, а не искать потом костыли для того, чтобы все не сломалось? 1

@DrOffset 13883 / 7419 / 1759 Регистрация: 30.01.2014 Сообщений: 12,411
	24.09.2015, 22:57	20
	Сообщение от ValeryS так это можно и на простой структуре хапнуть Можно. Но в пределах платформы (например только x86 или только x86_64, или только SPARC32 и т.д.) выравнивание не будет меняться. Там выше ссылка была. В принципе конечно, если совсем строго подходить к вопросу, то так сохранять структуры можно только с отключенным выравниванием, с гарантией определенного порядка байт и только POD. Но вопрос с public\private более тонкий, поэтому я высказывался подробно только о нем. 0