Форум программистов, компьютерный форум, киберфорум
C/С++ под Linux
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 5.00/4: Рейтинг темы: голосов - 4, средняя оценка - 5.00
0 / 0 / 0
Регистрация: 26.11.2023
Сообщений: 6

Ошибки при большом объеме разделяемой памяти

15.03.2024, 04:45. Показов 1661. Ответов 13

Студворк — интернет-сервис помощи студентам
Всем привет.

В программе использую 3 фрагмента разделяемой памяти суммарно 100Гб.
При первом вызове программы сохраняю shmid и shadr в файл и загружаю дамп базы данных с диска.
При последующих вызовах беру shmid и shadr из файлов shm0... shm1 и работаю с уже загруженной БД.

Все работает до тех пор, пока база данных одна. При двух базах данных (соответственно 6 кусках разделяемой памяти) почти всегда происходит наложение. С памятью работаю при помощи следующей функции.
RAM достаточно. Значение vm.nr_hugepages= в файле /etc/sysctl.conf адекватное.




C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
void *shm (int n) {
    char  str[256];
    int   shmid;
    void *shadr;
    key_t key;
 
    sprintf(str, "./shm/shm%d", n);
 
    std::ifstream ifs(str);
 
    if( !ifs.is_open() || (ifs.seekg (0,  std::ifstream::end) && ifs.tellg() == 0)) {
        if (ifs.is_open())
            ifs.close();
 
        std::ofstream ofs(str, std::ofstream::binary|std::ofstream::trunc);
        key = ftok(str, n+1);
        shmid = shmget (key, SIZE[n], 0777|IPC_CREAT|IPC_EXCL|SHM_HUGETLB|SHM_NORESERVE);
        shadr = shmat  (shmid, NULL, 0);
        ofs.write(str, sprintf(str, "%d\n", shmid ) );
        ofs.write(str, sprintf(str, "%p\n", shadr ) );
        ofs.close();
    }
    else {
        ifs.seekg (0,  std::ifstream::beg);
        ifs.getline(str, 31);
        sscanf(str, "%d", &shmid);
        ifs.getline(str, 31);
        sscanf(str, "%p", &shadr);
        shadr = shmat  (shmid, shadr, 0);
        //shadr = shmat  (shmid, NULL, 0);
        ifs.close();
    }
 
    if ( shadr == (void*) -1 || shadr == nullptr)
        printf ("Shared memory attach error. errno: %d shmid: %d shadr: %p key: %d \n", errno, shmid, shadr, key);
 
    return shadr;
}
Где искать причину?
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
15.03.2024, 04:45
Ответы с готовыми решениями:

Расширенный поиск в PickList при большом объеме информации
Как модернизировать поиск, чтобы при наборе второй буквы (пока только предусмотрен вывод по первой букве) также предлагался выпадающий...

memo статус бар тормозит при большом объёме
Привет всем =) сталкнулся вот таким проблемой, статус бар тормозит при большом объёме... Как правильно добавить код чтобы статус бар не...

Оптимизация кода скрипта при большом объеме информации
Уважаемые друзья, нужна ваша помощь в оптимизации запроса, т.к. сервер не дает завершить выполнение скрипта, отдавая ошибку 504. Смысл...

13
фрилансер
 Аватар для Алексей1153
6442 / 5636 / 1127
Регистрация: 11.10.2019
Сообщений: 14,983
15.03.2024, 07:26
mcman828, в коде индусская перчинка и просто UB. Для начала - всё это нужно переписать попрямее, потом уже искать, где и какие функции ОС вызываешь с ошибками
0
 Аватар для zayats80888
6352 / 3523 / 1428
Регистрация: 07.02.2019
Сообщений: 8,995
15.03.2024, 17:15
Цитата Сообщение от mcman828 Посмотреть сообщение
сохраняю shmid и shadr в файл
С какой целью адрес сохраняете? Этот адрес имеет смысл только для этого процесса, использовать его значение для IPC или при последующих запусках программы нет смысла...

Добавлено через 1 минуту
Цитата Сообщение от mcman828 Посмотреть сообщение
почти всегда происходит наложение
Что это за "наложение"?
0
Windows must die
828 / 835 / 102
Регистрация: 23.11.2021
Сообщений: 4,855
Записей в блоге: 15
15.03.2024, 17:21
Цитата Сообщение от zayats80888 Посмотреть сообщение
Этот адрес имеет смысл только для этого процесса
++
Если хочется, чтобы другие процессы имели к нему доступ, в них тоже нужно вызывать shmget по заданному ключу. Понятно, что уже с нулем в размере и флагах.
0
0 / 0 / 0
Регистрация: 26.11.2023
Сообщений: 6
15.03.2024, 18:34  [ТС]
Цитата Сообщение от zayats80888 Посмотреть сообщение
Что это за "наложение"?
В начале каждого блока помещаю сигнатуру в виде 64-битного числа, которую проверяю при каждом запуске.
Периодически эти 64 бита оказываются изменены.

Цитата Сообщение от Eddy_Em Посмотреть сообщение
Если хочется, чтобы другие процессы имели к нему доступ
Мне нужно чтобы программа, запущенная с аргументом "DB1", каждый раз получала доступ к областям 1, 2 и 3,
а при запуске с аргументом "./program DB2" - доступ к 4, 5, 6.

Цитата Сообщение от zayats80888 Посмотреть сообщение
Этот адрес имеет смысл только для этого процесс
Перекрестные ссылки в БД я делал в виде указателей. Например элемент из области 1 хранит несколько (void*), указывающих на на элементы в границах области 2. Если при каждом запуске 1,2,3 будут иметь разное расположение в адресном пространстве процесса, то БД работать не будет.

Исходил из описания shmat:

void *shmat(int shmid, const void *shmaddr, int shmflg);
....
Если shmaddr не равен NULL, а в поле shmflg включен флаг SHM_RND, то подстыковка производится по адресу shmaddr, округленному вниз до ближайшего кратного SHMLBA. В противном случае shmaddr должен быть округленным до размера страницы адресом, к которому производится подстыковка.
Соответственно, когда разделяемая память еще не выделена запускаю shmat (shmid, NULL, 0), а при каждом следующем запуске shmat (shmid, shadr, 0) со значениями shmid и shadr, прочитанных из файла.
0
 Аватар для zayats80888
6352 / 3523 / 1428
Регистрация: 07.02.2019
Сообщений: 8,995
15.03.2024, 19:06
Цитата Сообщение от mcman828 Посмотреть сообщение
Перекрестные ссылки в БД я делал в виде указателей.
Ну и зачем? Нормальный способ работать со ссылками - через смещения относительно базового адреса.

Цитата Сообщение от mcman828 Посмотреть сообщение
В начале каждого блока помещаю сигнатуру в виде 64-битного числа, которую проверяю при каждом запуске.
Периодически эти 64 бита оказываются изменены.
Причина может быть в чем угодно.
0
Windows must die
828 / 835 / 102
Регистрация: 23.11.2021
Сообщений: 4,855
Записей в блоге: 15
15.03.2024, 19:07
Цитата Сообщение от mcman828 Посмотреть сообщение
со значениями shmid и shadr, прочитанных из файла.
Выше уже объяснили: у каждого процесса свое адресное пространство, поэтому так не работает.
Исключительно вызов shmget, а потом уже все остальное. Сохранить ключ, а по нему уже получать доступ, чтобы ftok лишний раз не вызывать.
0
0 / 0 / 0
Регистрация: 26.11.2023
Сообщений: 6
15.03.2024, 23:06  [ТС]
Цитата Сообщение от zayats80888 Посмотреть сообщение
через смещения относительно базового адреса
Цитата Сообщение от Eddy_Em Посмотреть сообщение
у каждого процесса свое адресное пространство
Вот тут пишут что в принципе можно и ссылаются на Postgree:
https://stackoverflow.com/ques... ll-shmaddr
0
 Аватар для zayats80888
6352 / 3523 / 1428
Регистрация: 07.02.2019
Сообщений: 8,995
15.03.2024, 23:31
Цитата Сообщение от mcman828 Посмотреть сообщение
Вот тут пишут что в принципе можно
Я и не говорил, что нельзя. Я говорил, что это лишено смысла.
А еще, в зависимости от того, как работает ваша программа, гарантий того, что "сохраненный" вами диапазон виртуального адресного пространства будет "свободен" в следующий раз, может не быть.
1
0 / 0 / 0
Регистрация: 26.11.2023
Сообщений: 6
16.03.2024, 00:19  [ТС]
Не совсем понял, почему нужно сохранять key, а по нему получать shmid = shmget(key, 0, 0).
Если из консоли удалить сегмент памяти ipcrm -m xxx, а потом заново создать с тем же key, то значение shmid будет отличаться.
Если сохранять shmid, то по нему shmat всегда будет присоединять один и тот же сегмент памяти.

По поводу абсолютных адресов - мне кажется, что будет быстрее. Проверю.
0
 Аватар для zayats80888
6352 / 3523 / 1428
Регистрация: 07.02.2019
Сообщений: 8,995
16.03.2024, 00:37
Цитата Сообщение от mcman828 Посмотреть сообщение
Если из консоли удалить сегмент памяти ipcrm -m xxx, а потом заново создать с тем же key, то значение shmid будет отличаться.
Если сохранять shmid, то по нему shmat всегда будет присоединять один и тот же сегмент памяти.
Не понял логики. Если удалить сегмент памяти, то ни shmid, ни key уже не имеют смысла.

Добавлено через 2 минуты
Хотя Linux позволяет присоеденить помеченный на удаление (но не реально удаленный) сегмент через shmid, это да.
0
0 / 0 / 0
Регистрация: 26.11.2023
Сообщений: 6
16.03.2024, 01:39  [ТС]
key один shmid разные.
Путь к файлу по которому запущен ftok один и тот же, хотя все файлы после ipcrm были удалены и созданы заново.
Миниатюры
Ошибки при большом объеме разделяемой памяти  
0
 Аватар для zayats80888
6352 / 3523 / 1428
Регистрация: 07.02.2019
Сообщений: 8,995
16.03.2024, 01:49
Цитата Сообщение от mcman828 Посмотреть сообщение
key один shmid разные
Да это понятно, что после удаления сегмента его key освобождается, но и его id становится невалидным.
Вы не сможете присоеденить сегмент по его id, после того как он будет удален(т.е. помечен на удаление и нет процессов, к которым этот сегмент приаттачен - счетчик shm_nattch обнулен)
1
0 / 0 / 0
Регистрация: 26.11.2023
Сообщений: 6
16.03.2024, 02:31  [ТС]
Я понял, спасибо за подсказки.
Разобрался какая структура у адресного пространства процесса kernel.org и как присваиваются адреса github.com/CMCDragonkai.
Изначальная ошибка явно не связана с выделением памяти, а где-то в алгоритмах обработки БД.

По поводу абсолютных указателей и shmat по заранее заданному адресу останусь при своем мнении.
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
16.03.2024, 02:31
Помогаю со студенческими работами здесь

Падение скорости записи на ССД при большом объеме
Доброго времени суток! Переписывал системный раздел вин10 240Гб с ССД на ССД 2мя разными программами. Первые 100Гб скорость записи...

Как правильнее работать с базой при большом объеме данных?
Вопрос в следующем. Есть база со множеством таблиц. И есть программа, которая одновременно работает с несколькими таблицами. А также...

Text Mesh Pro не работает при большом объеме текста
Я пытаюсь передать большой текст, где-то 1,500,000 символов, в textMeshPro вот так мой класс using UnityEngine; using TMPro; ...

Как правильно загружать изображение и Bitmap compress при большом объеме фото
Друзья и коллеги, такой вопрос у меня. Совсем не давно начал постигать программирование под андроид и при написании тестового приложения...

Ошибка "Сервер не предоставил значащий ответ" при большом объеме данных
В общем клиент получает ошибку "Сервер не предоставил значащий ответ", когда длина передаваемого массива объектов превышает 1103. На...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
14
Ответ Создать тему
Новые блоги и статьи
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Access
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
Создание Single Page Application на фреймах
krapotkin 16.11.2025
Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru