Форум программистов, компьютерный форум, киберфорум
C++
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 5.00/11: Рейтинг темы: голосов - 11, средняя оценка - 5.00
 Аватар для Eraston
60 / 11 / 4
Регистрация: 09.09.2014
Сообщений: 182

Реверсное отношение данных

18.04.2021, 14:07. Показов 2297. Ответов 10
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Здравствуйте!

Вопрос, наверное, глупый, но вызывающий непреодолимый ступор.
Как можно эффективно реализовать обратное отношение от данных к объектам, которые эти данные содержат (по сути - пара ключей)?
Под "эффективно" подразумевается, что суммарное количество объектов может быть равно нескольким миллионам - достаточно много, но они, вероятно, будут распределены по пакетам: несколько пакетов по несколько сотен тысяч объектов в каждом.
В коде представлено, как примерно это должно выглядеть. Вопрос на строке 97.
Код
C++
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
#pragma once
#include <forward_list>
#include <vector>
#include <assert.h>
#include <algorithm>
 
// ** Элемент массива данных
struct s_data{
    int k;
};
 
// ** Объект
struct s_obj{
    char name[32];
    s_data *p_data;
};
 
// ** Обёртка для хранения пакета объектов
struct s_store{
    s_obj *p_obj;
    s_data *p_data;
    size_t count;
    friend bool operator==( const s_store&a, const s_store&b );
    friend bool operator==( const s_store&a, const s_obj*b );
};
 
class Example{
private:
    std::vector<s_data> datas; // ** Массив данных
    std::forward_list<s_store> objs; // ** Список объектов
    size_t counter; // ** Тест-заполнитель данных
public:
    Example():datas(), objs(),counter(1){
        // ~~ Резервация памяти под данные для избежния реаллоцирования массива
        datas.reserve( 80000 );
    }
    ~Example(){
        _clear();
        return;
        for( auto &p : objs )
            delete[]p.p_obj;
    }
    void _clear(){
        for( auto &p : objs )
            delete[]p.p_obj;
        datas.clear();
        objs.clear();
    }
    // ** Добавление пакета объектов
    s_obj* _add_object( const char *name, size_t count ){
        assert( count > 0 && "Zero count" );
        assert( datas.size() + count <= datas.capacity() && "Data array overflow" );
        s_store s;
        s.p_obj = new s_obj[count];
        datas.resize( datas.size() + count ); // Расширить массив данных под новые объекты
        auto data_ptr = &( *( datas.end() - count ) ); // Указатель на начало данных для пакета объектов
        s.p_data = data_ptr;
        s.count = count;
        // ~~ Установить данные объектов
        for( size_t i = 0; i < count; i++, data_ptr++ ){
            data_ptr->k = counter++;
            s.p_obj[i].p_data = data_ptr;
        }
        objs.push_front( s );
        return s.p_obj;
    }
    // ** Удаление пакета объектов
    void _remove_object( s_obj *p ){
        auto obj = std::find( objs.begin(), objs.end(), p ); // ** Результат поиска
        if( obj != objs.end() ){
            auto &q = *obj;
            auto i = q.p_data - datas.data(); // ** Индекс первого элемента в массиве данных удаляемого пакета
            auto count = q.count; // ** Количество объектов в пакете
            s_data*addr = nullptr; // ** Указатель на первый элемент перемещаемого блока
            s_data*real = &datas[i]; // ** Указатель на первый элемент вырезаемого блока
            // ~~ Элементов после вырезанного нет
            if( datas.size() - ( i + q.count ) == 0 ){
                delete[]q.p_obj;
                objs.remove( q );
            }
            // ~~ Необходима дефрагментация
            else{
                // ~~ Элементов после вырезанного меньше
                if( q.count > datas.size() - ( i + q.count ) ){
                    addr = &datas[i + q.count];
                    memcpy( real, addr, sizeof( datas[i] )*datas.size() - ( i + q.count ) );
                }
                // ~~ Элементов после вырезанного не меньше
                else{
                    addr = &datas[datas.size() - q.count];
                    memcpy( real, addr, sizeof( datas[i] )*q.count );
                }
                delete[]q.p_obj;
                objs.remove( q );
                // !! Необходимо оптимизировать
                // ~~ Переназначение указателя на данные для объекта
                // ??         ******************        ??
                // Необходимо реверсное отношение для
                // .. переназначения указателя объекта == addr + индекс_объекта_в_пакете
                // .. на real + индекс_объекта_в_пакете
                // ??         ******************        ??
                for( auto&p : objs ){ // !! Цикл раз
                    // ~~ Переназначение для пакета объектов
                    if( p.p_data == addr )
                        p.p_data = real;
                    // ~~ Переназначение для каждого объекта
                    for( size_t i = 0; i < count; i++ ){ // !! Цикл два
                        for( size_t j = 0; j < p.count; j++ ){ // !! Цикл три
                            if( p.p_obj[j].p_data == addr + i )
                                p.p_obj[j].p_data = real + i;
                        }
                    }
                }
            }
            datas.resize( datas.size() - count ); // ~~ Сжатие массива
        }
    }
    // ** Тест-вывод объектов
    void print()const{
        if( objs.empty() )
            printf_s( "[EMPTY]\n" );
        else{
            for( auto&p : objs ){
                if( p.count > 1 )
                    printf_s( "[0x%p]\n", &p );
                for( size_t i = 0; i < p.count; i++ ){
                    // !! Смотрим, что и где находится
                    // (A:) p.p_data + i должно быть таким же, что и p.p_obj[i].p_data (O:)
                    // (N:) - индекс объекта в пакете объектов
                    printf_s( "[0x%p] N:[%zu] A:[%p:%2d], O:[%p:%2d]\n", &p.p_obj[i], i, &p.p_data[i], p.p_data[i].k, p.p_obj[i].p_data, p.p_obj[i].p_data->k );
                }
            }
            printf_s( "\n" );
        }
    }
};
 
int main(){
    Example ex;
    auto a = ex._add_object( "a", 1 );
    auto b = ex._add_object( "b", 10 );
    auto c = ex._add_object( "c", 1 );
    // ~~ Пример внешнего использования данных объекта
    printf_s( "%d %d\n", a->p_data->k, b[3].p_data->k );
    ex.print();
    ex._remove_object( b );
    ex.print();
    ex._remove_object( a );
    ex.print();
    ex._remove_object( c );
    ex.print();
    a = ex._add_object( "a", 2 );
    ex.print();
    b = ex._add_object( "a", 5 );
    ex.print();
    c = ex._add_object( "a", 9 );
    ex.print();
    // !! Тут ошибка, реаллок неправильный
    // Невозможно назначить указатель на данные для пакета объектов
    // .. из-за нарушения последовательности данных пакета объектов (частичное перемещение)
    // Необходимо смещение элементов после, а не перемещение с конца
    ex._remove_object( b );
    ex.print();
    ex._clear();
    ex.print();
    return 0;
}
 
bool operator==( const s_store & a, const s_store & b ){
    return a.p_obj == b.p_obj;
}
 
bool operator==( const s_store & a, const s_obj * b )
{
    return a.p_obj==b;
}
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
18.04.2021, 14:07
Ответы с готовыми решениями:

Создать класс содержащий строку и метод выводящий ее реверсное значение
Помогите пожалуйста.Написать программу.чтобы слово катя выводилось в обратном порядке. Все это с помощью класса с приватом. И чтобы были...

Реверсное прилипание headbar-a (нестандартное)
Есть 2 дива: синий и красный! Не важно что на них должно быть.. Сейчас ситуация такая: красный див прилипает только при прокрутке...

Найти отношение длин математических маятников, отношение периодов которых равно 2
6) Найти отношение длин математических маятников, отношение периодов которых равно 2.

10
6772 / 4565 / 1844
Регистрация: 07.05.2019
Сообщений: 13,726
18.04.2021, 17:02
Цитата Сообщение от Eraston Посмотреть сообщение
Под "эффективно" подразумевается, что суммарное количество объектов может быть равно нескольким миллионам - достаточно много, но они, вероятно, будут распределены по пакетам: несколько пакетов по несколько сотен тысяч объектов в каждом.
А что ты вообще пытаешься сделать?
Твой код как-то не похож на код, который эффективно работает с большим количеством данных
0
 Аватар для Eraston
60 / 11 / 4
Регистрация: 09.09.2014
Сообщений: 182
18.04.2021, 17:29  [ТС]
Цитата Сообщение от oleg-m1973 Посмотреть сообщение
Твой код как-то не похож на код, который эффективно работает с большим количеством данных
"большим" - понятие относительное. Поэтому и уточнил ориентировочное количество объектов. Хотя наврал, наверное, не несколько миллионов, а в пределах миллиона-двух.
Объект класса, приведённого в коде вообще не занимается какой-либо обработкой: он лишь управляет размещением данных - разовой операцией.

Цитата Сообщение от oleg-m1973 Посмотреть сообщение
А что ты вообще пытаешься сделать?
Отделить данные от объектов, чтобы разместить данные в статическом массиве, чтобы во время их обработки не было такого:
C++
1
2
3
4
5
6
for( auto &p : t->objs ){
    // ... operations on p
    for( auto &q : p->p ){
        // ... operations on q
    }
}
, а было как-то так:
C++
1
2
3
for( size_t i = 0; i < c; i++ ){
    // ... operations on a[i]
}
, не говоря уже о возможности в таком случае по-человечески распараллелить процесс.
0
6772 / 4565 / 1844
Регистрация: 07.05.2019
Сообщений: 13,726
18.04.2021, 17:40
Цитата Сообщение от Eraston Посмотреть сообщение
Отделить данные от объектов, чтобы разместить данные в статическом массиве, чтобы во время их обработки не было такого:
Такое "разделение" нужно только если у тебя несколько s_obj ссылаются на один s_data, или наоборот. В других случаях ничего, кроме кучи проблем, ты от него не получишь.
0
 Аватар для Eraston
60 / 11 / 4
Регистрация: 09.09.2014
Сообщений: 182
18.04.2021, 17:51  [ТС]
Цитата Сообщение от oleg-m1973 Посмотреть сообщение
Такое "разделение" нужно только если у тебя несколько s_obj ссылаются на один s_data, или наоборот. В других случаях ничего, кроме кучи проблем, ты от него не получишь.
Или в том случае, когда на s_data ссылаются разнотипные s_obj. Осознаю, это нужно было уточнить. Т.е. есть s_obj_cat, s_obj_ship, s_obj_house и т.д. И чтобы для каждого из s_obj_... не городить цикл, идея в разделении.
Ну, и ещё... У нас в s_obj указатель на s_data, а не объект s_data. Т.е. s_obj::p_data может указывать как на 1 объект, так и на массив некоторой длины. Тоже нужно было уточнить =\ У 10-ти объектов это будет 1 элемент, у 2-х - 50000. Распределить 100010 объектов проще, чем 10 и два по 50000.
0
6772 / 4565 / 1844
Регистрация: 07.05.2019
Сообщений: 13,726
18.04.2021, 17:57
Цитата Сообщение от Eraston Посмотреть сообщение
Или в том случае, когда на s_data ссылаются разнотипные s_obj. Осознаю, это нужно было уточнить. Т.е. есть s_obj_cat, s_obj_ship, s_obj_house и т.д. И чтобы для каждого из s_obj_... не городить цикл, идея в разделении.
Используй тогда shared_ptr/weak_ptr, иначе будут проблемы с удалением объекта. Нет способа хранить ссылку на конкретный элемент массива.
0
 Аватар для Eraston
60 / 11 / 4
Регистрация: 09.09.2014
Сообщений: 182
18.04.2021, 18:15  [ТС]
Цитата Сообщение от oleg-m1973 Посмотреть сообщение
Используй тогда shared_ptr/weak_ptr, иначе будут проблемы с удалением объекта. Нет способа хранить ссылку на конкретный элемент массива.
Вот тут не понял, проблемы с удалением какого объекта и с хранением ссылки на конкретный элемент какого массива? Вручную выделяется память только под объекты структуры s_obj, она же явно освобождается в деструкторе Example. Сам s_obj ничего не выделяет, лишь хранит указатель на начало данных..
0
 Аватар для zayats80888
6352 / 3523 / 1428
Регистрация: 07.02.2019
Сообщений: 8,995
18.04.2021, 19:19
Лучший ответ Сообщение было отмечено Eraston как решение

Решение

Цитата Сообщение от Eraston Посмотреть сообщение
Отделить данные от объектов, чтобы разместить данные в статическом массиве, чтобы во время их обработки не было такого
Я так понимаю вы хотите реализовать что-то вроде ECS?
Можете поискать в сети примеры реализации.
У вас дополнительная сложность - дефрагментация при удалении из-за произвольных размеров пакетов(перемещение всех данных после удаляемого участка и перенацеливание ссылающихся на них объектов затратно и требует содержать как минимум хэш-таблицу dataID->objectID). Возможно стоит вообще организовать хранилище данных для пакетов объектов в виде пула(связного списка в массиве) и не дефрагментировать при удалении объекта из пакета(дефрагментировать только при удалении всего пакета). Итерация по пакетам, как по списку и по данным в пакете, как по массиву будет быстрее чем при каждом удалении перестраивать всю структуру данных, имхо...
1
 Аватар для Eraston
60 / 11 / 4
Регистрация: 09.09.2014
Сообщений: 182
18.04.2021, 20:07  [ТС]
Цитата Сообщение от zayats80888 Посмотреть сообщение
Я так понимаю вы хотите реализовать что-то вроде ECS?
Можете поискать в сети примеры реализации.
Спасибо, посмотрю.
Цитата Сообщение от zayats80888 Посмотреть сообщение
У вас дополнительная сложность - дефрагментация при удалении из-за произвольных размеров пакетов(перемещение всех данных после удаляемого участка и перенацеливание ссылающихся на них объектов затратно и требует содержать как минимум хэш-таблицу dataID->objectID).
std::map можно считать хорошей альтернативой для хэш-таблицы? Т.е. можно было бы использовать std::map<s_data*,s_data**>, ключ - текущий адрес, значение - указатель на s_obj::p_data - записываем новый указатель по старому указателю, и тут пара неприятных операций по вставке нового элемента с ключом нового указателя и удалению старого с ключом старого.
Запутался здесь немного, на самом деле есть дополнение: массивы данных сортируются в массивы по количеству элементов данных для объекта: map<size_t/*количество s_data для s_obj (D)*/,vector<s_data>>, - т.е. массивы можно рассматривать как vector<s_data[D]>. (в коде этого нет)
Цитата Сообщение от zayats80888 Посмотреть сообщение
Возможно стоит вообще организовать хранилище данных для пакетов объектов в виде пула(связного списка в массиве) и не дефрагментировать при удалении объекта из пакета(дефрагментировать только при удалении всего пакета).
В текущем примере подразумевается отсутствие возможности удаления объекта из пакета - это привело бы к, по сути, ресозданию s_obj[] и всего, что с ним связано - действительно затратно. Действуем по принципу: "Один за всех и все за одного".
Цитата Сообщение от zayats80888 Посмотреть сообщение
Итерация по пакетам, как по списку и по данным в пакете, как по массиву будет быстрее
В том-то и дело, что , и это тоже забыл упомянуть =( , часть пакетов может быть в количестве ~10000, каждый из которых ссылается на 10 элементов s_data, и все эти прыгания по спискам бьют по времени выполнения. На данный момент оно примерно так и реализовано, только без пула. К тому же, писал выше, распределить обработку единого массива данных среди потоков значительно проще.
Цитата Сообщение от zayats80888 Посмотреть сообщение
чем при каждом удалении перестраивать всю структуру данных, имхо...
Согласен. Благо задача подразумевает не частое добавление/удаление объектов + частично стековый принцип их размещения (изменения будут происходить ближе к концу массива).
0
 Аватар для zayats80888
6352 / 3523 / 1428
Регистрация: 07.02.2019
Сообщений: 8,995
18.04.2021, 20:24
Лучший ответ Сообщение было отмечено Eraston как решение

Решение

Цитата Сообщение от Eraston Посмотреть сообщение
std::map можно считать хорошей альтернативой для хэш-таблицы?
std::unordered_map тогда уж...
Ну или с каждомым элементом массива данных хранить дополнительный флаг valid/invalid (что не очень, имхо)
Цитата Сообщение от Eraston Посмотреть сообщение
часть пакетов может быть в количестве ~10000, каждый из которых ссылается на 10 элементов s_data
Так вам тогда ещё и счетчик ссылок нужен.
1
 Аватар для Eraston
60 / 11 / 4
Регистрация: 09.09.2014
Сообщений: 182
18.04.2021, 20:34  [ТС]
Цитата Сообщение от zayats80888 Посмотреть сообщение
Так вам тогда ещё и счетчик ссылок нужен.
Не, ссылается на свои 10 элементов. Общих данных нет
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
18.04.2021, 20:34
Помогаю со студенческими работами здесь

База данных - отношение не работает
Здравствуйте есче раз) Меня уже целый день бесит эта прога ))) Не работает толи отношение один ко многим толи еще чего)) Тут одна...

Докажите что отношение делимости на множестве натуральных чисел есть отношение нестрогого порядка
Докажите что отношение делимости на множестве натуральных чисел есть отношение нестрогого порядка.

Выписать для имени и фамилии отношение вида (а,а) и указать, является ли данное отношение функцией
Возникли затруднения с заданием: выписать для имени и фамилии отношение вида (а,а) и указать, является ли данное отношение функцией. Так...

Отношение эквивалентности, отношение частичного, строгого, линейного порядка,
Помогите пожалуйста решить! На множестве M={1,3,4,8} задано отношение R = {(1,3),(1,4),(1,8),(3,4),(3,8),(4,8)} ...

Показать, что данное отношение есть отношение эквивалентности
На множестве T×T задано отношение R, определяемое следующим образом: &lt;a,b&gt; R&lt;c,d&gt;, если a+d= c+b. а) Показать, что R есть отношение...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
11
Ответ Создать тему
Новые блоги и статьи
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Access
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
Создание Single Page Application на фреймах
krapotkin 16.11.2025
Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru