Форум программистов, компьютерный форум, киберфорум
Языки JVM
Войти
Регистрация
Восстановить пароль
Карта форума Темы раздела Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.71/7: Рейтинг темы: голосов - 7, средняя оценка - 4.71
84 / 83 / 8
Регистрация: 31.03.2015
Сообщений: 447
1

Clojure Как работает классическая сборка мусора в лиспе? Сколько памяти занимает cons-ячейка?

04.06.2016, 01:26. Показов 1406. Ответов 11
Метки нет (Все метки)

Author24 — интернет-сервис помощи студентам
Как работает классическая сборка мусора в лиспе (прочитал в документации, что SBCL использует классическую сборку)? Как работает в данном случае? Как работает в различных реализациях?
Цель задачи была в том, чтобы методом brutforce уместить в портфель размером 360 вещей на максимальную сумму.

Для создания всех вариаций используется функция powerset. Вроде бы её сложность удовлетворяет всем требованиям задачи, однако препод потребовал что бы я добавил в файл с данными еще около пяти вещей, в итоге sbcl начал вылетать с ошибкой нехватки памяти. Но при этом он вылетал и до добавления вещей, если было запустить main два раза -> отсюда вопрос Хранит ли lisp в памяти значение последней вычисленной формы? Если да то понятно откуда нехватка памяти.

Далее, как при mapcar очищается память, каждый раз когда получаем новый элемент удаляем старый єлемент? Или же ожидается какой-то лимит количества мусора?

Мне удалось без проблем строить подсписки из 23 элементов если я даю sbcl 6 гигабайт памяти (всего имею 7.9 в наличии поэтому больше дать не могу), при этом размер такого списка имеет размер в 2^23 списков c цифрами. И при этом задача вполне корректно решается.

Числа в sbcl в 64 битной реализации занимают 8 байт. Сколько занимает каждая cons-ячейка? Сколько занимают структуры? Например моя структура thing?

Lisp
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
(defun powerset (lst)
  (loop for i below (expt 2 (length lst)) collect
       (loop for j below i for x in lst if (logbitp j i) collect x)))
 
(defstruct thing id weight value)
 
(defun read-lines-as-lists (filename)
    (with-open-file (stream filename)
        (loop for line = (read-line stream nil)
            while line collect (read-from-string (concatenate 'string "(" line ")")))))
 
(defun lists-to-things (lst)
    (mapcar #'(lambda (x) (make-thing :id (first x) :weight (second x) :value (third x))) lst))
 
(defun sum-by-param (param things-lst)
    (reduce #'+ (mapcar param things-lst)))
 
(defun special-print (x)
    (format t "-----------------------------------~%< weight: ~a, value: ~a >~%" (second x) (third x))
    (dolist (i (car x))
        (format t "id: ~a,~aweight: ~a,~avalue: ~a~%" (thing-id i) #\tab (thing-weight i) #\tab (thing-value i))))
 
(defun print-result (x)
    (special-print (first x))
    (when (= (third (first x)) (third (second x)))
        (print-result (cdr x))))
 
(defun main (filename)
    (let ((maxWeight 0)
          (lst (read-lines-as-lists filename)))
        (setf maxWeight (car (car lst))
              lst       ((lambda (x) (sort x #'> :key #'third)) 
                            (remove-if #'(lambda (x) (> (second x) maxWeight)) 
                                (mapcar #'(lambda (x) (list x (sum-by-param 'thing-weight x) (sum-by-param 'thing-value x))) (powerset (lists-to-things (cdr lst)))))))
        (print-result lst)))
Файл, со списком вещей и размером рюкзака.

Lisp
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
360
1 10 60
2 20 200
3 55 120
4 30 120
5 40 110
6 40 80
7 30 20
8 15 320
9 10 10
10 90 120
11 30 70
12 5 10
13 50 10
14 50 100
15 20 10
16 5 5
17 75 15
18 45 110
19 50 50
20 50 105
21 20 35
22 20 35
23 20 35
0
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
04.06.2016, 01:26
Ответы с готовыми решениями:

Как реализованы cons ячейки в лиспе?
Являются ли cons ячейки связным списком в одну сторону?

Как определить сколько памяти занимает список?
Есть список в нем содержаться переменные класса разных типов... Как посчитать программно...

Как узнать сколько программа занимает памяти ?
открываю Connect с Access (ADO) по таймеру идет Execute на UPDATE или INSERT это жутко жрет...

Как узнать, сколько байтов памяти занимает массив
Я за Си сижу уже.. полчаса.. встала задача: узнать количество памяти, который занимает массив,...

11
4527 / 3521 / 358
Регистрация: 12.03.2013
Сообщений: 6,038
04.06.2016, 03:27 2
Цитата Сообщение от Vaderkos Посмотреть сообщение
Хранит ли lisp в памяти значение последней вычесленной формы?
Вот на это могу ответить! В REPLе определены переменные *, **, ***, в которых хранятся последние три вычисленных результата. Смысл задачи не понял, но, наверно, можно что-то типа генераторов использовать?
1
4699 / 4394 / 380
Регистрация: 12.05.2012
Сообщений: 3,096
04.06.2016, 07:13 3
Цитата Сообщение от helter Посмотреть сообщение
Смысл задачи...
Задача о рюкзаке:
https://www.cyberforum.ru/sear... d=11301844

Добавлено через 1 минуту
Задача о рюкзаке
2
4527 / 3521 / 358
Регистрация: 12.03.2013
Сообщений: 6,038
04.06.2016, 14:08 4
Ну в принципе, тогда непонятно, зачем запоминать все подмножества. В принципе, достаточно функции, которая вычисляет сумму подмножества массива, и которая принимает массив и какой-нибудь ID подмножества — битмаску, например. И прокрутить её в цикле.
1
Модератор
Эксперт функциональных языков программированияЭксперт Python
36601 / 20330 / 4220
Регистрация: 12.02.2012
Сообщений: 33,640
Записей в блоге: 13
04.06.2016, 20:23 5
Цитата Сообщение от Vaderkos Посмотреть сообщение
Как работает классическая сборка мусора в лиспе
- загляните сюда (как вариант)
2
4699 / 4394 / 380
Регистрация: 12.05.2012
Сообщений: 3,096
05.06.2016, 10:22 6
Vaderkos,

https://rosettacode.org/wiki/K... ommon_Lisp

https://rosettacode.org/wiki/K... ommon_Lisp

https://rosettacode.org/wiki/K... ommon_Lisp

https://rosettacode.org/wiki/K... us#Clojure

Добавлено через 10 минут
https://ru.wikipedia.org/wiki/Задача_о_ранце
2
393 / 165 / 32
Регистрация: 10.12.2015
Сообщений: 717
06.06.2016, 00:29 7
Как работает классическая сборка мусора в лиспе?
более совершенный диспетчер управления лифтом.
Сколько памяти занимает cons-ячейка? - Lisp
Прямая зависимость от машинной реализации. Опуская историю и канувший в лету PDP-11 это 4 младших байта. Любой cons это void*, а любой void* это архитектура и прямая зависимость легаси от ньюби.
2
188 / 155 / 17
Регистрация: 18.12.2015
Сообщений: 179
06.06.2016, 23:26 8
SBCL у меня нет (инсталлятор отказывается запускаться), но можно проверить на GCL-2.6.6 и на CCL 1.11.

Lisp
1
2
3
4
5
6
7
8
9
10
11
12
13
(defstruct thing id weight value)
 
(setq elem
 (make-thing :id 10 :weight 20 :value 50)
)
 
(defun test (n)
 (setq test1 nil)
 (dotimes (a n n)
  (setq test1 (cons elem test1))
))
 
(test 10000000)
Диспетчер процессов говорит, что, до выполнения кода GCL-2.6.6 использовал 3456 КБ оперативки, а после 155800 КБ. Получается, на одну cons-ячейку приходится (155800-3456)*1024/10^7 = 15,6 Б - число какое-то нецелое получилось, подозрительно. Ну, будем считать, 15 байт.

Для CLL 1.11, тоже, не целое получилось: 8,4 байта.

На ABCL не тестил, он на Java, а Java захватывает память при запуске, а не в процессе работы. Тут только по принципу заработало/не заработало.

На 64-битной системе расходы памяти чуть больше будут. Допустим, 20 байт на cons-ячейку.

А ячеек сколько нужно? Список длиной 2^23. Если б все элементы были бы nil, то потребовалось бы по 1 cons-ячейке на каждый элемент списка, т.е. 2^23*1 ячеек. Но у нас не nil а список длиной от 0 до 23 - в среднем, 23/2. Всего требуется 2^23*(1+23/2) ячеек. Если по 20 байт на ячейку, получаем ровно 2000 МБ. А для 24 предметов: 2^24*(1+24/2)*20 Б = 4160 МБ.

Вроде, 6 ГБ должно было бы хватать. Но, может, ячейки не 20 Б, а, к пример, 32 Б занимают. А, может, ещё есть какие-то накладные расходы, которые я не учёл.

В любом случае, от "powerset" надо избавляться, он слишком много кушает оперативки. Проверяй варианты по одному, а не всем скопом.
2
84 / 83 / 8
Регистрация: 31.03.2015
Сообщений: 447
07.06.2016, 14:39  [ТС] 9
Модифицировал powerset теперь работает на 25 єлементах
Lisp
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
(defun powerset-2 (lst maxWeight)
  (let ((result nil)
        (temp   nil)
        (b-val    0)
        (n-val    0))
    (loop for i below (expt 2 (length lst)) do
      (setf temp    (loop for j below i for x in lst if (logbitp j i) collect x)
            n-val   (sum-by-param 'thing-value temp))
      (if (<= (sum-by-param 'thing-weight temp) maxWeight)
        (cond
          ((= n-val b-val)
            (setf result (append result (list temp))))
          ((> n-val b-val)
            (setf b-val     n-val
                  result    (list temp))))))
    (values result b-val (sum-by-param 'thing-weight (first result)))))
0
4527 / 3521 / 358
Регистрация: 12.03.2013
Сообщений: 6,038
07.06.2016, 14:44 10
Цитата Сообщение от Vaderkos Посмотреть сообщение
Модифицировал powerset
Зачем? Вы можете рационально объяснить, какой смысл вычислять в виде подсписков и хранить в памяти все подмножества одновременно? Вам уже десять раз написали, что достаточно итерировать по подмножествам и считать, что вы там для них считаете.
0
84 / 83 / 8
Регистрация: 31.03.2015
Сообщений: 447
07.06.2016, 15:16  [ТС] 11
helter, Ну а я как сделал, теперь я не храню подмножества, а собираю только те которые мне нужны.
0
4527 / 3521 / 358
Регистрация: 12.03.2013
Сообщений: 6,038
07.06.2016, 23:44 12
А, точно. мне. Всё равно как-то странно. Я бы массив сделал и цикл (dotimes (bitmask 0 (1- (exp 2 (length list)))) ...). Так как в массиве доступ к элементам O(1), избавляемся от внутреннего цикла.

Добавлено через 7 часов 20 минут
Цитата Сообщение от helter Посмотреть сообщение
Так как в массиве доступ к элементам O(1), избавляемся от внутреннего цикла.
Нет, цикл по битам же. Что-то я зарапортовался. Просто мне кажется бесполезным и накладным создание одноразовых списков в цикле. Но это надо написать код и сравнить, а леееень.
1
07.06.2016, 23:44
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
07.06.2016, 23:44
Помогаю со студенческими работами здесь

Как узнать сколько байтов в памяти занимает объект?
Есть ли в Java аналог sizeOf?

Clojure Как пользоваться трассировкой в Лиспе
Пожалуйста, объясните, как пользоваться трассировкой в Лиспе. Приведите пример выполнения программы...

Как узнать, в процесе отладки, сколько памяти занимает программа?
Вот чтобы проследить за тем сколько и когда программа занимает и какое количество килобайт под...

Как узнать сколько памяти занимает таблица и каждый столбец в таблице
Как узнать сколько памяти занимает таблица и каждый столбец в таблице Access?

Как узнать, сколько памяти занимает тот или иной элемент программы?
Товарищи, подскажите, пожалуйста, ответы на следующие вопросы: 1) Есть какие-либо средства...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
12
Ответ Создать тему
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2024, CyberForum.ru