Удалить все объекты у которых переменная равна false

@Zelmm · Регистрация: 20.07.2016

Author24 — интернет-сервис помощи студентам

Добрый день, форумчане.
Вопрос связанный с памятью:

Есть около 43000 объектов у которых есть переменная булева типа.
С определенными целями мы бегаем по ArrayList из этих объектов.
В конце концов нам надо будет удалить все объекты у которых эта переменная false.

Как нам сделать это с наименьшими затратами памяти:
Так:

Java

ArrayList<Object> arr = new ArrayList<>();
for (int i = 0; i < arr.size(); i++){
 
// Тут мы что-то делаем нам нужное
 
if (!arr.get(i).flag) arr.remove(i--);
}

Или так:

Java

ArrayList<Object> arr = new ArrayList<>();
for (int i = 0; i < arr.size(); i++){
 
// Тут мы что-то делаем нам нужное
 
}
arr.removeIf(x -> !x.flag);

Добавлено через 2 часа 22 минуты
UPD: Нашел ссылку на хабрастатью, где говориться про то, что нежелательно использовать много split()'ов: Типичные случаи утечки памяти в Java

@~~RAFA91~~ · 04.08.2016, 15:45

Сообщение от Zelmm

ArrayList<Object> arr = new ArrayList<>();
for (int i = 0; i < arr.size(); i++){
// Тут мы что-то делаем нам нужное
if (!arr.get(i).flag) arr.remove(i--);
}

а приводить не собераешся ?

@ne2win · 04.08.2016, 15:56

Сообщение от Zelmm

Так же второй вопрос связанный с памятью...
Как нам сделать это с наименьшими затратами памяти:

При удаление память не затрачивается, так надо понимать.

@Zelmm · 04.08.2016, 17:40 **[ТС]**

RAFA91, немного не понял вопроса. В смысле "приводить"?

ne2win, да, просто ситуация в том, что в Java я очень сильный новичок и не знаю тонкостей, а приложение жрет память как подорванное, соответственно нужно освободить уже не использованную как можно быстрее. Не плавнее - черт с плавностью, а именно быстрее.
Соответственно вопрос можно переформулировать, как "В каком из двух вариантов у нас к точке Х окажется больше памяти"?
Точка Х в первом случае сразу после цикла, во втором - после окончания работы метода removeIf();

@ne2win · 04.08.2016, 17:50

Сообщение от Zelmm

В каком из двух вариантов у нас к точке Х окажется больше памяти"?
Точка Х в первом случае сразу после цикла, во втором - после окончания работы метода removeIf();

В общем случае, думаю, одинаково. Память освобождается только в том случае когда это 'необходимо'.

Сообщение от Zelmm

Есть около 43000 объектов у которых есть переменная булева типа.

Полностью задачу можете привести?

@Zelmm · 05.08.2016, 09:27 **[ТС]**

ne2win, спасибо за ответ!

В общем случае, думаю, одинаково. Память освобождается только в том случае когда это 'необходимо'.

Т.е., если я правильно понял, когда JVM увидит, что место в куче заканчивается, он запустить GC, который пробежится и удалит объекты без ссылок. А до того момента, пока место в куче еще есть, JVM рыпаться не будет, верно?

Полностью задачу можете привести?

Полностью?

Пожалуйста.

Есть интернет-магазин. У этого магазина есть поисковая машина ElasticSearch. У эластика есть автоподсказки, как у яндекса или гугла (выпадающий список). Нужно обновить эти подсказки на основе запросов пользователей.

Алгоритм действий такой:
1. Берем из БД все запросы за последние сутки.
2. По хитрой формуле считаем "вес" каждого запроса. В формуле участвуют кол-во таких запросов за сутки, кол-во найденных по запросу товаров и т.п.
3. После этого строим около 42000 объектов класса "Запрос", в которых содержится инфа: запрос, "вес", кол-во товаров и т.п. (7 полей и один ArrayList<String>) В том числе среди этих полей есть флаг "itIsRight", который свидетельствует о правильности написания запроса с точки зрения русского языка, т.е. есть ли грамматические ошибки.
4. Собственно если есть ошибки, то по отдельному алгоритму производится "слияние" правильных запросов и части инфы из неправильного и неправильный удаляется.

Получается что мы имеем ArrayList<Запросы> в котором 42000 объектов <Запросы> и каждый объект сравнивается с каждым в цикле по трем разным полям.

Вот такая задачка

@KEKCoGEN · 05.08.2016, 10:24

Zelmm,
во-первых я бы делал запрос из БД уже с аггрегацией по запросам. Чтобы небыло повторов, а был формат "запрос" - "кол-во". Таким образом вы тянете меньше данных.
Во-вторых этот алгоритм я полагаю не бежит после каждого запроса пользователя, а бежит например пару раз в сутки и бежит в фоновом режиме. Таким образом лишние пару секунд погоды не делают, а пробежать по массиву в 42к элементов это не так долго.

Поэтому можете взять любой способ и не смотреть на скорость.

Если же вам очень жалко памяти, делайте выборку из БД постранично. Обрабатывайте частичные данные и загружайте следующую страницу из БД.

Совсем другое дело если вы хотите построить настоящую систему индексации запросов. Тут уже совершенно другие технологии. Такие как Apache Spark, HDFS, Hadoop и другие технологии для работы с BigData. Однако думаю это не ваш вариант.

@Zelmm · 09.08.2016, 10:15 **[ТС]**

ne2win, KEKCoGEN, спасибо за ответы.

Не без помощи Ваших советов смог разобраться с памятью

Новые блоги и статьи
Это работает. Скорость асинхронной логики велика. Вопрос видимо останется в стабильности. Плата - огонь! Hrethgir 13.01.2025 По прошлому проекту в Logisim Evolution https:/ / www. cyberforum. ru/ blogs/ 223907/ blog8781. html прилагаю файл архива проекта Gowin Eda и снимок. Восьмибитный счётчик из сумматора+ генератор сигнала. . .	UserScript для подсветки кнопок языков программирования в зависимости от текущего раздела volvo 13.01.2025 В результате работы этого скрипта подсвечиваются нужные кнопки не только в форме быстрого ответа, но и при редактировании сообщения: / / ==UserScript== / / @name CF_DefaultLangSelect / / . . .	Введение в модели и алгоритмы машинного обучения InfoMaster 12.01.2025 Машинное обучение представляет собой одну из наиболее динамично развивающихся областей искусственного интеллекта, которая фокусируется на разработке алгоритмов и методов, позволяющих компьютерам. . .	Как на Python создать нейросеть для решения задач InfoMaster 12.01.2025 В контексте стремительного развития современных технологий особое внимание уделяется таким инструментам, как нейросети. Эти структуры, вдохновленные биологическими нейронными сетями, используются для. . .	Как создать нейросеть для генерации картинок на Python InfoMaster 12.01.2025 Генерация изображений с помощью искусственных нейронных сетей стала одним из наиболее захватывающих направлений в области компьютерного зрения и машинного обучения. В этой статье мы рассмотрим. . .	Создание нейросети для генерации текста на Python InfoMaster 12.01.2025 Нейросети, или искусственные нейронные сети, представляют собой модели машинного обучения, вдохновленные работой человеческого мозга. Они состоят из множества взаимосвязанных узлов, или "нейронов",. . .
Как создать нейросеть распознавания изображений на Python InfoMaster 12.01.2025 Введение в распознавание изображений с помощью нейросетей Распознавание изображений с помощью нейронных сетей стало одним из самых впечатляющих достижений в области искусственного интеллекта. Эта. . .	Основы искуственного интеллекта InfoMaster 12.01.2025 Искусственный интеллект (ИИ) представляет собой одну из наиболее динамично развивающихся областей современной науки и технологий. В широком смысле под искусственным интеллектом понимается способность. . .	Python и нейросети InfoMaster 12.01.2025 Искусственные нейронные сети стали неотъемлемой частью современных технологий, революционизировав множество областей - от медицинской диагностики до автономных транспортных средств. Python, благодаря. . .	Python в машинном обучении InfoMaster 12.01.2025 Python стал неотъемлемой частью современного машинного обучения, завоевав позицию ведущего языка программирования в этой области. Его популярность обусловлена несколькими ключевыми факторами, которые. . .	Создание UI на Python с TKinter InfoMaster 12.01.2025 TKinter — это одна из наиболее популярных библиотек для создания графических интерфейсов пользователей (GUI) в языке программирования Python. TKinter входит в стандартную библиотеку Python, что. . .	HTML5 в разработке мобильных приложений InfoMaster 12.01.2025 Введение: Обзор роли HTML5 в мобильной разработке В современном мире мобильных технологий HTML5 стал ключевым инструментом для разработки кроссплатформенных приложений. Эта технология произвела. . .

@~~RAFA91~~ Заблокирован
	04.08.2016, 15:45	2
	Сообщение от Zelmm ArrayList<Object> arr = new ArrayList<>(); for (int i = 0; i < arr.size(); i++){ // Тут мы что-то делаем нам нужное if (!arr.get(i).flag) arr.remove(i--); } а приводить не собераешся ? 0

@ne2win 206 / 206 / 71 Регистрация: 25.02.2014 Сообщений: 569
	04.08.2016, 15:56	3
	Сообщение от Zelmm Так же второй вопрос связанный с памятью... Как нам сделать это с наименьшими затратами памяти: При удаление память не затрачивается, так надо понимать. 0

@Zelmm 11 / 2 / 0 Регистрация: 20.07.2016 Сообщений: 35
	04.08.2016, 17:40 [ТС]	4
	RAFA91, немного не понял вопроса. В смысле "приводить"? ne2win, да, просто ситуация в том, что в Java я очень сильный новичок и не знаю тонкостей, а приложение жрет память как подорванное, соответственно нужно освободить уже не использованную как можно быстрее. Не плавнее - черт с плавностью, а именно быстрее. Соответственно вопрос можно переформулировать, как "В каком из двух вариантов у нас к точке Х окажется больше памяти"? Точка Х в первом случае сразу после цикла, во втором - после окончания работы метода removeIf(); 0

@ne2win 206 / 206 / 71 Регистрация: 25.02.2014 Сообщений: 569
	04.08.2016, 17:50	5
	Сообщение было отмечено Zelmm как решение Решение Сообщение от Zelmm В каком из двух вариантов у нас к точке Х окажется больше памяти"? Точка Х в первом случае сразу после цикла, во втором - после окончания работы метода removeIf(); В общем случае, думаю, одинаково. Память освобождается только в том случае когда это 'необходимо'. Сообщение от Zelmm Есть около 43000 объектов у которых есть переменная булева типа. Полностью задачу можете привести? 1

@Zelmm 11 / 2 / 0 Регистрация: 20.07.2016 Сообщений: 35
	05.08.2016, 09:27 [ТС]	6
	ne2win, спасибо за ответ! В общем случае, думаю, одинаково. Память освобождается только в том случае когда это 'необходимо'. Т.е., если я правильно понял, когда JVM увидит, что место в куче заканчивается, он запустить GC, который пробежится и удалит объекты без ссылок. А до того момента, пока место в куче еще есть, JVM рыпаться не будет, верно? Полностью задачу можете привести? Полностью? Пожалуйста. Есть интернет-магазин. У этого магазина есть поисковая машина ElasticSearch. У эластика есть автоподсказки, как у яндекса или гугла (выпадающий список). Нужно обновить эти подсказки на основе запросов пользователей. Алгоритм действий такой: 1. Берем из БД все запросы за последние сутки. 2. По хитрой формуле считаем "вес" каждого запроса. В формуле участвуют кол-во таких запросов за сутки, кол-во найденных по запросу товаров и т.п. 3. После этого строим около 42000 объектов класса "Запрос", в которых содержится инфа: запрос, "вес", кол-во товаров и т.п. (7 полей и один ArrayList<String>) В том числе среди этих полей есть флаг "itIsRight", который свидетельствует о правильности написания запроса с точки зрения русского языка, т.е. есть ли грамматические ошибки. 4. Собственно если есть ошибки, то по отдельному алгоритму производится "слияние" правильных запросов и части инфы из неправильного и неправильный удаляется. Получается что мы имеем ArrayList<Запросы> в котором 42000 объектов <Запросы> и каждый объект сравнивается с каждым в цикле по трем разным полям. Вот такая задачка 0

@KEKCoGEN 2399 / 2224 / 565 Регистрация: 28.12.2010 Сообщений: 8,672
	05.08.2016, 10:24	7
	Zelmm, во-первых я бы делал запрос из БД уже с аггрегацией по запросам. Чтобы небыло повторов, а был формат "запрос" - "кол-во". Таким образом вы тянете меньше данных. Во-вторых этот алгоритм я полагаю не бежит после каждого запроса пользователя, а бежит например пару раз в сутки и бежит в фоновом режиме. Таким образом лишние пару секунд погоды не делают, а пробежать по массиву в 42к элементов это не так долго. Поэтому можете взять любой способ и не смотреть на скорость. Если же вам очень жалко памяти, делайте выборку из БД постранично. Обрабатывайте частичные данные и загружайте следующую страницу из БД. Совсем другое дело если вы хотите построить настоящую систему индексации запросов. Тут уже совершенно другие технологии. Такие как Apache Spark, HDFS, Hadoop и другие технологии для работы с BigData. Однако думаю это не ваш вариант. 1

@Zelmm 11 / 2 / 0 Регистрация: 20.07.2016 Сообщений: 35
	09.08.2016, 10:15 [ТС]	8
	ne2win, KEKCoGEN, спасибо за ответы. Не без помощи Ваших советов смог разобраться с памятью 0

Опции темы

Удалить все объекты у которых переменная равна false

Решение