Форум программистов, компьютерный форум, киберфорум
Java EE (J2EE)
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
 
Рейтинг 4.75/8: Рейтинг темы: голосов - 8, средняя оценка - 4.75
5 / 5 / 0
Регистрация: 07.06.2009
Сообщений: 171

Неэффективное использование оперативной памяти

24.07.2017, 22:48. Показов 1959. Ответов 25
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Написал задачу на java. В ней используются postgresql, spring boot, rest. Все просто, надо считать данные из БД фильтруя их с помощью regex - объект с двумя полями айди и имя, и потом в json передать в response. Вот проверив его одной из ошибок стало неэффективное использование оперативной памяти.

Одним из условий является "фильтр обязательно применять в java коде, не использовать возможности sql". Так же в БД по условию более миллиона записей.

Что делать чтобы исправить? Контроллер скидывать пока не буду, потому как кажется что проблема на нижних слоях, но если надо выложу сразу.

Мой код:

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
@Repository
 
public class ContactRepositoryImpl implements ContactRepository {
 
 
    private static final BeanPropertyRowMapper<Contact> ROW_MAPPER = BeanPropertyRowMapper.newInstance(Contact.class);
 
 
    JdbcTemplate jdbcTemplate;
 
 
    @Autowired
 
    public ContactRepositoryImpl(@Qualifier("dataSource") DataSource dataSource) {
 
        this.jdbcTemplate = new JdbcTemplate(dataSource);
 
    }
 
 
    public List<Contact> getAll() {
 
        System.out.println(jdbcTemplate.toString());
 
        return jdbcTemplate.query("SELECT * FROM contacts", ROW_MAPPER);
 
    }
 
}
 
@Service
 
public class ContactServiceImpl implements ContactService {
 
 
    @Autowired
 
    private ContactRepository repository;
 
 
    @Override
 
    public List<Contact> getFilteredContacts(String nameFilter) {
 
        Pattern pattern = Pattern.compile(nameFilter);
 
 
        List<Contact> list = repository.getAll();
 
        List<Contact> list2 = list.stream()
 
                .filter(Objects::nonNull)
 
                .filter(it -> it.getName() != null)
 
                .filter(it -> !pattern.matcher(it.getName()).matches())
 
                .collect(Collectors.toList());
 
 
        return list2;
 
    }
 
@Configuration
public class DBUtil {
    private final static String URL =
            "jdbc:postgresql://localhost:5432/contacts";
    private final static String DRIVER = "org.postgresql.Driver";
    private final static String USERNAME = "postgres";
    private final static String PASSWORD = "root";
 
    private static Connection connection = null;
 
    @Bean(name = "dataSource")
    public static DriverManagerDataSource getDataSource() {
        DriverManagerDataSource dataSource = new DriverManagerDataSource();
        dataSource.setDriverClassName(DRIVER);
        dataSource.setUrl(URL);
        dataSource.setUsername(USERNAME);
        dataSource.setPassword(PASSWORD);
 
        Resource initSchema = new ClassPathResource("initdb.sql");
        Resource initData = new ClassPathResource("populatedbase.sql");
        DatabasePopulator databasePopulator = new ResourceDatabasePopulator(initSchema, initData);
        DatabasePopulatorUtils.execute(databasePopulator, dataSource);
 
        return dataSource;
    }
}
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
24.07.2017, 22:48
Ответы с готовыми решениями:

Лимит оперативной памяти в java
здравствуйте. вопрос не по программированию, но гугл послал к вам по умолчанию java может использовать не больше 1024мб оперативной...

Выделение оперативной памяти апплету
Моя программа запускает другую программу (игру) через апплет. Можно ли как-нибудь выделить дополнительную оперативную память этому апплету...

Использование оперативной памяти (вылетают игры из-за нехватки памяти)
Перезагружаю комп, играю часа 3-4 и вся память пропадает куда-то в результате чего игры вылетают(закрытие всех прог и игр оставляет где-то...

25
Эксперт Java
3639 / 2971 / 918
Регистрация: 05.07.2013
Сообщений: 14,220
24.07.2017, 23:05
https://dzone.com/articles/add... a-goodness
0
5 / 5 / 0
Регистрация: 07.06.2009
Сообщений: 171
24.07.2017, 23:21  [ТС]
Цитата Сообщение от xoraxax Посмотреть сообщение
https://dzone.com/articles/adding-ja...ambda-goodness
Можете пожалуйста чуть поподробнее обьяснить что к чему, и где решение, просто хотелось бы понять получше как это все решить?
0
Эксперт Java
378 / 370 / 114
Регистрация: 30.06.2010
Сообщений: 1,445
25.07.2017, 05:58
Лучший ответ Сообщение было отмечено Noxior как решение

Решение

xoraxax, проблему TC это не решает. да, код станет проще и красивей, но TC не использует курсор, а значит данные то все равно все потянутся. в итоге память забъется.

Noxior, используй курсор, раз и два, либо используй limit и offset. кстати можно JPA использовать
1
25.07.2017, 16:31

Не по теме:

Цитата Сообщение от LeX Посмотреть сообщение
xoraxax, проблему TC это не решает. да, код станет проще и красивей, но TC не использует курсор, а значит данные то все равно все потянутся. в итоге память забъется.
где-то видел такую же штуку с курсором, видимо не та статья

0
5 / 5 / 0
Регистрация: 07.06.2009
Сообщений: 171
25.07.2017, 22:50  [ТС]
А по сколько лучше вытаскивать из бд postgres если имеется миллионы строк?
0
Эксперт Java
3639 / 2971 / 918
Регистрация: 05.07.2013
Сообщений: 14,220
25.07.2017, 23:22
Лучший ответ Сообщение было отмечено Noxior как решение

Решение

Цитата Сообщение от LeX Посмотреть сообщение
проблему TC это не решает
https://knes1.github.io/blog/2... -data.html
вероятно это, точно не помню.
1
Эксперт Java
378 / 370 / 114
Регистрация: 30.06.2010
Сообщений: 1,445
26.07.2017, 14:41
xoraxax, первый способ как раз с использованием limit и offset, второй на стримах как раз с курсором, через fetch size. я за второй

Добавлено через 4 минуты
Цитата Сообщение от Noxior Посмотреть сообщение
А по сколько лучше вытаскивать из бд postgres если имеется миллионы строк?
универсального значения нет, кроме числа пи и экспоненты, все зависит от выделенной памяти приложения и размеров самих записей

короче значение вычисляется опытным путем
1
5 / 5 / 0
Регистрация: 07.06.2009
Сообщений: 171
26.07.2017, 18:14  [ТС]
Цитата Сообщение от LeX Посмотреть сообщение
универсального значения нет, кроме числа пи и экспоненты, все зависит от выделенной памяти приложения и размеров самих записей
короче значение вычисляется опытным путем
Добавлено через 21 минуту
Цитата Сообщение от xoraxax Посмотреть сообщение
https://knes1.github.io/blog/2015/20...ring-data.html
вероятно это, точно не помню.
А как хоть проверить что оно работает? что больше нет заморочек с памятью
0
Эксперт Java
3639 / 2971 / 918
Регистрация: 05.07.2013
Сообщений: 14,220
26.07.2017, 19:30
а как ты определил, что есть "заморочки с памятью"?
1
5 / 5 / 0
Регистрация: 07.06.2009
Сообщений: 171
26.07.2017, 19:39  [ТС]
xoraxax, когда записей миллионы то память переполняется, поэтому нерационально раньше было
0
Эксперт Java
3639 / 2971 / 918
Регистрация: 05.07.2013
Сообщений: 14,220
26.07.2017, 20:12
ну значит, если не переполняется, то все нормально, логично вроде же?

Добавлено через 25 секунд
вообще можешь jvisualvm запустить, например
1
5 / 5 / 0
Регистрация: 07.06.2009
Сообщений: 171
27.07.2017, 00:31  [ТС]
Цитата Сообщение от Noxior Посмотреть сообщение
xoraxax, когда записей миллионы то память переполняется, поэтому нерационально раньше было
Цитата Сообщение от LeX Посмотреть сообщение
универсального значения нет, кроме числа пи и экспоненты, все зависит от выделенной памяти приложения и размеров самих записей
короче значение вычисляется опытным путем
Есть еще один нюанс. Если не сложно подскажите пожалуйста какие коды ошибок тут лучше всего обрабатывать/возвращать в соответствии с rest, например:400 и т.д.?
0
Эксперт Java
378 / 370 / 114
Регистрация: 30.06.2010
Сообщений: 1,445
27.07.2017, 04:56
Noxior, раз и два
0
5 / 5 / 0
Регистрация: 07.06.2009
Сообщений: 171
27.07.2017, 23:44  [ТС]
LeX, я читал это) я имел ввиду в контексте моей задачи.правильно ли я думаю что 404 и 200 хватит?

Добавлено через 8 часов 1 минуту
up
0
Эксперт Java
378 / 370 / 114
Регистрация: 30.06.2010
Сообщений: 1,445
28.07.2017, 05:04
Заводи отдельную тему, к текущему топику вопрос отношения не имеет
0
5 / 5 / 0
Регистрация: 07.06.2009
Сообщений: 171
02.08.2017, 01:31  [ТС]
LeX, что скажете о таком методе?

Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
public List<Contact> getAll(String nameFilter) {
        List<Contact> contacts = new ArrayList<>();
        Pattern pattern = Pattern.compile(nameFilter);
        try (Connection conn = DriverManager.getConnection(URL, USERNAME, PASSWORD)) {
            conn.setAutoCommit(false);
            try (Statement statement = conn.createStatement()) {
                statement.setFetchSize(20000);
                try (ResultSet rs = statement.executeQuery("SELECT * FROM contacts")) {
                    while (rs.next()) {
                        if (!pattern.matcher(rs.getString(2)).matches()) {
                            contacts.add(new Contact(rs.getInt(1), rs.getString(2)));
                        }
                    }
                    return contacts;
                }
            }
        } catch (SQLException se) {
            System.err.println("some sort of jdbc error encountered");
            throw new RuntimeException(("some sort of jdbc error encountered"), se);
        }
    }
0
Эксперт Java
378 / 370 / 114
Регистрация: 30.06.2010
Сообщений: 1,445
02.08.2017, 09:58
Цитата Сообщение от Noxior Посмотреть сообщение
!pattern.matcher(rs.getString(2)).matche s()
зачем? это должен быть фильтр в запросе так то. или там что-то хитрое?

Добавлено через 1 минуту
а насчет количества - тестируй производительность с разным количеством и выбирай.

не скажу много ли это 20000, но я бы взял меньше. к тому же хибер вроде по-умолчанию вообще 50 имеет
0
5 / 5 / 0
Регистрация: 07.06.2009
Сообщений: 171
02.08.2017, 14:18  [ТС]
LeX, та то небольшой поиск. Интересует вопрос как улучшить производительность, не только тестируя на количество выбранных строк. Так как это метод get, и рест, может кеширование? Но как тогда с памятью?
0
Эксперт Java
378 / 370 / 114
Регистрация: 30.06.2010
Сообщений: 1,445
02.08.2017, 14:21
Цитата Сообщение от Noxior Посмотреть сообщение
та то небольшой поиск. Интересует вопрос как улучшить производительность, не только тестируя на количество выбранных строк
делать правильно выборку с фильтром в запросе

Добавлено через 38 секунд
ну и пагинация
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
02.08.2017, 14:21
Помогаю со студенческими работами здесь

Использование оперативной памяти
Можно ли как-то в CCS узнать сколько программа отъедает оперативной памяти, а также на что вообще тратится память? А то сегодня вот первый...

Использование оперативной памяти
Создаю программу подсчета суммы элементов массива. Надо подсчитать врема затраченное и количество оперативной памяти. Можно ли отследит...

Странное использование оперативной памяти
Здравствуйте. Отключил файл подкачки, так как не хочу насиловать лишний раз HDD или SSD. Всего RAM 12gb DDR3 (4+8). При запуске некоторых...

Использование оперативной памяти в пустую
Всем привет. Недавно купил игровой ноутбук Asus Tuf Gaming FX504. На следующий день заметил, что при запуске Windows уже используется 3гб...

Использование видеопамяти и оперативной памяти
Здравствуйте. У меня установлено 4Гб оперативной памяти, но используется только 3, не смотря на то, что система 64 разрядная. Раньше я...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
20
Ответ Создать тему
Новые блоги и статьи
Знаешь почему 90% людей редко бывают счастливыми?
kumehtar 14.04.2026
Потому что они ждут. Ждут выходных, ждут отпуска, ждут удачного момента. . . а удачный момент так и не приходит.
Фиксация колонок в отчете СКД
Maks 14.04.2026
Фиксация колонок в СКД отчета типа Таблица. Задача: зафиксировать три левых колонки в отчете. Процедура ПриКомпоновкеРезультата(ДокументРезультат, ДанныеРасшифровки, СтандартнаяОбработка) / / . . .
Настройки VS Code
Loafer 13.04.2026
{ "cmake. configureOnOpen": false, "diffEditor. ignoreTrimWhitespace": true, "editor. guides. bracketPairs": "active", "extensions. ignoreRecommendations": true, . . .
Оптимизация кода на разграничение прав доступа к элементам формы
Maks 13.04.2026
Алгоритм из решения ниже реализован на нетиповом документе, разработанного в конфигурации КА2. Задачи, как таковой, поставлено не было, проделанное ниже исключительно моя инициатива. Было так:. . .
Контроль заполнения и очистка дат в зависимости от значения перечислений
Maks 12.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача: реализовать контроль корректности заполнения дат назначения. . .
Архитектура слоя интернета для сервера-слоя.
Hrethgir 11.04.2026
В продолжение https:/ / www. cyberforum. ru/ blogs/ 223907/ 10860. html Знаешь что я подумал? Раз мы все источники пишем в голове ветки, то ничего не мешает добавить в голову такой источник, который сам. . .
Подстановка значения реквизита справочника в табличную часть документа
Maks 10.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа "ПланированиеПерсонала", разработанного в конфигурации КА2. Задача №1: при указании работ (справочник РаботыПоРемонтуСпецтехники),. . .
Очистка реквизитов документа при копировании
Maks 09.04.2026
Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru