Форум программистов, компьютерный форум, киберфорум
Java EE (J2EE)
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Эксперт Java
3639 / 2971 / 918
Регистрация: 05.07.2013
Сообщений: 14,220

Kafka consumer returns null

25.11.2016, 11:09. Показов 1647. Ответов 0
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Есть Кафка. Создан топик. Consumer и producer, которые идут в комплекте, работают как положено.
Пишу свои consumer и producer. Код взят из доков, к коду добавлен свой сериализатор. Producer нормально работает - в топике появляются сообщения. Сразу после этого вызываю consumer.poll - никаких сообщений нет. Никаких исключений тоже нет. В логах тоже все тихо. Кто-то может предположить, в чем проблема?

Добавлено через 9 часов 25 минут
Java
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
       Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "test");
        props.put(ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG, "30000");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, KryoSerializer.class.getName());
        props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");
        props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true");
        props.put("fetch.message.max.bytes", "30000000");
        KafkaConsumer<String, EmailProperties> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Arrays.asList("test"));
        
        props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, KryoSerializer.class.getName());
       
        try (KafkaProducer<String, EmailProperties> producer = new KafkaProducer<>(props)) {
            String topic = "test";
            String key = "mykey";
            EmailProperties ep = new EmailProperties();
            String[] ccRecipients = { "cc1@domain.com", "cc2@domain.com" };
            String[] recipients = { "r1@domain.com", "r2@domain.com" };
            String[] picturePaths = { "picture1", "picture2" };
            ep.setCcRecipients(Arrays.asList(ccRecipients));
            ep.setFile(new File("d:/file.txt"));
            ep.setMailContent("Content");
            ep.setMimeType("text/plain");
            ep.setPicturePaths(Arrays.asList(picturePaths));
            ep.setRecipients(Arrays.asList(recipients));
            ep.setSubject("subject");
            ProducerRecord<String, EmailProperties> producerRecord = new ProducerRecord<>(topic, key, ep);
            producer.send(producerRecord);
        } catch (Exception e) {
            e.printStackTrace();
        }
        
        ConsumerRecords<String, EmailProperties> records = consumer.poll(10000);
        consumer.close();
kafka пишет в лог так:
[2016-11-25 11:46:10,026] INFO [GroupCoordinator 0]: Preparing to restabilize group test with old generation 0 (kafka.coordinator.GroupCoordinator)
[2016-11-25 11:46:10,030] INFO [GroupCoordinator 0]: Stabilized group test generation 1 (kafka.coordinator.GroupCoordinator)
[2016-11-25 11:46:10,035] INFO [GroupCoordinator 0]: Assignment received from leader for group test for generation 1 (kafka.coordinator.GroupCoordinator)
[2016-11-25 11:46:19,919] INFO [GroupCoordinator 0]: Preparing to restabilize group test with old generation 1 (kafka.coordinator.GroupCoordinator)
[2016-11-25 11:46:19,925] INFO [GroupCoordinator 0]: Group test generation 1 is dead and removed (kafka.coordinator.GroupCoordinator)
В топике появляется сообщение. Consumer его не видит, т.е. record всегда пустой.

Добавлено через 19 минут
Всем спасибо, разобрался.
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
25.11.2016, 11:09
Ответы с готовыми решениями:

JAX-RS consumer для множества объектов
Привет. Возник тут вопрос, ради облегчения жизни :) Java EE, JAX-RS Метод @POST @Path(&quot;path&quot;) ...

Блин, для ЧЕГО НУЖНА Функция CREATE TABLE invoice( inv_id INT AUTO_INCREMENT NOT NULL , usr_id INT NOT NULL , prod_id INT NOT NULL , quantity INT NOT
Погуглив, так и не смог толком понять. Есть тут ГУРУ по mysql Которые могут на пальцах или на примере показать для чего она нужна. ...

ExecuteNonQuery returns -1
Доброго времени суток! просмотрел похожие темы, решения не нашел( столкнулся с такой проблемой: хочу по нажатию кнопки менять...

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
25.11.2016, 11:09
Помогаю со студенческими работами здесь

ReadProcessMemory returns 0
Здравствуйте. Вообщем столкнулся с такой проблемой. пишу тренер для онлайн игры. Раньше работало всё норм. Но после последнего обновления...

SUMIF returns to 0
Добрый день! Подскажите пожалуйста почему функция SUMIF возвращает значение 0 в приложенном примере, где должна считать сумму в...

1 Subquery returns more than 1 row
Господа, Hola! Есть запросик у меня и все вроде бы было хорошо и он отрабатывал, пока я не влепил подзапросы и он не выдал ошибочку: 1...

Execute block returns
Таблица 1. LIST_TAXI(IDLIST_TAXI, CALL_TIME, DEP_TIME, COM_TIME, TIM_STOP, NUMBER); IDLIST_TAXI IDTAXI CALL_TIME - дата и время...

UPDATE и Subquery returns more than 1 row
Здравствуйте. Помогите корректно записать запрос типа UPDATE table1 SET field1 = *some_value* WHERE field2 = (SELECT ...) ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
1
Ответ Создать тему
Новые блоги и статьи
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Рецензия / Мнение Это мой обзор планшета X220 с точки зрения школьника. Недавно я решила попытаться уменьшить свой. . .
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru