Форум программистов, компьютерный форум, киберфорум
Apache
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
Старый
Партиционирование Kafka и доставка сообщений из нескольких партиций
Запись от JVM_Whisperess размещена 18.10.2025 в 20:15
Показов 4110 Комментарии 0

Нажмите на изображение для увеличения
Название: Партиционирование Kafka.jpg
Просмотров: 202
Размер:	71.3 Кб
ID:	11314
Когда впервые сталкиваешься с Kafka, партиции кажутся простой технической деталью - ну разбили топик на части, и что? Типичная ошибка джуна, которую я сам совершал лет семь назад. Тогда на проекте в финтехе мы обрабатывали платежные транзакции, и я наивно полагал, что...
Аватар для JVM_Whisperess
Старый
Полиглотные Event-Driven системы с Kafka, RabbitMQ и gRPC на Java, Go и Node.js
Запись от ArchitectMsa размещена 13.10.2025 в 20:34 / Microservice it all!
Показов 3116 Комментарии 0

Нажмите на изображение для увеличения
Название: Полиглотные Event-Driven системы с Kafka, RabbitMQ и gRPC на Java, Go и Node.js.jpg
Просмотров: 231
Размер:	60.4 Кб
ID:	11281
В 2019 году я столкнулся с любопытной ситуацией. Команда запускала новый сервис рекомендаций на Python - модели машинного обучения требовали NumPy и TensorFlow. Основное приложение работало на Java, а фронтенд крутился на Node.js. И вот появилась задача: связать все это в единую систему, где заказы создаются через веб, обрабатываются на бэкенде, а рекомендации генерируются...
Аватар для ArchitectMsa
Старый
Event-Driven архитектура с Kafka: Outbox Pattern, Exactly-Once и идемпотентные консьюмеры
Запись от ArchitectMsa размещена 09.10.2025 в 21:41 / Microservice it all!
Показов 2796 Комментарии 0

Нажмите на изображение для увеличения
Название: Event-Driven архитектура с Kafka.jpg
Просмотров: 255
Размер:	161.8 Кб
ID:	11274
Представь: твой сервис успешно записал заказ в базу, отправил событие в Kafka, а через секунду всё упало. Заказ есть, событие... может быть есть, а может нет. Или их теперь три копии, потому что продюсер героически ретраился. Склад списал товар дважды, бухгалтерия насчитала...
Аватар для ArchitectMsa
Старый
NGINX vs Apache - что выбрать?
Запись от Jason-Webb размещена 30.09.2025 в 21:13 / Webmastering PHP
Показов 2309 Комментарии 0

Нажмите на изображение для увеличения
Название: NGINX vs Apache.jpg
Просмотров: 154
Размер:	112.0 Кб
ID:	11242
Когда я впервые столкнулся с выбором между NGINX и Apache, у меня был только один критерий — "что быстрее?". Наивный подход, который привел к череде болезненных миграций и ночных релизов. Сегодня я точно знаю: понимание архитектурных различий между этими веб-серверами — ключевой фактор,...
Аватар для Jason-Webb
Старый
Kafka и SQS: сравнение инструментов потоковой передачи
Запись от IndentationError размещена 30.08.2025 в 16:17 / AI coming for you
Показов 4479 Комментарии 0

Нажмите на изображение для увеличения
Название: Kafka и SQS сравнение инструментов потоковой передачи.jpg
Просмотров: 267
Размер:	187.2 Кб
ID:	11089
Сегодня я хочу поговорить о двух титанах в мире потоковой передачи данных: Apache Kafka и Amazon SQS. Или, как я их называю - "тяжелая артилерия" и "снайперская винтовка" в арсенале современного архитектора. Каждый инструмент имеет свои особенности, силу, слабости,...
Аватар для IndentationError
Старый
Event-Driven архитектуры в C# - выбираем правильного брокера сообщений
Запись от ArchitectMsa размещена 10.08.2025 в 19:39 / Microservice it all!
Показов 3941 Комментарии 0

Нажмите на изображение для увеличения
Название: Event-Driven архитектуры в C# - выбираем правильного посредника сообщений.jpg
Просмотров: 266
Размер:	163.7 Кб
ID:	11045
Недавно я консультировал проект интернет-магазина, где для оформления заказа требовалось последовательно вызывать сервисы: корзины, проверки доступности товаров, расчета доставки, создания заказа, списания средств. Типичная картина! Но что происходило, когда...
Аватар для ArchitectMsa
Старый
Рейтинг: 5.00. Голосов: 1.
Data Science и C#. Кейсы
Запись от stackOverflow размещена 06.08.2025 в 11:27
Показов 4156 Комментарии 0

Нажмите на изображение для увеличения
Название: Data Science и C# 2.jpg
Просмотров: 406
Размер:	246.8 Кб
ID:	11039
[Начало] Теория теорией, но как говорил мой первый тимлид: "Работает - значит работает". Давайте разберем реальные проекты, где C# показал себя в деле анализа данных и машинного обучения. Я выбрал несколько показательных кейсов из своей практики последних лет.

Анализ производительности на больших датасетах



Один из самых показательных проектов был связан с анализом логов телекоммуникационного...
Аватар для stackOverflow
Старый
Рейтинг: 5.00. Голосов: 1.
Data Science и C#
Запись от stackOverflow размещена 05.08.2025 в 21:27
Показов 3497 Комментарии 0

Нажмите на изображение для увеличения
Название: Data Science и C#.jpg
Просмотров: 304
Размер:	217.9 Кб
ID:	11038
Когда-то при упоминании языков для анализа данных все автоматически думали только о Python, R и, может быть, немного о Scala. C# воспринимался исключительно как инструмент для энтерпрайз-разработки, создания десктопных приложений под Windows и, в лучшем случае, бэкенда для веб-сервисов. Прошло несколько лет, и ситуация кардинально...
Аватар для stackOverflow
Старый
Spring Kafka - синхронные и асинхронные запросы
Запись от Javaican размещена 01.08.2025 в 20:30 / Making Java great for ever
Показов 4918 Комментарии 0

Нажмите на изображение для увеличения
Название: Spring Kafka - синхронные и асинхронные запросы.jpg
Просмотров: 313
Размер:	183.8 Кб
ID:	11026
Когда я впервые столкнулся с Apache Kafka, меня поразила его архитектура, заточеная под асинхронное взаимодействие. Этот брокер сообщений, созданный изначально в недрах LinkedIn, а сейчас развиваемый Apache Foundation, проектировался как высокопроизводительная шина для потоковой обработки данных, где сообщения публикуются, хранятся в упорядоченых логах и затем потребляются одним или несколькими получателями.

Введение в Request-Reply паттерн в Kafka


...
Аватар для Javaican
Старый
Обработка Big Data на C#
Запись от stackOverflow размещена 29.05.2025 в 21:36
Показов 1876 Комментарии 0

Нажмите на изображение для увеличения
Название: c810d91b-b101-42b4-bba4-25ef70aba248.jpg
Просмотров: 227
Размер:	75.0 Кб
ID:	10855
C# традиционно оставался в тени Java, Python и Scala, когда речь заходила о работе с большими данными. Многие считали, что .NET недостаточно зрелая для таких задач. Но времена изменились. Язык C# превратился в настоящего тяжеловеса для обработки масштабных массивов информации, а с выходом C# 14 и .NET 9 появился целый арсенал инструментов, заточенных специально...
Аватар для stackOverflow
Старый
Рейтинг: 5.00. Голосов: 1.
Event-Driven приложения с Apache Kafka и KafkaFlow в .NET
Запись от stackOverflow размещена 26.05.2025 в 20:50
Показов 3331 Комментарии 0

Нажмите на изображение для увеличения
Название: d74997f4-fb96-476a-b5e2-51fedbecd61c.jpg
Просмотров: 352
Размер:	209.7 Кб
ID:	10850
Для .NET разработчиков работа с Kafka традиционно сопряжена с определенными трудностями. Официальный клиент Confluent хорош, но часто требует написания большого количества шаблонного кода. Многие разработчики тратят дни, разбираясь с настройками сериализации — это настоящее...
Аватар для stackOverflow
Старый
Kubernetes с Apache Flink для обработки данных в реальном времени
Запись от Mr. Docker размещена 17.05.2025 в 10:19 / Docking everything, K8s anything
Показов 6124 Комментарии 0

Нажмите на изображение для увеличения
Название: 85d0647b-9d21-41f4-a9b2-1e03b4f3ec01.jpg
Просмотров: 230
Размер:	200.0 Кб
ID:	10818
Kubernetes — это целая философия управления распределёнными приложениями. В отличие от "примитивных" решений вроде Docker Swarm, K8s (как его ласково называют в тусовке DevOps-инженеров) предлагает гораздо более зрелый и продвинутый подход. Основная архитектура Kubernetes включает в себя мастер-ноды, которые координируют работу кластера, и рабочие...
Аватар для Mr. Docker
Старый
Конвейеры ETL с Apache Airflow и Python
Запись от IndentationError размещена 13.05.2025 в 10:02 / AI coming for you
Показов 3931 Комментарии 0

Нажмите на изображение для увеличения
Название: 5edb7e39-15da-48ed-9f2a-ebda2d5087ed.jpg
Просмотров: 124
Размер:	195.1 Кб
ID:	10799
ETL-конвейеры – это набор процессов, отвечающих за извлечение данных из различных источников (Extract), их преобразование в нужный формат (Transform) и загрузку в целевое хранилище (Load). Современные компании оперируют сотнями терабайт информации, которые поступают из десятков разнородных систем: от древних корпоративных монстров на COBOL до навороченных REST API с непредсказуемым поведением. Создание надёжных потоков данных...
Аватар для IndentationError
Старый
Apache Camel и Apache Kafka - в чем разница?
Запись от ArchitectMsa размещена 09.05.2025 в 12:06 / Microservice it all!
Показов 1782 Комментарии 0
Метки apache, architecture, camel, kafka

Нажмите на изображение для увеличения
Название: 8e70ee5b-88a7-400f-b3cb-7dbe8a61fc0d.jpg
Просмотров: 149
Размер:	57.3 Кб
ID:	10774
Apache Camel и Apache Kafka — не конкуренты, а скорее инструменты из разных категорий одного большого набора. Если Camel — это швейцарский нож интеграции, предлагающий решение для соединения почти любых систем, то Kafka — высокопроизводительный конвейер для передачи огромных...
Аватар для ArchitectMsa
Старый
Confluent Kafka Go и потоковые приложения в реальном времени на Golang
Запись от golander размещена 03.05.2025 в 20:17 / go go just go
Показов 2222 Комментарии 0

Нажмите на изображение для увеличения
Название: 0e23c15e-8b21-486c-a2b9-a2fdca2f6ca4.jpg
Просмотров: 174
Размер:	168.8 Кб
ID:	10728
Мир обработки данных перевернулся, когда в 2011 году LinkedIn открыл исходный код Kafka – распределённой системы передачи сообщений, разработанной для внутренних нужд компании. Изначально Кафка создавалась как решение для сбора и анализа пользовательской активности...
Аватар для golander
Старый
Apache Kafka vs RabbitMQ в микросервисной архитектуре
Запись от ArchitectMsa размещена 25.04.2025 в 13:13 / Microservice it all!
Показов 3692 Комментарии 0

Нажмите на изображение для увеличения
Название: fe1d2e6a-463c-46f7-ad38-799fee616b73.jpg
Просмотров: 122
Размер:	235.6 Кб
ID:	10652
Современная разработка ПО всё чаще склоняется к микросервисной архитектуре — подходу, при котором приложение разбивается на множество небольших, автономных сервисов. В этой распределённой среде критически важна эффективная коммуникация между компонентами,...
Аватар для ArchitectMsa
Старый
Погружение в Kafka: Концепции и примеры на C# с ASP.NET Core
Запись от stackOverflow размещена 18.04.2025 в 11:03
Показов 7598 Комментарии 0

Нажмите на изображение для увеличения
Название: 8346d751-d0a5-475c-94a6-39bdac22b4d7.jpg
Просмотров: 213
Размер:	164.3 Кб
ID:	10607
Apache Kafka изменила подход к обработке данных в распределенных системах. Эта платформа потоковой передачи данных выходит далеко за рамки обычной шины сообщений, предлагая мощные возможности, которые трансформировали архитектуру многих современных приложений.

Что такое Kafka и зачем она нужна



Apache Kafka – распределенная платформа потоковой передачи данных, которая по сути представляет...
Аватар для stackOverflow
Старый
Управление топиками и разделами Kafka
Запись от Javaican размещена 11.04.2025 в 21:54 / Making Java great for ever
Показов 6284 Комментарии 0
Метки apache, java, kafka

Нажмите на изображение для увеличения
Название: d95d2181-24e0-43a6-81b9-35fd07f266e1.jpg
Просмотров: 150
Размер:	224.0 Кб
ID:	10579
Apache Kafka — распределенная платформа потоковой передачи данных, которая стала стандартом для построения высоконагруженных систем обмена сообщениями. В современной архитектуре микросервисов, IoT-решений и аналитики реального времени Kafka выступает ключевым звеном,...
Аватар для Javaican
Старый
Подключение Kafka к Elasticsearch
Запись от Codd размещена 09.04.2025 в 19:10 / Data... Everywhere
Показов 4584 Комментарии 0

Нажмите на изображение для увеличения
Название: 97b61b4f-21d4-47f6-8d61-0107e5b9536f.jpg
Просмотров: 163
Размер:	236.5 Кб
ID:	10566
Apache Kafka и Elasticsearch — две мощные технологии, которые при совместном использовании создают эффективную платформу для обработки и анализа данных в реальном времени. Kafka, выступая в роли распределенной системы потоковой передачи сообщений, позволяет надежно передавать...
Аватар для Codd
Старый
Реализация Event-Driven архитектуры с RabbitMQ и Kafka в Nest.js
Запись от ArchitectMsa размещена 09.04.2025 в 16:09 / Microservice it all!
Показов 2436 Комментарии 0

Нажмите на изображение для увеличения
Название: 4663bd1c-2017-4e0e-abc4-2975752e4c22.jpg
Просмотров: 118
Размер:	161.9 Кб
ID:	10560
В монолитных системах сервисы обычно общаются напрямую через HTTP-запросы. Простой подход, удобный для начала разработки — но что происходит, когда система растёт? Синхронное взаимодействие быстро превращается в узкое место, тормозящее масштабирование.

...
Аватар для ArchitectMsa
Старый
Обмен данными в микросервисной архитектуре
Запись от ArchitectMsa размещена 06.04.2025 в 22:00 / Microservice it all!
Показов 5241 Комментарии 0

Нажмите на изображение для увеличения
Название: 63f23c83-62a4-4109-a339-6a1a6cae127d.jpg
Просмотров: 196
Размер:	202.0 Кб
ID:	10546
Когда разработчики начинают погружаться в мир микросервисов, они часто сталкиваются с парадоксальным правилом: "два сервиса не должны делить один источник данных". Эта мантра звучит повсюду в профессиональных кругах, и многие воспринимают её слишком буквально....
Аватар для ArchitectMsa
Старый
Позиционировани­е Kafka Consumer и Seek-операции
Запись от Javaican размещена 17.03.2025 в 12:08 / Making Java great for ever
Показов 3195 Комментарии 0
Метки apache, java, kafka, microservices

Нажмите на изображение для увеличения
Название: 3629b240-eadf-49c1-a6a3-fa5e7496d0fb.jpg
Просмотров: 123
Размер:	222.3 Кб
ID:	10436
Что же такое Consumer Seek в Kafka? По сути, это API-метод, который позволяет программно указать, с какой позиции (offset) Consumer должен начать или продолжить чтение данных из партиции. Без этого механизма потребители Kafka обычно просто последовательно обрабатывают сообщения, начиная...
Аватар для Javaican
Старый
Apache Airflow для оркестрации и автоматизации рабочих процессов
Запись от Mr. Docker размещена 16.03.2025 в 20:42 / Docking everything, K8s anything
Показов 2303 Комментарии 0

Нажмите на изображение для увеличения
Название: 329ad6b5-3a16-454f-b1cf-d03d07b73234.jpg
Просмотров: 142
Размер:	204.6 Кб
ID:	10432
Управление сложными рабочими процессами — одна из главных головных болей инженеров данных и DevOps-специалистов. Представьте себе: каждый день нужно запускать десятки скриптов в определенной последовательности, обрабатывать гигабайты данных из разных источников, и при этом следить, чтобы все работало как часы....
Аватар для Mr. Docker
Старый
Реактивное программировани­е с Kafka Stream и Spring WebFlux
Запись от Javaican размещена 16.03.2025 в 18:36 / Making Java great for ever
Показов 1882 Комментарии 0

Нажмите на изображение для увеличения
Название: ebfa69c1-c798-474a-ba4a-043bd5c672f0.jpg
Просмотров: 119
Размер:	196.7 Кб
ID:	10427
Реактивное программирование – это программная парадигма, ориентированная на потоки данных и распространение изменений. Она позволяет выражать статические или динамические потоки данных и автоматически распространять изменения через потоки зависимых вычислений....
Аватар для Javaican
Старый
Конвейеры данных с Apache Kafka
Запись от Javaican размещена 16.03.2025 в 11:46 / Making Java great for ever
Показов 2006 Комментарии 0

Нажмите на изображение для увеличения
Название: 5f1661f3-6d5d-4568-9523-20f18445ffeb.png
Просмотров: 103
Размер:	1.32 Мб
ID:	10419
В мире, где данные стали новой нефтью, Apache Kafka зарекомендовал себя как мощный инструмент для построения надежных и масштабируемых конвейеров данных. Созданный изначально командой LinkedIn в 2011 году, этот проект эволюционировал из простой системы обмена сообщениями...
Аватар для Javaican
Старый
Безопасность кластеров Apache Kafka
Запись от Javaican размещена 14.03.2025 в 14:32 / Making Java great for ever
Показов 1977 Комментарии 0
Метки apache, auth, java, kafka, security

Нажмите на изображение для увеличения
Название: 5209a3c1-8f00-4f91-95e9-d42c09240a22.jpg
Просмотров: 129
Размер:	194.9 Кб
ID:	10395
Apache Kafka стал одним из ключевых компонентов современных архитектур, обрабатывающих потоки данных в режиме реального времени. Его используют тысячи компаний от стартапов до технологических гигантов — и это неудивительно, ведь Kafka обеспечивает высокую производительность,...
Аватар для Javaican
Старый
Организация масштабируемого хранилища с Apache Cassandra
Запись от Codd размещена 14.03.2025 в 13:07 / Data... Everywhere
Показов 1360 Комментарии 0
Метки apache, cassandra, db, java, nosql

Нажмите на изображение для увеличения
Название: cab7b174-76de-4e75-8064-baca0522f411.jpg
Просмотров: 128
Размер:	274.4 Кб
ID:	10392
Изначально разработанная в Facebook, а затем переданная Apache Software Foundation, Cassandra сочетает в себе принципы Amazon's Dynamo и Google's BigTable. Эта комбинация создает уникальную архитектуру, способную масштабироваться горизонтально практически без ограничений. Представьте себе систему, которая может обрабатывать петабайты данных, распределенных по сотням узлов, при этом оставаясь устойчивой к сбоям отдельных серверов!

Реляционные БД, такие как MySQL...
Аватар для Codd
Старый
Kafka или Pulsar: Что лучше для потоковой обработки в Java
Запись от Javaican размещена 14.03.2025 в 12:33 / Making Java great for ever
Показов 1190 Комментарии 0
Метки apache, java, kafka, pulsar, steaming

Нажмите на изображение для увеличения
Название: d366db0f-3224-446d-9857-809b95b339c2.jpg
Просмотров: 111
Размер:	125.9 Кб
ID:	10390
Среди множества решений для потоковой обработки данных Apache Kafka долгое время удерживала лидирующие позиции, став де-факто стандартом в индустрии. Однако в последние годы всё больше внимания привлекает Apache Pulsar — относительно новый игрок, предлагающий альтернативный подход к построению распределенных очередей сообщений. Оба инструмента широко используются в Java-проектах, предоставляя API для разработки потоковых приложений....
Аватар для Javaican
Старый
Сериализация данных с Apache Avro в Kafka
Запись от Javaican размещена 12.03.2025 в 20:26 / Making Java great for ever
Показов 3600 Комментарии 0

Нажмите на изображение для увеличения
Название: fb37348e-52c1-4ff2-a497-ea0cc9ba4296.jpg
Просмотров: 171
Размер:	126.1 Кб
ID:	10379
Apache Kafka стала одним из ключевых решений для работы с большими потоками данных. Однако с ростом объемов передаваемых данных возникает проблема: как эффективно сериализовать и десериализовать информацию, чтобы минимизировать использование ресурсов и сохранить...
Аватар для Javaican
Старый
Создание потребителей Kafka с помощью Reactor Kafka
Запись от Javaican размещена 12.03.2025 в 20:11 / Making Java great for ever
Показов 2753 Комментарии 0

Нажмите на изображение для увеличения
Название: aa49bcda-0801-417e-9105-0f4b9282cdee.jpg
Просмотров: 141
Размер:	132.7 Кб
ID:	10378
Reactor Kafka — это библиотека, объединяющая Apache Kafka с реактивным программированием на базе Project Reactor. Такое сочетание позволяет строить неблокирующие, асинхронные приложения с контролем обратного давления (backpressure). Для тех, кто не погружался в реактивное программирование,...
Аватар для Javaican
Новые блоги и статьи
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
Создание Single Page Application на фреймах
krapotkin 16.11.2025
Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .
Фото: Daniel Greenwood
kumehtar 13.11.2025
Расскажи мне о Мире, бродяга
kumehtar 12.11.2025
— Расскажи мне о Мире, бродяга, Ты же видел моря и метели. Как сменялись короны и стяги, Как эпохи стрелою летели. - Этот мир — это крылья и горы, Снег и пламя, любовь и тревоги, И бескрайние. . .
PowerShell Snippets
iNNOKENTIY21 11.11.2025
Модуль PowerShell 5. 1+ : Snippets. psm1 У меня модуль расположен в пользовательской папке модулей, по умолчанию: \Documents\WindowsPowerShell\Modules\Snippets\ А в самом низу файла-профиля. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru