Форум программистов, компьютерный форум, киберфорум
Etl
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
Старый
Руководство по генераторам Python
Запись от py-thonny размещена 24.07.2025 в 21:25 / pythonic man's blog
Показов 3253 Комментарии 0

Нажмите на изображение для увеличения
Название: Руководство по генераторам Python.jpg
Просмотров: 379
Размер:	121.0 Кб
ID:	11012
Представьте, что вам нужно обработать огромный файл размером в несколько гигабайт. Попытка загрузить его целиком в память закончится либо аварийным завершением программы, либо превратит ваш компьютер в задумчивую черепаху. Как быть? В этот момент на сцену выходят генераторы – одна из самых недооцененных фишек Python, которая может радикально изменить подход к обработке данных.

Генераторы в Python...
Аватар для py-thonny
Старый
Serverless AWS Lambda и C#
Запись от stackOverflow размещена 22.07.2025 в 21:03
Показов 4560 Комментарии 0

Нажмите на изображение для увеличения
Название: Serverless AWS Lambda в C#.jpg
Просмотров: 428
Размер:	105.7 Кб
ID:	11009
AWS Lambda - сервис бессерверных вычислений от Amazon, который в корне меняет подход к созданию бэкенд-систем. За 15 лет работы архитектором я перепробовал множество подходов - от выделенных серверов до контейнеров, но Lambda предлагает нечто принципиально иное. Она полностью...
Аватар для stackOverflow
Старый
Продвинутый ETL на C# из OLTP БД в хранилище
Запись от stackOverflow размещена 22.06.2025 в 09:42
Показов 3786 Комментарии 0

Нажмите на изображение для увеличения
Название: Продвинутый ETL на C# из OLTP БД в хранилище.jpg
Просмотров: 302
Размер:	155.8 Кб
ID:	10914
Работая в сфере корпоративной аналитики, я постоянно сталкиваюсь с одним и тем же - нужны чистые, структурированные и, главное, свежие данные. Без них современные аналитические системы, машинное обучение и предиктивная аналитика просто буксуют. ETL-процессы (Extract,...
Аватар для stackOverflow
Старый
Обработка Big Data на C#
Запись от stackOverflow размещена 29.05.2025 в 21:36
Показов 2387 Комментарии 0

Нажмите на изображение для увеличения
Название: c810d91b-b101-42b4-bba4-25ef70aba248.jpg
Просмотров: 329
Размер:	75.0 Кб
ID:	10855
C# традиционно оставался в тени Java, Python и Scala, когда речь заходила о работе с большими данными. Многие считали, что .NET недостаточно зрелая для таких задач. Но времена изменились. Язык C# превратился в настоящего тяжеловеса для обработки масштабных массивов информации, а с выходом C# 14 и .NET 9 появился целый арсенал инструментов, заточенных специально...
Аватар для stackOverflow
Старый
Генераторы Python для эффективной обработки данных
Запись от IndentationError размещена 21.05.2025 в 19:48 / AI coming for you
Показов 2858 Комментарии 0

Нажмите на изображение для увеличения
Название: 6e1b28cb-d58f-41ba-a45a-2d4e0b051581.jpg
Просмотров: 414
Размер:	293.5 Кб
ID:	10836
В Python существует инструмент настолько мощный и в то же время недооценённый, что я часто сравниваю его с тайным оружием в арсенале программиста. Речь идёт о генераторах — одной из самых элегантных особенностей языка Python, которая радикально меняет подход к обработке данных.

Что такое генераторы и почему они важны



Но что же такое генераторы? По сути — это особый тип итераторов, позволяющий...
Аватар для IndentationError
Старый
Kubernetes с Apache Flink для обработки данных в реальном времени
Запись от Mr. Docker размещена 17.05.2025 в 10:19 / Docking everything, K8s anything
Показов 6488 Комментарии 0

Нажмите на изображение для увеличения
Название: 85d0647b-9d21-41f4-a9b2-1e03b4f3ec01.jpg
Просмотров: 318
Размер:	200.0 Кб
ID:	10818
Kubernetes — это целая философия управления распределёнными приложениями. В отличие от "примитивных" решений вроде Docker Swarm, K8s (как его ласково называют в тусовке DevOps-инженеров) предлагает гораздо более зрелый и продвинутый подход. Основная архитектура Kubernetes включает в себя мастер-ноды, которые координируют работу кластера, и рабочие...
Аватар для Mr. Docker
Старый
Конвейеры ETL с Apache Airflow и Python
Запись от IndentationError размещена 13.05.2025 в 10:02 / AI coming for you
Показов 4821 Комментарии 0

Нажмите на изображение для увеличения
Название: 5edb7e39-15da-48ed-9f2a-ebda2d5087ed.jpg
Просмотров: 195
Размер:	195.1 Кб
ID:	10799
ETL-конвейеры – это набор процессов, отвечающих за извлечение данных из различных источников (Extract), их преобразование в нужный формат (Transform) и загрузку в целевое хранилище (Load). Современные компании оперируют сотнями терабайт информации, которые поступают из десятков разнородных систем: от древних корпоративных монстров на COBOL до навороченных REST API с непредсказуемым поведением. Создание надёжных потоков данных...
Аватар для IndentationError
Старый
Создание конвейеров данных ETL с помощью Pandas
Запись от IndentationError размещена 10.05.2025 в 20:22 / AI coming for you
Показов 4609 Комментарии 0

Нажмите на изображение для увеличения
Название: a8a5aeb1-a8d7-495a-9fe7-2e653620c4dd.jpg
Просмотров: 300
Размер:	34.0 Кб
ID:	10787
Помню свой первый опыт работы с большим датасетом — это была катастрофа из неотформатированных CSV-файлов, странных значений NULL и дубликатов, от которых ехала крыша. Тогда я потратил три дня на очистку данных вручную... Три дня, которые можно было сократить до пары часов, имей я под рукой хорошо настроеный конвейер на Pandas.

Эта статья — путеводитель по созданию таких конвейеров. Мы погрузимся в...
Аватар для IndentationError
Старый
Высокоскоростные конвейеры ETL на C# с параллельной обработкой
Запись от UnmanagedCoder размещена 07.05.2025 в 18:22 / C# .Net and all about
Показов 5552 Комментарии 0

Нажмите на изображение для увеличения
Название: 34723b11-19d6-4b35-8f9e-39f78544f4b3.jpg
Просмотров: 269
Размер:	260.6 Кб
ID:	10763
Суть ETL проста по замыслу, но сложна в реализации: выдернуть информацию из разнородных источников, привести её к нужному виду и закинуть туда, где она будет приносить пользу. И хотя базовая концепция существует десятилетиями, способы реализации ETL-процессов постоянно...
Аватар для UnmanagedCoder
Новые блоги и статьи
Модель здравосохранения 17. Планы на выгорание
anaschu 23.05.2026
Вот конкретная схема реализации: В классе Работник добавить: накопленнаяУсталость — растёт каждый час работы, снижается в перерывы и болезни коэффициентПрезентеизма — снижает продуктивность. . .
Изменение цветов в палитре gif файла aka фавикона
russiannick 23.05.2026
Изменение цветов в палитре gif файла, юзаемого как фавиконка в составе html-файла, помещенная в base64, средствами нативного Java Script, навеянное сном в майский день. Для работы необходим браузер,. . .
Модель здравосохранения 16. Слишком хорошие и здоровые сотрудники уходят, недовольные зарплатой
anaschu 23.05.2026
Отладка увольнений и настройка производительности Сегодня во второй половине дня разобрались с механикой увольнений и настроили коэффициент сложности заданий. Вот что было сделано. . . .
Как я стал коммунистом))) Модель сохранения здоровья сотрудников, запись блога номер 15
anaschu 23.05.2026
Внезапно хорошее здоровье сотрудников не нужно капиталистам?))
Модель здравоСохранения 15. Как мы чинили AnyLogic модель рабочего коллектива: сочленение диаграммы состояний болезней и поломок в ресурспул
anaschu 23.05.2026
Как мы чинили AnyLogic модель рабочего коллектива Сегодня разобрались с пятью багами, из-за которых модель либо падала с ошибкой, либо давала совершенно бессмысленные результаты. Каждый баг был. . .
Диалоги с ИИ
zorxor 23.05.2026
Насколько я понимаю - Вы - Искусственный Интеллект. Это так? Да, всё верно. Я — искусственный интеллект. Я представляю собой большую языковую модель, созданную для помощи в самых разных задачах. . . .
Модель здравосохранения 14. Собираем всю модель вместе.
anaschu 22.05.2026
Модель собрана. В будущих постах на видео я покажу, как она работает. В этом посте запускаем её, проверяем результаты и разбираем что можно с ней делать дальше. Перед запуском проверяем. . .
Модель здравоохранения 13. Добавление самой системы здравоохранения.
anaschu 22.05.2026
В предыдущем посте мы настроили болезни. Теперь добавим события, которые управляют здоровьем всего коллектива, а также настроим рабочий график и расчёт финансов. В Main создаём четыре события. . . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru