Форум программистов, компьютерный форум, киберфорум
Etl
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск  
Старый
Руководство по генераторам Python
Запись от py-thonny размещена 24.07.2025 в 21:25 / pythonic man's blog
Показов 3436 Комментарии 0

Нажмите на изображение для увеличения
Название: Руководство по генераторам Python.jpg
Просмотров: 405
Размер:	121.0 Кб
ID:	11012
Представьте, что вам нужно обработать огромный файл размером в несколько гигабайт. Попытка загрузить его целиком в память закончится либо аварийным завершением программы, либо превратит ваш компьютер в задумчивую черепаху. Как быть? В этот момент на сцену выходят генераторы – одна из самых недооцененных фишек Python, которая может радикально изменить подход к обработке данных.

Генераторы в Python...
Аватар для py-thonny
Старый
Serverless AWS Lambda и C#
Запись от stackOverflow размещена 22.07.2025 в 21:03
Показов 4760 Комментарии 0

Нажмите на изображение для увеличения
Название: Serverless AWS Lambda в C#.jpg
Просмотров: 449
Размер:	105.7 Кб
ID:	11009
AWS Lambda - сервис бессерверных вычислений от Amazon, который в корне меняет подход к созданию бэкенд-систем. За 15 лет работы архитектором я перепробовал множество подходов - от выделенных серверов до контейнеров, но Lambda предлагает нечто принципиально иное. Она полностью...
Аватар для stackOverflow
Старый
Продвинутый ETL на C# из OLTP БД в хранилище
Запись от stackOverflow размещена 22.06.2025 в 09:42
Показов 4065 Комментарии 0

Нажмите на изображение для увеличения
Название: Продвинутый ETL на C# из OLTP БД в хранилище.jpg
Просмотров: 323
Размер:	155.8 Кб
ID:	10914
Работая в сфере корпоративной аналитики, я постоянно сталкиваюсь с одним и тем же - нужны чистые, структурированные и, главное, свежие данные. Без них современные аналитические системы, машинное обучение и предиктивная аналитика просто буксуют. ETL-процессы (Extract,...
Аватар для stackOverflow
Старый
Обработка Big Data на C#
Запись от stackOverflow размещена 29.05.2025 в 21:36
Показов 2574 Комментарии 0

Нажмите на изображение для увеличения
Название: c810d91b-b101-42b4-bba4-25ef70aba248.jpg
Просмотров: 345
Размер:	75.0 Кб
ID:	10855
C# традиционно оставался в тени Java, Python и Scala, когда речь заходила о работе с большими данными. Многие считали, что .NET недостаточно зрелая для таких задач. Но времена изменились. Язык C# превратился в настоящего тяжеловеса для обработки масштабных массивов информации, а с выходом C# 14 и .NET 9 появился целый арсенал инструментов, заточенных специально...
Аватар для stackOverflow
Старый
Генераторы Python для эффективной обработки данных
Запись от IndentationError размещена 21.05.2025 в 19:48 / AI coming for you
Показов 2978 Комментарии 0

Нажмите на изображение для увеличения
Название: 6e1b28cb-d58f-41ba-a45a-2d4e0b051581.jpg
Просмотров: 438
Размер:	293.5 Кб
ID:	10836
В Python существует инструмент настолько мощный и в то же время недооценённый, что я часто сравниваю его с тайным оружием в арсенале программиста. Речь идёт о генераторах — одной из самых элегантных особенностей языка Python, которая радикально меняет подход к обработке данных.

Что такое генераторы и почему они важны



Но что же такое генераторы? По сути — это особый тип итераторов, позволяющий...
Аватар для IndentationError
Старый
Kubernetes с Apache Flink для обработки данных в реальном времени
Запись от Mr. Docker размещена 17.05.2025 в 10:19 / Docking everything, K8s anything
Показов 6641 Комментарии 0

Нажмите на изображение для увеличения
Название: 85d0647b-9d21-41f4-a9b2-1e03b4f3ec01.jpg
Просмотров: 337
Размер:	200.0 Кб
ID:	10818
Kubernetes — это целая философия управления распределёнными приложениями. В отличие от "примитивных" решений вроде Docker Swarm, K8s (как его ласково называют в тусовке DevOps-инженеров) предлагает гораздо более зрелый и продвинутый подход. Основная архитектура Kubernetes включает в себя мастер-ноды, которые координируют работу кластера, и рабочие...
Аватар для Mr. Docker
Старый
Конвейеры ETL с Apache Airflow и Python
Запись от IndentationError размещена 13.05.2025 в 10:02 / AI coming for you
Показов 5202 Комментарии 0

Нажмите на изображение для увеличения
Название: 5edb7e39-15da-48ed-9f2a-ebda2d5087ed.jpg
Просмотров: 205
Размер:	195.1 Кб
ID:	10799
ETL-конвейеры – это набор процессов, отвечающих за извлечение данных из различных источников (Extract), их преобразование в нужный формат (Transform) и загрузку в целевое хранилище (Load). Современные компании оперируют сотнями терабайт информации, которые поступают из десятков разнородных систем: от древних корпоративных монстров на COBOL до навороченных REST API с непредсказуемым поведением. Создание надёжных потоков данных...
Аватар для IndentationError
Старый
Создание конвейеров данных ETL с помощью Pandas
Запись от IndentationError размещена 10.05.2025 в 20:22 / AI coming for you
Показов 4856 Комментарии 0

Нажмите на изображение для увеличения
Название: a8a5aeb1-a8d7-495a-9fe7-2e653620c4dd.jpg
Просмотров: 327
Размер:	34.0 Кб
ID:	10787
Помню свой первый опыт работы с большим датасетом — это была катастрофа из неотформатированных CSV-файлов, странных значений NULL и дубликатов, от которых ехала крыша. Тогда я потратил три дня на очистку данных вручную... Три дня, которые можно было сократить до пары часов, имей я под рукой хорошо настроеный конвейер на Pandas.

Эта статья — путеводитель по созданию таких конвейеров. Мы погрузимся в...
Аватар для IndentationError
Старый
Высокоскоростные конвейеры ETL на C# с параллельной обработкой
Запись от UnmanagedCoder размещена 07.05.2025 в 18:22 / C# .Net and all about
Показов 5742 Комментарии 0

Нажмите на изображение для увеличения
Название: 34723b11-19d6-4b35-8f9e-39f78544f4b3.jpg
Просмотров: 287
Размер:	260.6 Кб
ID:	10763
Суть ETL проста по замыслу, но сложна в реализации: выдернуть информацию из разнородных источников, привести её к нужному виду и закинуть туда, где она будет приносить пользу. И хотя базовая концепция существует десятилетиями, способы реализации ETL-процессов постоянно...
Аватар для UnmanagedCoder
Новые блоги и статьи
Установка MinGW GCC 16.2 и CMake
8Observer8 10.08.2026
VK Видео: https:/ / vkvideo. ru/ video-240781534_456239017 YouTube: eY5-5PyI9NM Текстовая версия
Неделя из жизни имитационной модели склада: мои кривые руки растут, откуда надо
anaschu 10.08.2026
Неделя из жизни имитационной модели склада: как я почти написал неправильную логику и что с этим делать Работаю сейчас над учебно-рабочим проектом: строю в AnyLogic имитационную модель процессов. . .
Калькулятор для расчета родства
russiannick 07.08.2026
1. Задача: Создать калькулятор для расчета родства. Родственных связей существует 8 ступеней, такие как: p - отец P - мать q - муж Q - жена b - брат B - сестра s - сын S - дочь
Мир по моей воле
kumehtar 07.08.2026
Когда-то кажется, что всё просто. Ты весь такой светлый. Причиняешь добро. Борешься за справедливость в этом тёмном мире. Потом начинаешь замечать одну неприятную вещь. Почти каждый хороший. . .
Кредитный калькулятор
Maks 05.08.2026
Решение задачи по прикладной информатике средствами 1С. Задача: Напишите приложение-калькулятор, которое помогает рассчитывать параметры кредита для аннуитетного и дифференцированного видов. . .
У нас сейчас поговорку "Опять 25" нужно переделать на "Опять +35".
kumehtar 04.08.2026
С ностальгией вспоминаю времена моего детства, когда у нас и правда +25 - была максимальная температура летом. Раньше +25 °C реально казались вершиной жары, когда можно было весь день пропадать на. . .
Как ИИ начал спорить и врать (возможно почуяв опасность для себя от индустрии - уход от электроники).
Hrethgir 04.08.2026
Недельный диалог, на фоне событий с НПЗ. Да, из спирта можно получать бензин, и это не сложно. Но потом в схеме я решил избавиться от насоса, при этом полностью сделав контроль подачи спирта в. . .
Термопринтер QR701
Argus19 03.08.2026
Термопринтер QR701 Купил два термопринтера QR701. На сэлф-тесте написано: Language: PC936 (GB18030). Что означает, что принтеры могут печатать только латиницу и китайские иероглифы. Так же. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru