Форум программистов, компьютерный форум, киберфорум
Etl
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
Старый
Руководство по генераторам Python
Запись от py-thonny размещена 24.07.2025 в 21:25 / pythonic man's blog
Показов 2628 Комментарии 0

Нажмите на изображение для увеличения
Название: Руководство по генераторам Python.jpg
Просмотров: 275
Размер:	121.0 Кб
ID:	11012
Представьте, что вам нужно обработать огромный файл размером в несколько гигабайт. Попытка загрузить его целиком в память закончится либо аварийным завершением программы, либо превратит ваш компьютер в задумчивую черепаху. Как быть? В этот момент на сцену выходят генераторы – одна из самых недооцененных фишек Python, которая может радикально изменить подход к обработке данных.

Генераторы в Python...
Аватар для py-thonny
Старый
Serverless AWS Lambda и C#
Запись от stackOverflow размещена 22.07.2025 в 21:03
Показов 3968 Комментарии 0

Нажмите на изображение для увеличения
Название: Serverless AWS Lambda в C#.jpg
Просмотров: 263
Размер:	105.7 Кб
ID:	11009
AWS Lambda - сервис бессерверных вычислений от Amazon, который в корне меняет подход к созданию бэкенд-систем. За 15 лет работы архитектором я перепробовал множество подходов - от выделенных серверов до контейнеров, но Lambda предлагает нечто принципиально иное. Она полностью...
Аватар для stackOverflow
Старый
Продвинутый ETL на C# из OLTP БД в хранилище
Запись от stackOverflow размещена 22.06.2025 в 09:42
Показов 3057 Комментарии 0

Нажмите на изображение для увеличения
Название: Продвинутый ETL на C# из OLTP БД в хранилище.jpg
Просмотров: 197
Размер:	155.8 Кб
ID:	10914
Работая в сфере корпоративной аналитики, я постоянно сталкиваюсь с одним и тем же - нужны чистые, структурированные и, главное, свежие данные. Без них современные аналитические системы, машинное обучение и предиктивная аналитика просто буксуют. ETL-процессы (Extract,...
Аватар для stackOverflow
Старый
Обработка Big Data на C#
Запись от stackOverflow размещена 29.05.2025 в 21:36
Показов 1897 Комментарии 0

Нажмите на изображение для увеличения
Название: c810d91b-b101-42b4-bba4-25ef70aba248.jpg
Просмотров: 234
Размер:	75.0 Кб
ID:	10855
C# традиционно оставался в тени Java, Python и Scala, когда речь заходила о работе с большими данными. Многие считали, что .NET недостаточно зрелая для таких задач. Но времена изменились. Язык C# превратился в настоящего тяжеловеса для обработки масштабных массивов информации, а с выходом C# 14 и .NET 9 появился целый арсенал инструментов, заточенных специально...
Аватар для stackOverflow
Старый
Генераторы Python для эффективной обработки данных
Запись от IndentationError размещена 21.05.2025 в 19:48 / AI coming for you
Показов 2526 Комментарии 0

Нажмите на изображение для увеличения
Название: 6e1b28cb-d58f-41ba-a45a-2d4e0b051581.jpg
Просмотров: 296
Размер:	293.5 Кб
ID:	10836
В Python существует инструмент настолько мощный и в то же время недооценённый, что я часто сравниваю его с тайным оружием в арсенале программиста. Речь идёт о генераторах — одной из самых элегантных особенностей языка Python, которая радикально меняет подход к обработке данных.

Что такое генераторы и почему они важны



Но что же такое генераторы? По сути — это особый тип итераторов, позволяющий...
Аватар для IndentationError
Старый
Kubernetes с Apache Flink для обработки данных в реальном времени
Запись от Mr. Docker размещена 17.05.2025 в 10:19 / Docking everything, K8s anything
Показов 6145 Комментарии 0

Нажмите на изображение для увеличения
Название: 85d0647b-9d21-41f4-a9b2-1e03b4f3ec01.jpg
Просмотров: 230
Размер:	200.0 Кб
ID:	10818
Kubernetes — это целая философия управления распределёнными приложениями. В отличие от "примитивных" решений вроде Docker Swarm, K8s (как его ласково называют в тусовке DevOps-инженеров) предлагает гораздо более зрелый и продвинутый подход. Основная архитектура Kubernetes включает в себя мастер-ноды, которые координируют работу кластера, и рабочие...
Аватар для Mr. Docker
Старый
Конвейеры ETL с Apache Airflow и Python
Запись от IndentationError размещена 13.05.2025 в 10:02 / AI coming for you
Показов 3951 Комментарии 0

Нажмите на изображение для увеличения
Название: 5edb7e39-15da-48ed-9f2a-ebda2d5087ed.jpg
Просмотров: 124
Размер:	195.1 Кб
ID:	10799
ETL-конвейеры – это набор процессов, отвечающих за извлечение данных из различных источников (Extract), их преобразование в нужный формат (Transform) и загрузку в целевое хранилище (Load). Современные компании оперируют сотнями терабайт информации, которые поступают из десятков разнородных систем: от древних корпоративных монстров на COBOL до навороченных REST API с непредсказуемым поведением. Создание надёжных потоков данных...
Аватар для IndentationError
Старый
Создание конвейеров данных ETL с помощью Pandas
Запись от IndentationError размещена 10.05.2025 в 20:22 / AI coming for you
Показов 4184 Комментарии 0

Нажмите на изображение для увеличения
Название: a8a5aeb1-a8d7-495a-9fe7-2e653620c4dd.jpg
Просмотров: 206
Размер:	34.0 Кб
ID:	10787
Помню свой первый опыт работы с большим датасетом — это была катастрофа из неотформатированных CSV-файлов, странных значений NULL и дубликатов, от которых ехала крыша. Тогда я потратил три дня на очистку данных вручную... Три дня, которые можно было сократить до пары часов, имей я под рукой хорошо настроеный конвейер на Pandas.

Эта статья — путеводитель по созданию таких конвейеров. Мы погрузимся в...
Аватар для IndentationError
Старый
Высокоскоростные конвейеры ETL на C# с параллельной обработкой
Запись от UnmanagedCoder размещена 07.05.2025 в 18:22 / C# .Net and all about
Показов 4969 Комментарии 0

Нажмите на изображение для увеличения
Название: 34723b11-19d6-4b35-8f9e-39f78544f4b3.jpg
Просмотров: 185
Размер:	260.6 Кб
ID:	10763
Суть ETL проста по замыслу, но сложна в реализации: выдернуть информацию из разнородных источников, привести её к нужному виду и закинуть туда, где она будет приносить пользу. И хотя базовая концепция существует десятилетиями, способы реализации ETL-процессов постоянно...
Аватар для UnmanagedCoder
Новые блоги и статьи
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
Создание Single Page Application на фреймах
krapotkin 16.11.2025
Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .
Фото: Daniel Greenwood
kumehtar 13.11.2025
Расскажи мне о Мире, бродяга
kumehtar 12.11.2025
— Расскажи мне о Мире, бродяга, Ты же видел моря и метели. Как сменялись короны и стяги, Как эпохи стрелою летели. - Этот мир — это крылья и горы, Снег и пламя, любовь и тревоги, И бескрайние. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru