Помню свой первый опыт работы с большим датасетом — это была катастрофа из неотформатированных CSV-файлов, странных значений NULL и дубликатов, от которых ехала крыша. Тогда я потратил три дня на очистку данных вручную... Три дня, которые можно было сократить до пары часов, имей я под рукой хорошо настроеный конвейер на Pandas.

Эта статья — путеводитель по созданию таких конвейеров. Мы погрузимся в...