Чистка DataFrame

11.08.2021, 23:01. Показов 2010. Ответов 0

Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам

Есть большой ДФ. В нем пропуски и часто встречающаяся запись "For notes:". Необходимо очистить данные от пропусков.
Из того, что я пишу, вообще ноль по фазе(
Что не так делаю?

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
df1 = df.copy() # Создаем копию нашего датафрейма и записываем в переменную df1
df1.head(100)
proc = df1.isna().sum().sum() # Подсчитаем сколько всего пропусков (во всех столбцах) в нашем датафрейме
print(proc) # Отобразим количество посчитанных пропусков
5783502
df.replace(['For notes:'], np.nan, regex=True, inplace=True) # заменяю For notes: на NaN в ячейках
df.head(10)
df1.fillna(" ").head(100) # С помощью метода .fillna() заменяю все ячейки с NaN на пропуск
df1.dropna(axis=0, how='all')   #   построчно выкидываем, если есть полностью пустая 
df1.shape
df1.dropna(axis=1, how='all')  # выкидываем, если есть полностью пустой столбец
df1.shape
proc = df1.isna().sum().sum() # Подсчитаем сколько всего пропусков (во всех столбцах) в нашем датафрейме
print(proc) # Отобразим количество посчитанных пропусков
5783502

Добавлено через 1 час 34 минуты
вопрос снят)
забыла присвоить

Python
1
2
df2 = df1.copy()
df2 = df2.dropna

cpp_developer

Эксперт

20123 / 5690 / 1417

Регистрация: 09.04.2010

Сообщений: 22,546

Блог

11.08.2021, 23:01

Ответы с готовыми решениями:

Ошибка записи в БД dataframe
Добрый день! Читаю из БД в pd а потом произвожу запись прочитанного, но выходит ошибка, как от нее можно избавиться? или в случае если...

Объединение dataframe в pandas
Всем привет! Есть два dataframe pandas с идентичной структурой (ФИО, ДР), необходимо из второго dataframe обновить первый dataframe.Если...

Удаление строк в dataframe
Доброго времени суток! Возник вопрос. Есть 2 dataframe, в каждом dataframe 3 столбца. 1 - индекс, 2 - дата, 3 - цена. В 1 dataframe есть...

Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.

raxper

Эксперт

30234 / 6612 / 1498

Регистрация: 28.12.2010

Сообщений: 21,154

Блог

11.08.2021, 23:01

Помогаю со студенческими работами здесь

Импорт даты из dataframe(pandas) в MSSQL
Всем привет! Есть небольшой код, который из excel-файла "дергает" пару столбцов и вставляет их в таблицу MSSQL. С текстовыми столбцами...

pandas подсчет количества по строкам в dataframe по условию
Добрый день, прошу помощи, нужно создать столбец который посчитает количество не нулевых дней в датафрейме. Иными словами пройтись по...

Название столбцов в DataFrame Pandas перепутаны. как исправить?
Приветствую! Подскажите, как проще всего вернуть нормальные подписи столбцов в ДФ? Они явно перепутаны.

Работа с dataframe. Удаление строк по условию. Получение минимальных значений
День добрый, господа программеры. Такой вопрос возник, у меня есть некий dataframe, в нем 10 строк и 10 столбцов. Задача - найти...

Как красиво сохранить и объединить гору файлов в Pandas DataFrame в один
Есть 10 файлов csv, задача их сохранить в Pandas и объединить в один DF. Файлы идентичные по структуре. У меня первый вопрос выходит...

Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:

Новые блоги и статьи Все статьи Все блоги /
Оттенки серого Argus19 18.03.2026 Оттенки серого Нашёл в интернете 3 прекрасных модуля: Модуль класса открытия диалога открытия/ сохранения файла на Win32 API; Модуль класса быстрого перекодирования цветного изображения в оттенки. . .	SDL3 для Desktop (MinGW): Рисуем цветные прямоугольники с помощью рисовальщика SDL3 на Си и C++ 8Observer8 17.03.2026 Содержание блога Финальные проекты на Си и на C++: finish-rectangles-sdl3-c. zip finish-rectangles-sdl3-cpp. zip	Символические и жёсткие ссылки в Linux. algri14 15.03.2026 Существует два типа ссылок — символические и жёсткие. Ссылка в Linux — это запись в каталоге, которая может указывать либо на inode «файла-ИСТОЧНИКА», тогда это будет «жёсткая ссылка» (hard link),. . .	[Owen Logic] Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ФедосеевПавел 14.03.2026 Поддержание уровня воды в резервуаре количеством включённых насосов: моделирование и выбор регулятора ВВЕДЕНИЕ Выполняя задание на управление насосной группой заполнения резервуара,. . .
делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .

Наверх