|
3 / 2 / 1
Регистрация: 15.10.2019
Сообщений: 95
|
||||||
Удаление неявных дубликатов Series11.02.2023, 11:23. Показов 6795. Ответов 1
Добрый день! В спойлере список названий населенных пунктов. Подскажите пожалуйста как можно грамотно подойти к вопросу удаления неявных дубликатов в этом наборе? Есть поселок Рябово и поселок городского типа Рябово. И это одно и тоже название. Ну и возможно есть другие сходства. Естественно букву ё везде заменил на е и привел всё к нижнему регистру. NaN заменил на 'unknown'.
Кликните здесь для просмотра всего текста
0
|
||||||
| 11.02.2023, 11:23 | |
|
Ответы с готовыми решениями:
1
Удаление дубликатов в массиве Удаление дубликатов из массива словарей Поиск в папке дубликатов и их удаление |
|
8840 / 4492 / 1864
Регистрация: 27.03.2020
Сообщений: 7,312
|
|
| 11.02.2023, 13:58 | |
|
severe90, В основном поэлементно, например так:
Кликните здесь для просмотра всего текста
import pandas as pd
import numpy as np def fun(elem): try: lst1 = list(filter(lambda x: x[0].islower(), elem.split())) return ' '.join(lst1) except: return np.nan df = pd.DataFrame({'city': np.array(['Санкт-Петербург', 'посёлок Шушары', 'городской посёлок Янино-1', 'посёлок Парголово', 'посёлок Мурино', 'Ломоносов', 'Сертолово', 'Петергоф', 'Пушкин', 'деревня Кудрово', 'Коммунар', 'Колпино', 'поселок городского типа Красный Бор', 'Гатчина', 'поселок Мурино', 'деревня Фёдоровское', 'Выборг', 'Кронштадт', 'Кировск', 'деревня Новое Девяткино', 'посёлок Металлострой', 'посёлок городского типа Лебяжье', 'посёлок городского типа Сиверский', 'поселок Молодцово', 'поселок городского типа Кузьмоловский', 'садовое товарищество Новая Ропша', 'Павловск', 'деревня Пикколово', 'Всеволожск', 'Волхов', 'Кингисепп', 'Приозерск', 'Сестрорецк', 'деревня Куттузи', 'посёлок Аннино', 'поселок городского типа Ефимовский', 'посёлок Плодовое', 'деревня Заклинье', 'поселок Торковичи', 'поселок Первомайское', 'Красное Село', 'посёлок Понтонный', 'Сясьстрой', 'деревня Старая', 'деревня Лесколово', 'посёлок Новый Свет', 'Сланцы', 'село Путилово', 'Ивангород', 'Мурино', 'Шлиссельбург', 'Никольское', 'Зеленогорск', 'Сосновый Бор', 'поселок Новый Свет', 'деревня Оржицы', 'деревня Кальтино', 'Кудрово', 'поселок Романовка', 'посёлок Бугры', 'поселок Бугры', 'поселок городского типа Рощино', 'Кириши', 'Луга', 'Волосово', 'Отрадное', 'село Павлово', 'поселок Оредеж', 'село Копорье', 'посёлок городского типа Красный Бор', 'посёлок Молодёжное', 'Тихвин', 'посёлок Победа', 'деревня Нурма', 'поселок городского типа Синявино', 'Тосно', 'посёлок городского типа Кузьмоловский', 'посёлок Стрельна', 'Бокситогорск', 'посёлок Александровская', 'деревня Лопухинка', 'Пикалёво', 'поселок Терволово', 'поселок городского типа Советский', 'Подпорожье', 'посёлок Петровское', 'посёлок городского типа Токсово', 'поселок Сельцо', 'посёлок городского типа Вырица', 'деревня Кипень', 'деревня Келози', 'деревня Вартемяги', 'посёлок Тельмана', 'поселок Севастьяново', 'городской поселок Большая Ижора', np.nan, 'городской посёлок Павлово', 'деревня Агалатово', 'посёлок Новогорелово', 'городской посёлок Лесогорский', 'деревня Лаголово', 'поселок Цвелодубово', 'поселок городского типа Рахья', 'поселок городского типа Вырица', 'деревня Белогорка', 'поселок Заводской', 'городской посёлок Новоселье', 'деревня Большие Колпаны', 'деревня Горбунки', 'деревня Батово', 'деревня Заневка', 'деревня Иссад', 'Приморск', 'городской посёлок Фёдоровское', 'деревня Мистолово', 'Новая Ладога', 'поселок Зимитицы', 'поселок Барышево', 'деревня Разметелево', 'поселок городского типа имени Свердлова', 'деревня Пеники', 'поселок Рябово', 'деревня Пудомяги', 'поселок станции Корнево', 'деревня Низино', 'деревня Бегуницы', 'посёлок Поляны', 'городской посёлок Мга', 'поселок Елизаветино', 'посёлок городского типа Кузнечное', 'деревня Колтуши', 'поселок Запорожское', 'посёлок городского типа Рощино', 'деревня Гостилицы', 'деревня Малое Карлино', 'посёлок Мичуринское', 'посёлок городского типа имени Морозова', 'посёлок Песочный', 'посёлок Сосново', 'деревня Аро', 'поселок Ильичёво', 'посёлок городского типа Тайцы', 'деревня Малое Верево', 'деревня Извара', 'поселок станции Вещево', 'село Паша', 'деревня Калитино', 'посёлок городского типа Ульяновка', 'деревня Чудской Бор', 'поселок городского типа Дубровка', 'деревня Мины', 'поселок Войсковицы', 'посёлок городского типа имени Свердлова', 'деревня Коркино', 'посёлок Ропша', 'поселок городского типа Приладожский', 'посёлок Щеглово', 'посёлок Гаврилово', 'Лодейное Поле', 'деревня Рабитицы', 'поселок городского типа Никольский', 'деревня Кузьмолово', 'деревня Малые Колпаны', 'поселок Тельмана', 'посёлок Петро-Славянка', 'городской посёлок Назия', 'посёлок Репино', 'посёлок Ильичёво', 'поселок Углово', 'поселок Старая Малукса', 'садовое товарищество Рахья', 'поселок Аннино', 'поселок Победа', 'деревня Меньково', 'деревня Старые Бегуницы', 'посёлок Сапёрный', 'поселок Семрино', 'поселок Гаврилово', 'поселок Глажево', 'поселок Кобринское', 'деревня Гарболово', 'деревня Юкки', 'поселок станции Приветнинское', 'деревня Мануйлово', 'деревня Пчева', 'поселок Поляны', 'поселок Цвылёво', 'поселок Мельниково', 'посёлок Пудость', 'посёлок Усть-Луга', 'Светогорск', 'Любань', 'поселок Селезнёво', 'поселок городского типа Рябово', 'Каменногорск', 'деревня Кривко', 'поселок Глебычево', 'деревня Парицы', 'поселок Жилпосёлок', 'посёлок городского типа Мга', 'городской поселок Янино-1', 'посёлок Войскорово', 'село Никольское', 'посёлок Терволово', 'поселок Стеклянный', 'посёлок городского типа Важины', 'посёлок Мыза-Ивановка', 'село Русско-Высоцкое', 'поселок городского типа Лебяжье', 'поселок городского типа Форносово', 'село Старая Ладога', 'поселок Житково', 'городской посёлок Виллози', 'деревня Лампово', 'деревня Шпаньково', 'деревня Лаврики', 'посёлок Сумино', 'посёлок Возрождение', 'деревня Старосиверская', 'посёлок Кикерино', 'поселок Возрождение', 'деревня Старое Хинколово', 'посёлок Пригородный', 'посёлок Торфяное', 'городской посёлок Будогощь', 'поселок Суходолье', 'поселок Красная Долина', 'деревня Хапо-Ое', 'поселок городского типа Дружная Горка', 'поселок Лисий Нос', 'деревня Яльгелево', 'посёлок Стеклянный', 'село Рождествено', 'деревня Старополье', 'посёлок Левашово', 'деревня Сяськелево', 'деревня Камышовка', 'садоводческое некоммерческое товарищество Лесная Поляна', 'деревня Хязельки', 'поселок Жилгородок', 'посёлок городского типа Павлово', 'деревня Ялгино', 'поселок Новый Учхоз', 'городской посёлок Рощино', 'поселок Гончарово', 'поселок Почап', 'посёлок Сапёрное', 'посёлок Платформа 69-й километр', 'поселок Каложицы', 'деревня Фалилеево', 'деревня Пельгора', 'поселок городского типа Лесогорский', 'деревня Торошковичи', 'посёлок Белоостров', 'посёлок Алексеевка', 'поселок Серебрянский', 'поселок Лукаши', 'поселок Петровское', 'деревня Щеглово', 'поселок Мичуринское', 'деревня Тарасово', 'поселок Кингисеппский', 'посёлок при железнодорожной станции Вещево', 'поселок Ушаки', 'деревня Котлы', 'деревня Сижно', 'деревня Торосово', 'посёлок Форт Красная Горка', 'поселок городского типа Токсово', 'деревня Новолисино', 'посёлок станции Громово', 'деревня Глинка', 'посёлок Мельниково', 'поселок городского типа Назия', 'деревня Старая Пустошь', 'поселок Коммунары', 'поселок Починок', 'посёлок городского типа Вознесенье', 'деревня Разбегаево', 'посёлок городского типа Рябово', 'поселок Гладкое', 'посёлок при железнодорожной станции Приветнинское', 'поселок Тёсово-4', 'посёлок Жилгородок', 'деревня Бор', 'посёлок Коробицыно', 'деревня Большая Вруда', 'деревня Курковицы', 'посёлок Лисий Нос', 'городской посёлок Советский', 'посёлок Кобралово', 'деревня Суоранда', 'поселок Кобралово', 'поселок городского типа Кондратьево', 'коттеджный поселок Счастье', 'поселок Любань', 'деревня Реброво', 'деревня Зимитицы', 'деревня Тойворово', 'поселок Семиозерье', 'поселок Лесное', 'поселок Совхозный', 'поселок Усть-Луга', 'посёлок Ленинское', 'посёлок Суйда', 'посёлок городского типа Форносово', 'деревня Нижние Осельки', 'посёлок станции Свирь', 'поселок Перово', 'Высоцк', 'поселок Гарболово', 'село Шум', 'поселок Котельский', 'поселок станции Лужайка', 'деревня Большая Пустомержа', 'поселок Красносельское', 'деревня Вахнова Кара', 'деревня Пижма', 'коттеджный поселок Кивеннапа Север', 'поселок Коробицыно', 'поселок Ромашки', 'посёлок Перово', 'деревня Каськово', 'деревня Куровицы', 'посёлок Плоское', 'поселок Сумино', 'поселок городского типа Большая Ижора', 'поселок Кирпичное', 'деревня Ям-Тесово', 'деревня Раздолье', 'деревня Терпилицы', 'посёлок Шугозеро', 'деревня Ваганово', 'поселок Пушное', 'садовое товарищество Садко', 'посёлок Усть-Ижора', 'деревня Выскатка', 'городской посёлок Свирьстрой', 'поселок Громово', 'деревня Кисельня', 'посёлок Старая Малукса', 'деревня Трубников Бор', 'поселок Калитино', 'посёлок Высокоключевой', 'садовое товарищество Приладожский', 'посёлок Пансионат Зелёный Бор', 'деревня Ненимяки', 'поселок Пансионат Зелёный Бор', 'деревня Снегирёвка', 'деревня Рапполово', 'деревня Пустынка', 'поселок Рабитицы', 'деревня Большой Сабск', 'деревня Русско', 'деревня Лупполово', 'деревня Большое Рейзино', 'деревня Малая Романовка', 'поселок Дружноселье', 'поселок Пчевжа', 'поселок Володарское', 'деревня Нижняя', 'коттеджный посёлок Лесное', 'деревня Тихковицы', 'деревня Борисова Грива', 'посёлок Дзержинского'], dtype=object)}) print(df) df['tmp'] = df.city.map(fun) print() print(df) while True: if int(input('введите 1/0 -> да/нет')) == 0: break print(set(df.tmp.values)) a = input('что меняем:\n') b = input('на что меняем:\n') df.tmp = df.tmp.str.replace(a, b) df.city = df.city.str.replace(a, b) del df['tmp'] df = df.drop_duplicates(subset='city') print(df)
1
|
|
| 11.02.2023, 13:58 | |
|
Помогаю со студенческими работами здесь
2
Удаление дубликатов строк из файла Удаление выбросов из Series pandas Строки. Удаление дубликатов
Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
||||
|
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Рецензия / Мнение/ Перевод
https:/ / **********/ gallery/ thinkpad-x220-tablet-porn-gzoEAjs
. . .
|
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта
Симптом:
После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
|
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
|
Новый ноутбук
volvo 07.12.2025
Всем привет.
По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне:
Ryzen 5 7533HS
64 Gb DDR5
1Tb NVMe
16" Full HD Display
Win11 Pro
|
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
|
|
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
|
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов
На странице:
https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/
нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
|
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов.
. . .
|
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
|
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
|