Удалить дубликаты, перед этим объединив csv файлы

@izuchaju_python · Регистрация: 30.06.2015

Студворк — интернет-сервис помощи студентам

Есть csv файлы, пусть будет три штуки, пот 20 тыщ строк, каждая строка содержит имя человека, компанию, телефон, адрес. Нужно объединить три эти файла, и удалить те строки, где компания повторяется.
допустим:
бякин коля, метолабс, 12-34-56-7, Москва
пупкин, метолабс, 12-34-56-7, Москва

Вот мы оставим одного только, остальные должны быть удалены.
Если это проблема, то есть несколько csv файлов с именами, компаниями телефонами, адресами, которые были склеены через zip python.
В общем нужен совет, всем спасибо.

@Garry Galler · 26.11.2016, 19:59

Удалить дубликаты, перед этим объединив csv файлы

Способов это сделать, разумеется, не один. Кто-то, например, может предложить заюзать SQL, поскольку положив все данные в базу, легко применить соответствующий запрос для конечной выборки.
Я для таких ситуаций предпочитаю работать с pandas, поскольку прямо из нее можно читать\писать csv.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
import os,sys
import pandas as pd
 
os.chdir(sys.path[0])
 
df=pd.DataFrame(columns=['name','org','phone','city']) # создаем пустой фрейм и определяем имена столбцов
 
for filename in ['test.csv','test2.csv','test3.csv']:
    tmp = pd.read_csv(filename,names=['name','org','phone','city']) # считываем каждый файл в dataframe
    df = df.append(tmp,ignore_index=True) # добавляем каждый новый фрейм в основной
 
print(df) # выводим dataframe со всеми строками  из всех csv файлов
# фильтруем дубликаты по колонке city, оставляем только первый результат (по умолчанию), можно наоборот - последний (keep='last'), или вообще - удалить все (keep=False)
df.drop_duplicates('city',keep='first',inplace=True) 
print('-------------------')
print(df) # выводим отфильтрованный фрейм
# записываем в файл
df.to_csv('test_all.csv',index=False,header=False)

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .
Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .	SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .

@izuchaju_python 20 / 21 / 6 Регистрация: 30.06.2015 Сообщений: 431

	Удалить дубликаты, перед этим объединив csv файлы 26.11.2016, 12:10. Показов 5624. Ответов 1 Метки нет (Все метки) Есть csv файлы, пусть будет три штуки, пот 20 тыщ строк, каждая строка содержит имя человека, компанию, телефон, адрес. Нужно объединить три эти файла, и удалить те строки, где компания повторяется. допустим: бякин коля, метолабс, 12-34-56-7, Москва пупкин, метолабс, 12-34-56-7, Москва Вот мы оставим одного только, остальные должны быть удалены. Если это проблема, то есть несколько csv файлов с именами, компаниями телефонами, адресами, которые были склеены через zip python. В общем нужен совет, всем спасибо. 0

Удалить дубликаты, перед этим объединив csv файлы

Решение