Удаление дубликатов

connect = sqlite3.connect(f'C:\\Users\\Oybek\\Desktop\\python\\telegram_bot\\downloads\\{user_id}\\{user_id}.db')
            cursor = connect.cursor()
            cursor.execute("INSERT INTO main_data(name,surname,date_birth,nick ) VALUES (?,?,?,?)",[name, surname, date, nickname])
            connect.commit()

import telebot
import os
import sqlite3
 
 
bot = telebot.TeleBot('TOKEN')
src = 'C:\\Users\\Oybek\\Desktop\\python\\telegram_bot\\downloads\\'
 
@bot.message_handler(commands=['start'])
 
# идет запись уникального айди юзера, затем проверяется в директории есть ли такая папка с названием его айди, если нету такой папки идет ее создание
 
 
def create_folder_and_db(message):
    try:
        user_id = message.chat.id
        check_exist_files = os.listdir()
        for items in check_exist_files:
            if items != str(user_id):
                os.mkdir(f'{src}{str(user_id)}')
                bot.reply_to(message, "Персональная папка создана (ЗАГЛУШКА , СМЕНИТЬ ТЕКСТ)")
                break
    except FileExistsError:
        bot.reply_to(message, "Вы уже зарегистрированы в нашем боте! Пройдите к след этапу")
        
### затем идет создание уникальной базы данных для этого пользователя в его персональной папке
 
    os.chdir(src + str(user_id) + '//')
    connect = sqlite3.connect(f'{user_id}.db')
    cursor = connect.cursor()
    cursor.execute("""CREATE TABLE IF NOT EXISTS main_data(
                        name TEXT,
                        surname TEXT ,
                        date_birth TEXT,
                        nick TEXT
        )""")
    connect.commit()
 
    bot.send_message(message.chat.id, "Отправить файл txt [заглушка ]")
 
@bot.message_handler(content_types=['document'])
 
### тут идет загрузка того файла , который юзер отправил, сохранятся этот файл в его персональной папке
def get_file(message):
    name = ""
    surname = ""
    date = ""
    nickname = ""
    os.chdir(src)
    list_files = os.listdir()
    for items in list_files:
        if items == str(message.chat.id):
            os.chdir(src + str(message.chat.id))
            user_id = message.chat.id
            file_info = bot.get_file(message.document.file_id)
            download = bot.download_file(file_info.file_path)
            save = src + str(message.chat.id) + '//' + message.document.file_name
            with open(save, 'wb') as f:
                f.write(download)
            bot.reply_to(message, "Saved it carefully!")
        else:
            pass
### тут идет считывание файла и последующее назначение их к переменным name surname date nickname
    with open(save, 'r') as f1:
        files_data = f1.readlines()
        for item in files_data:
            split_v2=item.split(" ")
            name = split_v2[0]
            surname = split_v2[1]
            date = split_v2[2]
            nickname = split_v2[3]
 
### тут идет запись считанных данных в базу 
            connect = sqlite3.connect(f'C:\\Users\\Oybek\\Desktop\\python\\telegram_bot\\downloads\\{user_id}\\{user_id}.db')
            cursor = connect.cursor()
            cursor.execute("INSERT INTO main_data(name,surname,date_birth,nick) VALUES (?,?,?,?)",[name, surname, date, nickname])
            connect.commit()
 
 
 
bot.polling()