Удаление повторяющихся строк в одном и том же файле

TARGET_FILE = "file.txt"
 
 
f=open(TARGET_FILE,'r', encoding='utf-16-le')
l = [line.strip() for line in f]
unique=[]
[unique.append(item) for item in l if item not in unique]
if unique[0]:
    print('\n jjj')
f.close()
 
 
 
filename2 = target = 'file.txt'
fw = open(filename2, 'w', encoding='utf-16-le')
for index in unique:
    fw.write(index + '\n')
    fw.close

file_name = r'file.txt'
non_double_str_set = set()
input_file = open(file_name)
for line in input_file:
    non_double_str_set.add(line)
input_file.close()
output_file = open(file_name, 'w')
for set_str in non_double_str_set:
    output_file.write(set_str)
output_file.close()

# удаление дубликатов строк из файла
import datetime
 
дата_начало = datetime.now()
f1 = 'd:/22222222222222222.txt'
f2 = 'd:/33333333333333333.txt'
 
with open(f1, "rt") as f1, open(f2, "r+t") as f2:
    f2_list = f2.readlines()
    for line in f1:
        if line in f2_list:
            f2_list.remove(line)
            print(f"Удалён дубликат: {line}")
    f2.seek(0)
    f2.truncate(0)
    f2.write("\n".join(f2_list))
дата_конец = datetime.now()
print(f'''Конец выполнения программы, сравнения двух файлов, удаления дубликатов: {дата_конец}
Время выполнения программы: {int((дата_конец - дата_начало).total_seconds())} сек.
{str((дата_конец - дата_начало)).split('.')[0]}''')

with open('in.txt', 'r') as f:
    lst = set(f.readlines())
with open('in.txt', 'w') as f:
    f.write(''.join(lst))

with open("input.txt") as input_:
    result = dict.fromkeys(input_).keys()
    
with open("input.txt", "w") as output:
    print(*result, file=output, sep="")