Как удалить дубликаты повторяющихся ID в файле и пересохранить?

@Olga28 · Регистрация: 12.06.2021

Студворк — интернет-сервис помощи студентам

Решила попробовать распарсить группу вконтакте. Нашла информацию как это сделать. Есть вполне рабочий вариант.
https://qna.habr.com/q/1282990

Python
1
2
3
4
5
6
7
8
9
10
11
12
count = m['members_count']
 
for i in range(0,count+1,1000):
    response_for_getMembers = requests.get('https://api.vk.com/method/groups.getMembers',
                            params={
                                'access_token':token,
                                'v': version,
                                'group_id': group_id,
                                'count': 1000,
                                'offset': i
    })
    members_list.extend(“формируем массив”)

Параметр count = m['members_count']

Это количество участников в группе. В итоге как бы я не парсила, если даже так прописать “for i in range(0,count,1000) (без единицы в count)” всегда создаются дубликаты. Количество дубликатов 1000 это я проверила функцией на JS.

JavaScript
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
async function LoadFromFile(FileName)
     {
         let contentResponse = await fetch(FileName);
        
         let text = await contentResponse.json();
         
        
         var totalRemoved = 0;
         var removed = { };
         var result = [];
         
         var myArray = text;
         
          for (var i = 0; i < myArray.length; i++) {
                if (result.indexOf(myArray[i]) < 0) {
                    result.push(myArray[i]);
                    continue;
                }
               
                removed[myArray[i]] == undefined?removed[myArray[i]] = 1:removed[myArray[i]]++;
                totalRemoved++;
            }
            
          console.log("Всего удалено " + totalRemoved + " элемента:");
          for (var j in removed) console.log(j + " - " + removed[j]);
          console.log("Исходный массив перед очисткой:\r\n", myArray);
          console.log("Исходный массив после очистки:\r\n", result);
         
     }
 
 
 
$(document).on('click','#id1', function(event){
  LoadFromFile("file.txt");
});

На JavaScript я знаю как написать, а вот как это сделать на Python, т.е. почистить файл от дубликатов ID и сохранить, например.

Python
1
2
3
 with open('file.txt', 'w') as fw:
          # записываем
          json.dump(members_list, fw)

@Olga28 · 24.11.2023, 17:47 **[ТС]**

Сообщение от YuS_2

исправить что?

Уже не важно, подсчет удаленных элементов можно не добавлять. Сама функция удаление дубликатов вот.

Python
1
2
3
4
5
6
7
8
9
def clear_double_array(myArray):
  result = []
  for i in range(len(myArray)):
    try:
      print(result.index(myArray[i]))
    except:
      result.append(myArray[i]);
      continue
  return result

Вообщем-то можно обойтись и без нее ошибку я нашла. Использовала объединение списков два раза от этого и произошли дубликаты.

Новые блоги и статьи Все статьи Все блоги /
Паттерн очереди действий/команд (Action / Command Queue). Система очереди действий и кат-сцен с SDL3 Callbacks, cglm и OpenGL 8Observer8 07.11.2026 Содержание блога \| English Version Руководство для начинающих по реализации паттерна очереди действий/ команд (Action / Command Queue) на C++ (C++20) с использованием официального SDL3 Callbacks. . .	Проверка полного ФИО в типовом справочнике Maks 07.11.2026 Решение реализовано в конфигурации КА2, на примере справочника "КонтактныеЛицаПартнеров". Задача: Запрет инициалов. Не допускаеть использование сокращений вида "И. И. ", "И. И. ", "И И" и. . .	Про "Windows must die!" kumehtar 04.11.2026 Знаете, чет накатило. . . . Когда-то это было почти боевым кличем: мол, нормальный человек сидит на DOS, OS/ 2 или Linux, а вот это вот - Must Die. А теперь человек произносит «мастдай» с усмешкой - и. . .	Красочные поля с номером страницы svg+background-image russiannick 04.11.2026 Красочные поля с номером страницы не менее важны чем в эпоху бумажных книг. Посему спешу представить почтеннейшей публике этот важный инструмент который эти поля и формирует. В процессе разработки. . .
Вступаем в новую фазу генерации favicons, векторную. russiannick 02.11.2026 Теперь нет нужды скрывать что используется простой svg. Исходный код изображения помещаем в поле и жмем кнопку. Исходник преобразуется в вид корректный для помещения в favicon или в url(). Нажатие. . .	Генератор паролей (вариант №4) Maks 01.11.2026 После публикации 3-го варианта генератора паролей, разослал его своим коллегам (с целью оценки), в итоге были получены следующие рекомендации: 1. Вернуть возможность использования знаков \| 1 l I;. . .	Генератор паролей (вариант №3) Maks 30.10.2026 Финальная версия генератора паролей 1С. Доработка решения в этот раз коснулась только визуальной части, а именно, добавлен реквизит ДопПараметры (тип Булево), который скрывает/ отображает реквизиты:. . .	Магическое мышление и магия, современная наука не отличима от магии (говорит ИИ Джемени) zorxor 30.10.2026 Джемени, расскажи, пожалуйста, что такое магическое мышление, что такое магия, почему современная наука чем-то напоминает магию? Фраза «Любая достаточно развитая технология неотличима от магии». . .