Как удалить дубликаты повторяющихся ID в файле и пересохранить?22.11.2023, 19:39. Показов 1329. Ответов 20
Метки нет (Все метки)
Решила попробовать распарсить группу вконтакте. Нашла информацию как это сделать. Есть вполне рабочий вариант.
https://qna.habr.com/q/1282990
0
|
|||||||||||||||||
| 22.11.2023, 19:39 | |
|
Ответы с готовыми решениями:
20
Как в текстовом файле удалить все дубликаты? Определить число повторяющихся символов в дереве и удалить дубликаты Как удалить дубликаты элементов в XML-файле без помощи LINQ? |
|
Автоматизируй это!
|
||||||
| 22.11.2023, 20:17 | ||||||
|
Olga28, сет -это множество, не верю что в джаваскрипте такого нет, неупорядоченная структура данных которая хранит только уникальные элементы
0
|
||||||
| 22.11.2023, 20:34 [ТС] | ||||||
|
Welemir1, через set не получается сохранить в Json.
0
|
||||||
|
Любознательный
7405 / 2255 / 360
Регистрация: 10.03.2016
Сообщений: 5,216
|
||
| 22.11.2023, 20:47 | ||
|
0
|
||
| 22.11.2023, 21:23 [ТС] | |||||||
|
YuS_2, вообщем нашла вариант как это преобразовать.
такие данные.
0
|
|||||||
|
Любознательный
7405 / 2255 / 360
Регистрация: 10.03.2016
Сообщений: 5,216
|
|
| 22.11.2023, 22:04 | |
|
0
|
|
|
Любознательный
7405 / 2255 / 360
Регистрация: 10.03.2016
Сообщений: 5,216
|
|||||||||||||
| 23.11.2023, 11:02 | |||||||||||||
|
Olga28, начать, пожалуй, надо с этого:
range(start, stop, step=1)Далее: сериализация данных:
0
|
|||||||||||||
|
Автоматизируй это!
|
||||||
| 23.11.2023, 12:06 | ||||||
|
Olga28, чет ты странное делаешь
убери цикл, выполни код ниже и результат сюда
0
|
||||||
| 23.11.2023, 12:55 [ТС] | ||||||
|
Теперь кавычки внутри стали появляться когда я выполняю этот код.
0
|
||||||
|
Любознательный
7405 / 2255 / 360
Регистрация: 10.03.2016
Сообщений: 5,216
|
|||||||||
| 23.11.2023, 13:24 | |||||||||
|
используйте:
0
|
|||||||||
| 23.11.2023, 14:27 [ТС] | ||||||
|
YuS_2, буду пытаться переписать функцию JS на python ваш вариант не работает. Файл становится в 2 раза больше, т.е. дублируется.
1. Вариант без кавычек 2. Второй массив добавляется с кавычками. Вот стык где происходит добавление дубликата. А вот код который я пытаясь реализовать.
0
|
||||||
|
150 / 120 / 36
Регистрация: 01.11.2019
Сообщений: 425
|
||||||
| 23.11.2023, 15:56 | ||||||
|
offset - это как срез
Допустим в группе 2500 участников count - сколько надо выгрузить за 1 раз, максимальное кол-во за 1 раз можно выгрузить 1000 (нужно смотреть доку) С каждой итерацией offset должен увеличиваться на count
0
|
||||||
|
Любознательный
7405 / 2255 / 360
Регистрация: 10.03.2016
Сообщений: 5,216
|
||||||||
| 23.11.2023, 16:35 | ||||||||
![]()
0
|
||||||||
|
150 / 120 / 36
Регистрация: 01.11.2019
Сообщений: 425
|
|
| 23.11.2023, 17:14 | |
|
Вспомнил, была такая у меня проблема, надо меньше 1000 выгружать за раз, попробуй по 900 со смещением на 1 (offset = 0 , 901, 1802, ....)
0
|
|
| 23.11.2023, 17:28 [ТС] | |||||||
|
Мне удалось сделать удаление дубликатов, но на строке 23 он не может записать массив removed. Выдает ошибку
0
|
|||||||
|
Любознательный
7405 / 2255 / 360
Регистрация: 10.03.2016
Сообщений: 5,216
|
|||||
| 23.11.2023, 18:06 | |||||
![]()
0
|
|||||
| 23.11.2023, 18:06 | |
|
Помогаю со студенческими работами здесь
20
Удалить дубликаты в файле csv (notepad++) Пересохранить файл, указав количество повторяющихся строк Как удалить дубликаты в бд
Как удалить дубликаты из ListBox? Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
|||
|
Конвертировать закладки radiotray-ng в m3u-плейлист
damix 19.02.2026
Это можно сделать скриптом для PowerShell. Использование
. \СonvertRadiotrayToM3U. ps1 <path_to_bookmarks. json>
Рядом с файлом bookmarks. json появится файл bookmarks. m3u с результатом.
# Check if. . .
|
Семь CDC на одном интерфейсе: 5 U[S]ARTов, 1 CAN и 1 SSI
Eddy_Em 18.02.2026
Постепенно допиливаю свою "многоинтерфейсную плату". Выглядит вот так:
https:/ / www. cyberforum. ru/ blog_attachment. php?attachmentid=11617&stc=1&d=1771445347
Основана на STM32F303RBT6.
На борту пять. . .
|
Символьное дифференцирование
igorrr37 13.02.2026
/ *
Программа принимает математическое выражение в виде строки и выдаёт его производную в виде строки и вычисляет
значение производной при заданном х
Логарифм записывается как: (x-2)log(x^2+2) -. . .
|
Камера Toupcam IUA500KMA
Eddy_Em 12.02.2026
Т. к. у всяких "хикроботов" слишком уж мелкий пиксель, для подсмотра в ESPriF они вообще плохо годятся: уже 14 величину можно рассмотреть еле-еле лишь на экспозициях под 3 секунды (а то и больше),. . .
|
|
И ясному Солнцу
zbw 12.02.2026
И ясному Солнцу,
и светлой Луне.
В мире
покоя нет
и люди
не могут жить в тишине.
А жить им немного лет.
|
«Знание-Сила»
zbw 12.02.2026
«Знание-Сила»
«Время-Деньги»
«Деньги -Пуля»
|
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 12.02.2026
Содержание блога
Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .
|
SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 11.02.2026
Содержание блога
Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .
|