Удаление дублей в заданном слове (игнорируя список)

19.04.2022, 21:16. Показов 280. Ответов 0

Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам

если коротко: cat file.txt | python3 script.py | sort -u ждет пока все строки в file.txt закончатся. А мне нужно что бы удаляло дубли только из вариаций что сгенерировались из первой строки и начинала по новой только уже второй строкой из файла и так далее

собственно есть предложение допустим из 10-30 слов в одной строке и так много строк(предложений разных)я беру их из файла:

Python
1
2
3
4
5
6
7
8
9
10
import sys
for line in sys.stdin:
  s = (line.rstrip('\n'))
  for nom in range(0,100):
   a = s[:-nom]
   print(a)
 
   for nom1 in range(0,50):
    aa = s[nom1:]
    print(aa)

я беру скрипт и первому предложению удаляю по 1,2,..100(задаю сколько удалить) символов в конце

получается типа
Саша шла по шоссе, она хотела скушать сушку
Саша шла по шоссе, она хотела скушать сушк
Саша шла по шоссе, она хотела скушать суш
аша шла по шоссе, она хотела скушать сушку
аша шла по шоссе, она хотела скушать суш...
...

и нужно как то удалить дубли и вывести в print именно этой строки которая сейчас обрабатывалась "Саша шла по шоссе, она хотела скушать сушку"

дело в том что если брать просто удаление дублей после работы то оно ждет пока все строки пройдет и потом массово их сортирует,удаляет. а мне нужно что бы налету ( в мере заданной строки, и так с каждым предложением (строкой) не сравнивая(удаляя дубли) с предыдущей)

как? помогите пожалуйста

cpp_developer

Эксперт

20123 / 5690 / 1417

Регистрация: 09.04.2010

Сообщений: 22,546

Блог

19.04.2022, 21:16

Ответы с готовыми решениями:

Поиск дублей в строках из 10 столбцов, суммирование дублей по полю и удаление дублей
Добрый день! Ребята, очень нужна помощь! Необходимо в MS Excel выявить дубли по строкам, состоящим...

Удаление текста после ALT+Enter либо удаление дублей в массиве
подзадача заключается в том, чтобы после определенного символа в моем случае это "ALT+Enter"...

Удаление дублей
Как с наименьшей трудоемкостью удалить дубли из таблицы InterBase. Т.е. имеем пары строк с...

Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.

raxper

Эксперт

30234 / 6612 / 1498

Регистрация: 28.12.2010

Сообщений: 21,154

Блог

19.04.2022, 21:16

Помогаю со студенческими работами здесь

Удаление дублей
Добрый день. Есть база где более 300т строк. нужно удалить все последующие дубликаты. По запросу...

Удаление дублей
Здравствуйте! Есть таблица с структурой: id (auto_incriment),text1,text2,text3,text4 Требуется...

удаление дублей
Добрый день, Есть база, в ней таблицы. Есть дублирующие записи. В тех таблицах где можно было...

Удаление дублей
Есть таблица со следующей структурой: Проблема в том, что, например, одна и та же запись была...

Удаление дублей в memo
Всем привет, не могу побороть удаление дублей строк вместе с оригиналом. Суть следующая, есть...

Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:

Новые блоги и статьи Все статьи Все блоги /
Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .	Установка Android SDK, NDK, JDK, CMake и т.д. 8Observer8 25.01.2026 Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .	Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf 8Observer8 25.01.2026 Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .	Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly 8Observer8 24.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
моя боль iceja 24.01.2026 Выложила интерполяцию кубическими сплайнами www. iceja. net REST сервисы временно не работают, только через Web. Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .	Модель сукцессии микоризы anaschu 24.01.2026 Решили писать научную статью с неким РОманом	http://iceja.net/ математические сервисы iceja 20.01.2026 Обновила свой сайт http:/ / iceja. net/ , приделала Fast Fourier Transform экстраполяцию сигналов. Однако предсказывает далеко не каждый сигнал (см ограничения http:/ / iceja. net/ fourier/ docs ). Также. . .	http://iceja.net/ сервер решения полиномов iceja 18.01.2026 Выкатила http:/ / iceja. net/ сервер решения полиномов (находит действительные корни полиномов методом Штурма). На сайте документация по API, но скажу прямо VPS слабенький и 200 000 полиномов. . .

Наверх