Удаление дублей в заданном слове (игнорируя список)

19.04.2022, 21:16. Показов 286. Ответов 0

Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам

если коротко: cat file.txt | python3 script.py | sort -u ждет пока все строки в file.txt закончатся. А мне нужно что бы удаляло дубли только из вариаций что сгенерировались из первой строки и начинала по новой только уже второй строкой из файла и так далее

собственно есть предложение допустим из 10-30 слов в одной строке и так много строк(предложений разных)я беру их из файла:

Python
1
2
3
4
5
6
7
8
9
10
import sys
for line in sys.stdin:
  s = (line.rstrip('\n'))
  for nom in range(0,100):
   a = s[:-nom]
   print(a)
 
   for nom1 in range(0,50):
    aa = s[nom1:]
    print(aa)

я беру скрипт и первому предложению удаляю по 1,2,..100(задаю сколько удалить) символов в конце

получается типа
Саша шла по шоссе, она хотела скушать сушку
Саша шла по шоссе, она хотела скушать сушк
Саша шла по шоссе, она хотела скушать суш
аша шла по шоссе, она хотела скушать сушку
аша шла по шоссе, она хотела скушать суш...
...

и нужно как то удалить дубли и вывести в print именно этой строки которая сейчас обрабатывалась "Саша шла по шоссе, она хотела скушать сушку"

дело в том что если брать просто удаление дублей после работы то оно ждет пока все строки пройдет и потом массово их сортирует,удаляет. а мне нужно что бы налету ( в мере заданной строки, и так с каждым предложением (строкой) не сравнивая(удаляя дубли) с предыдущей)

как? помогите пожалуйста

cpp_developer

Эксперт

20123 / 5690 / 1417

Регистрация: 09.04.2010

Сообщений: 22,546

Блог

19.04.2022, 21:16

Ответы с готовыми решениями:

Поиск дублей в строках из 10 столбцов, суммирование дублей по полю и удаление дублей
Добрый день! Ребята, очень нужна помощь! Необходимо в MS Excel выявить дубли по строкам, состоящим...

Удаление текста после ALT+Enter либо удаление дублей в массиве
подзадача заключается в том, чтобы после определенного символа в моем случае это "ALT+Enter"...

Удаление дублей
Как с наименьшей трудоемкостью удалить дубли из таблицы InterBase. Т.е. имеем пары строк с...

Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.

raxper

Эксперт

30234 / 6612 / 1498

Регистрация: 28.12.2010

Сообщений: 21,154

Блог

19.04.2022, 21:16

Помогаю со студенческими работами здесь

Удаление дублей
Добрый день. Есть база где более 300т строк. нужно удалить все последующие дубликаты. По запросу...

Удаление дублей
Здравствуйте! Есть таблица с структурой: id (auto_incriment),text1,text2,text3,text4 Требуется...

удаление дублей
Добрый день, Есть база, в ней таблицы. Есть дублирующие записи. В тех таблицах где можно было...

Удаление дублей
Есть таблица со следующей структурой: Проблема в том, что, например, одна и та же запись была...

Удаление дублей в memo
Всем привет, не могу побороть удаление дублей строк вместе с оригиналом. Суть следующая, есть...

Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:

Опции темы

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): Подключение Box2D v3, физика и отрисовка коллайдеров 8Observer8 12.02.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами и вызывать обработчики событий столкновения. . . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 11.02.2026 Содержание блога Библиотека SDL3 содержит встроенные инструменты для базовой работы с изображениями - без использования библиотеки SDL3_image. Пошагово создадим проект для загрузки изображения. . .	SDL3 для Web (WebAssembly): Загрузка PNG с прозрачным фоном с помощью SDL3_image 8Observer8 10.02.2026 Содержание блога Библиотека SDL3_image содержит инструменты для расширенной работы с изображениями. Пошагово создадим проект для загрузки изображения формата PNG с альфа-каналом (с прозрачным. . .	Установка Qt-версии Lazarus IDE в Debian Trixie Xfce volvo 10.02.2026 В общем, достали меня глюки IDE Лазаруса, собранной с использованием набора виджетов Gtk2 (конкретно: если набирать текст в редакторе и вызвать подсказку через Ctrl+Space, то после закрытия окошка. . .
SDL3 для Web (WebAssembly): Работа со звуком через SDL3_mixer 8Observer8 08.02.2026 Содержание блога Пошагово создадим проект для загрузки звукового файла и воспроизведения звука с помощью библиотеки SDL3_mixer. Звук будет воспроизводиться по клику мышки по холсту на Desktop и по. . .	SDL3 для Web (WebAssembly): Основы отладки веб-приложений на SDL3 по USB и Wi-Fi, запущенных в браузере мобильных устройств 8Observer8 07.02.2026 Содержание блога Браузер Chrome имеет средства для отладки мобильных веб-приложений по USB. В этой пошаговой инструкции ограничимся работой с консолью. Вывод в консоль - это часть процесса. . .	SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве 8Observer8 02.02.2026 Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .	Философия технологии iceja 01.02.2026 На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .

Наверх