Удаление повторяющихся слов

@Gura · Регистрация: 17.05.2012

Author24 — интернет-сервис помощи студентам

Ребята, пишу первое регулярное выражение. Нужно удалить повторяющиеся слова в строке без учета регистра.
Я сделал так:

PHP

echo 'Вот, что Вы ввели: '.$text;
echo '<br>';
 
$text = preg_replace('/\s(\w+\s)\1/i', "$1", $text);
 
echo 'А вот что получилось '.$text;

В итоге мне выводит тоже самое, что я и вводил. т.е ничего не происходит.
Подскажите, что я сделал не так?
Спасибо

~~Release~~ · 17.12.2013, 22:08

PHP

1	$text = preg_replace("/.+/i", ".", $text);

@Gura · 17.12.2013, 22:10 **[ТС]**

Так он удаляет все =\

NEbO · 18.12.2013, 13:24

Сообщение от Gura

Нужно удалить повторяющиеся слова в строке без учета регистра.

вообще, задача не совсем подходит для регулярок. Вернее подходит но это примерно как пузырьковая сортировка: памяти кушать будет мало, однако сложность алгоритма высокая (вроде стремится к O(n^2), но можно попробовать посчитать точнее, при необходимости). но если нужно именно ими, то как-то так:

Код

php -r "$text='aa bb cc Bb';echo preg_replace('/(\b\w++\b)(?=.*?\1)/si', '', $text);"

Добавлено через 2 минуты
ваша регулярка

Код

\s(\w+\s)\1

делает так: сначала пробельный символ, потом слово потом пробельный, и потом сразу же повторение того, что стояло до этого. т.е. оно вырежет только те повторяющиеся слова, которые идут подряд. и при этом еще обязательно это должно быть не последнее слово в строке, иначе \w\s не совпадет

Добавлено через 3 минуты

Не по теме:

Сообщение от NEbO

(?=.*?\1)

и да, разумеется тут без разницы инвертировать жадность или нет. просто в одном случае оно пойдет с конца в начало, а в другом наоборот. в моем случае оно пойдет вперед и будет проверять. помоему так обычно логичнее

@Maximus_Decimus · 18.12.2013, 15:31

NEbO, Прошу прощения что встреваю в тему просто самому нужно удалить повторы слов, то что вы показали работает, НО она удаляет все повторы а мне надо первое слово оставить и удалять только остальные слова которые его повторяют

Помогите пожалуйста а то СЕОшник замучил совсем

Добавлено через 1 час 17 минут
В итоге при помощи NEbO, получилась такая функция

PHP

# Удаление повторяющихся слов
function delete_duplicates_words($text)
{
    $text = implode(array_reverse(preg_split('//u', $text)));
    $text = preg_replace('/(\b[\pL0-9]++\b)(?=.*?\1)/siu', '', $text);
    $text = implode(array_reverse(preg_split('//u', $text)));
    return $text;
}

Которая работает с русскими словами в utf-8

@Gura · 18.12.2013, 16:27 **[ТС]**

NEbO, Спасибо! Работает! Правда только с английскими буквами в utf -8.

@Maximus_Decimus · 18.12.2013, 16:31

Почему только с английскими буквами у меня прекрасно работает с русскими буквами в utf-8

@Gura · 18.12.2013, 16:34 **[ТС]**

Не знаю)

NEbO, вот Вы сказали, что моя задача не совсем под регулярки. А допустим удалить слова, у которых с обеих сторон одинаковые знаки препинания,подходит?

NEbO · 18.12.2013, 17:29

Сообщение от Gura

удалить слова, у которых с обеих сторон одинаковые знаки препинания

Код

php -r "$text='aaa ,bcd? ,tyu, bb'; echo preg_replace('~([^\s])\b\w++\b\1~u', '', $text);"

ближе. для регулярок на основе нка подходит. впрочем, "подходит", не "подходит", это уж вы для себя решайте. по сложности. просто то решение в регулярках решается неоптимально (хотя конкретно для пхп, возможно, это и будет лучшее решение). но опять же, все условия -- они известны только вам. возможно, вам нужно логи разобрать или старый текст какой-то один раз, или вообще у вас стоит жесткое ограничение по длине входящего поля. или данные не могут быть наихудшими -- тогда обычно это имеет мало значения. я просто указал что теоретически это не совсем верное решение. как в случае с "классической" пузырьковой сортировкой в одноядерной системе, это довольно редко будет оптимальным решением какой-то конкретной задачи.
но ни в первом ни во втором случае это не настолько критично что прям взять выкинуть и все. очень часто бывают регулярки и похуже. если вам неинтересны все эти выкладки по сложности алгоритмов, не мучайтесь и не терзайте себе душу

@Gura · 18.12.2013, 17:40 **[ТС]**

Огромное спасибо!

NEbO · 18.12.2013, 17:45

Не по теме:

Сообщение от NEbO

просто то решение в регулярках решается неоптимально (хотя конкретно для пхп, возможно, это и будет лучшее решение)

а решив что решение нерешабельно, порешите его порешабельно решабельными средствами.... мда, гугль точно меня когда нибудь забанит за повторение ключевиков

@Gura 36 / 36 / 4 Регистрация: 17.05.2012 Сообщений: 157
	17.12.2013, 22:10 [ТС]	3
	Так он удаляет все =\ 0

NEbO 601 / 468 / 73 Регистрация: 22.01.2009 Сообщений: 1,180 Записей в блоге: 1
	18.12.2013, 13:24	4
	Сообщение было отмечено как решение Решение Сообщение от Gura Нужно удалить повторяющиеся слова в строке без учета регистра. вообще, задача не совсем подходит для регулярок. Вернее подходит но это примерно как пузырьковая сортировка: памяти кушать будет мало, однако сложность алгоритма высокая (вроде стремится к O(n^2), но можно попробовать посчитать точнее, при необходимости). но если нужно именно ими, то как-то так: Код php -r "$text='aa bb cc Bb';echo preg_replace('/(\b\w++\b)(?=.?\1)/si', '', $text);" Добавлено через 2 минуты* ваша регулярка Код \s(\w+\s)\1 делает так: сначала пробельный символ, потом слово потом пробельный, и потом сразу же повторение того, что стояло до этого. т.е. оно вырежет только те повторяющиеся слова, которые идут подряд. и при этом еще обязательно это должно быть не последнее слово в строке, иначе \w\s не совпадет Добавлено через 3 минуты Не по теме: Сообщение от NEbO (?=.*?\1) и да, разумеется тут без разницы инвертировать жадность или нет. просто в одном случае оно пойдет с конца в начало, а в другом наоборот. в моем случае оно пойдет вперед и будет проверять. помоему так обычно логичнее 3

@Gura 36 / 36 / 4 Регистрация: 17.05.2012 Сообщений: 157
	18.12.2013, 16:27 [ТС]	6
	NEbO, Спасибо! Работает! Правда только с английскими буквами в utf -8. 0

@Maximus_Decimus 0 / 0 / 0 Регистрация: 18.12.2013 Сообщений: 2
	18.12.2013, 16:31	7
	Почему только с английскими буквами у меня прекрасно работает с русскими буквами в utf-8 0

@Gura 36 / 36 / 4 Регистрация: 17.05.2012 Сообщений: 157
	18.12.2013, 16:34 [ТС]	8
	Не знаю) NEbO, вот Вы сказали, что моя задача не совсем под регулярки. А допустим удалить слова, у которых с обеих сторон одинаковые знаки препинания,подходит? 0

NEbO 601 / 468 / 73 Регистрация: 22.01.2009 Сообщений: 1,180 Записей в блоге: 1
	18.12.2013, 17:29	9
	Сообщение от Gura удалить слова, у которых с обеих сторон одинаковые знаки препинания Код php -r "$text='aaa ,bcd? ,tyu, bb'; echo preg_replace('~([^\s])\b\w++\b\1~u', '', $text);" ближе. для регулярок на основе нка подходит. впрочем, "подходит", не "подходит", это уж вы для себя решайте. по сложности. просто то решение в регулярках решается неоптимально (хотя конкретно для пхп, возможно, это и будет лучшее решение). но опять же, все условия -- они известны только вам. возможно, вам нужно логи разобрать или старый текст какой-то один раз, или вообще у вас стоит жесткое ограничение по длине входящего поля. или данные не могут быть наихудшими -- тогда обычно это имеет мало значения. я просто указал что теоретически это не совсем верное решение. как в случае с "классической" пузырьковой сортировкой в одноядерной системе, это довольно редко будет оптимальным решением какой-то конкретной задачи. но ни в первом ни во втором случае это не настолько критично что прям взять выкинуть и все. очень часто бывают регулярки и похуже. если вам неинтересны все эти выкладки по сложности алгоритмов, не мучайтесь и не терзайте себе душу 1

@Gura 36 / 36 / 4 Регистрация: 17.05.2012 Сообщений: 157
	18.12.2013, 17:40 [ТС]	10
	Огромное спасибо! 0

NEbO
	18.12.2013, 17:45 Удаление повторяющихся слов #11
	Не по теме: Сообщение от NEbO просто то решение в регулярках решается неоптимально (хотя конкретно для пхп, возможно, это и будет лучшее решение) а решив что решение нерешабельно, порешите его порешабельно решабельными средствами.... мда, гугль точно меня когда нибудь забанит за повторение ключевиков 0

Удаление повторяющихся слов

Решение