Проверка текста на осмысленность

@kelpo · Регистрация: 13.10.2013

Author24 — интернет-сервис помощи студентам

Работаю с шифрованием (шифр Вижинера если важно)

Произвожу криптоанализ, знаю размер ключа, знаю буквы из которых состоит ключ нужно проверить является ли последовательность букв осмысленным текстом, подключение словаря както бонально хочу спросить может быть ктото этим занимался и есть наброски или просто идеи ваши. Заранее спасибо

@I.M. · 17.10.2013, 23:52

Без словаря можно только отсечь те последовательности, которые скорее всего нормальными словами не являются. Например, слова без гласных (если мы знаем, что в тексте не сокращений вида СССР); слова, у которых много согласных подряд; слова, которые начинаются с неверной буквы (в русском это ы, ъ, ь).
В таком духе можно придумать набор правил, который значительно сократит выборку

@kelpo · 17.10.2013, 23:55 **[ТС]**

Сообщение от I.M.

Без словаря можно только отсечь те последовательности, которые скорее всего нормальными словами не являются. Например, слова без гласных (если мы знаем, что в тексте не сокращений вида СССР); слова, у которых много согласных подряд; слова, которые начинаются с неверной буквы (в русском это ы, ъ, ь).
В таком духе можно придумать набор правил, который значительно сократит выборку

как раз дело в том что мы не знаем что содержит текст, знаю что люди такие вещи делали а вот про наборы букв согласен спасибо)

@gazlan · 17.10.2013, 23:58

Сообщение от kelpo

подключение словаря както бонально

При вашей грамотности - без вариантов.

А так, многие занимались: К.Шеннон, А.Колмогоров ... Популярное изложение можно найти у братьев-близнецов Яглом - "Вероятность и информация".

@kelpo · 18.10.2013, 14:21 **[ТС]**

Сообщение от gazlan

При вашей грамотности - без вариантов.

А так, многие занимались: К.Шеннон, А.Колмогоров ... Популярное изложение можно найти у братьев-близнецов Яглом - "Вероятность и информация".

докапываться до грамотности глупо, я никогда о ней не задумывался, за подсказку спасибо

Добавлено через 14 часов 18 минут
неужели не у кого больше нету мыслей??

ValeryS · 18.10.2013, 14:27

Не по теме:

Сообщение от I.M.

слова, у которых много согласных подряд;

знаменитая фамилия Мкртчан:)

@Raali · 18.10.2013, 15:35

Сообщение от kelpo

Произвожу криптоанализ, знаю размер ключа, знаю буквы из которых состоит ключ нужно проверить является ли последовательность букв осмысленным текстом, подключение словаря както бонально хочу спросить может быть ктото этим занимался и есть наброски или просто идеи ваши. Заранее спасибо

если не ошибаюсь на форуме есть раздел криптографии

@kelpo · 18.10.2013, 15:36 **[ТС]**

Сообщение от Raali

если не ошибаюсь на форуме есть раздел криптографии

Меня не интересует криптография, мне нужна именно идея реализации на С+

@CheshireCat · 18.10.2013, 15:42

Сообщение от ValeryS

знаменитая фамилия Мкртчан

Это армянская фамилия, не русская. В русском языке таких сочетаний быть не может.
А так вообще-то известный факт, что при анализе нужно знать язык, на котором написан текст.....

@SatanaXIII · 18.10.2013, 16:02

Сообщение от kelpo

является ли последовательность букв осмысленным текстом

Обычно в первую очередь действительно смотрится что за язык используется. Есть кучи таблиц распределения встречающихся букв и сочетаний букв для тех или иных языков. По ним определяется собственно язык. Далее (если не хотите по словарям (хотя тут вспоминается "вам шашечки или ехать?")) анализируйте куски текста, находя одинаковые, повторяющиеся. Делайте из них какие-то выводы.

И вообще за идеями действительно лучше податься к криптоаналитикам, а сюда уже соваться с готовым к реализации методом.

ValeryS · 18.10.2013, 16:55

Сообщение от CheshireCat

Это армянская фамилия, не русская.

смайлик видел?
армянская фамилия вполне может встретится в русском тексте, так же как заимствованные слова, старые слова, не попадающие не под одни правила
я к тому что есть куча правил, фонемы, начало слов, и пр.пр. пр.
Но все равно машина может ошибиться, окончательное решение принимает человек
например знаменитое
"Души прекрасные порывы"
слово "души" это глагол или существительное?
без контекста не разберешься, а машина контекст не понимает

ValeryS Модератор 8908 / 6677 / 918 Регистрация: 14.02.2011 Сообщений: 23,521
	18.10.2013, 16:55	11
	Сообщение от CheshireCat Это армянская фамилия, не русская. смайлик видел? армянская фамилия вполне может встретится в русском тексте, так же как заимствованные слова, старые слова, не попадающие не под одни правила я к тому что есть куча правил, фонемы, начало слов, и пр.пр. пр. Но все равно машина может ошибиться, окончательное решение принимает человек например знаменитое "Души прекрасные порывы" слово "души" это глагол или существительное? без контекста не разберешься, а машина контекст не понимает 0

@kelpo 5 / 5 / 0 Регистрация: 13.10.2013 Сообщений: 34
		1
	Проверка текста на осмысленность 17.10.2013, 23:40. Показов 2077. Ответов 10 Метки нет (Все метки) Работаю с шифрованием (шифр Вижинера если важно) Произвожу криптоанализ, знаю размер ключа, знаю буквы из которых состоит ключ нужно проверить является ли последовательность букв осмысленным текстом, подключение словаря както бонально хочу спросить может быть ктото этим занимался и есть наброски или просто идеи ваши. Заранее спасибо 0

@I.M. 576 / 559 / 47 Регистрация: 16.12.2011 Сообщений: 1,389
	17.10.2013, 23:52	2
	Без словаря можно только отсечь те последовательности, которые скорее всего нормальными словами не являются. Например, слова без гласных (если мы знаем, что в тексте не сокращений вида СССР); слова, у которых много согласных подряд; слова, которые начинаются с неверной буквы (в русском это ы, ъ, ь). В таком духе можно придумать набор правил, который значительно сократит выборку 1

@kelpo 5 / 5 / 0 Регистрация: 13.10.2013 Сообщений: 34
	17.10.2013, 23:55 [ТС]	3
	Сообщение от I.M. Без словаря можно только отсечь те последовательности, которые скорее всего нормальными словами не являются. Например, слова без гласных (если мы знаем, что в тексте не сокращений вида СССР); слова, у которых много согласных подряд; слова, которые начинаются с неверной буквы (в русском это ы, ъ, ь). В таком духе можно придумать набор правил, который значительно сократит выборку как раз дело в том что мы не знаем что содержит текст, знаю что люди такие вещи делали а вот про наборы букв согласен спасибо) 0

@gazlan 3176 / 1935 / 312 Регистрация: 27.08.2010 Сообщений: 5,131 Записей в блоге: 1
	17.10.2013, 23:58	4
	Сообщение от kelpo подключение словаря както бонально При вашей грамотности - без вариантов. А так, многие занимались: К.Шеннон, А.Колмогоров ... Популярное изложение можно найти у братьев-близнецов Яглом - "Вероятность и информация". 0

@kelpo 5 / 5 / 0 Регистрация: 13.10.2013 Сообщений: 34
	18.10.2013, 14:21 [ТС]	5
	Сообщение от gazlan При вашей грамотности - без вариантов. А так, многие занимались: К.Шеннон, А.Колмогоров ... Популярное изложение можно найти у братьев-близнецов Яглом - "Вероятность и информация". докапываться до грамотности глупо, я никогда о ней не задумывался, за подсказку спасибо Добавлено через 14 часов 18 минут неужели не у кого больше нету мыслей?? 0

ValeryS
	18.10.2013, 14:27 #6
	Не по теме: Сообщение от I.M. слова, у которых много согласных подряд; знаменитая фамилия Мкртчан:) 0

@Raali 859 / 448 / 112 Регистрация: 06.07.2013 Сообщений: 1,491
	18.10.2013, 15:35	7
	Сообщение от kelpo Произвожу криптоанализ, знаю размер ключа, знаю буквы из которых состоит ключ нужно проверить является ли последовательность букв осмысленным текстом, подключение словаря както бонально хочу спросить может быть ктото этим занимался и есть наброски или просто идеи ваши. Заранее спасибо если не ошибаюсь на форуме есть раздел криптографии 0

@kelpo 5 / 5 / 0 Регистрация: 13.10.2013 Сообщений: 34
	18.10.2013, 15:36 [ТС]	8
	Сообщение от Raali если не ошибаюсь на форуме есть раздел криптографии Меня не интересует криптография, мне нужна именно идея реализации на С+ 0

@CheshireCat 2924 / 1274 / 114 Регистрация: 27.05.2008 Сообщений: 3,465
	18.10.2013, 15:42	9
	Сообщение от ValeryS знаменитая фамилия Мкртчан Это армянская фамилия, не русская. В русском языке таких сочетаний быть не может. А так вообще-то известный факт, что при анализе нужно знать язык, на котором написан текст..... 0

@SatanaXIII Почетный модератор 5850 / 2861 / 392 Регистрация: 01.11.2011 Сообщений: 6,907
	18.10.2013, 16:02	10
	Сообщение от kelpo является ли последовательность букв осмысленным текстом Обычно в первую очередь действительно смотрится что за язык используется. Есть кучи таблиц распределения встречающихся букв и сочетаний букв для тех или иных языков. По ним определяется собственно язык. Далее (если не хотите по словарям (хотя тут вспоминается "вам шашечки или ехать?")) анализируйте куски текста, находя одинаковые, повторяющиеся. Делайте из них какие-то выводы. И вообще за идеями действительно лучше податься к криптоаналитикам, а сюда уже соваться с готовым к реализации методом. 0