данность: в лингвистике я не в зуб ногой.
описание:
хотел решить маленькую задачу сопоставления 2х текстов. один из текстов - "Гамлет" на английском языке.
Последовательность действий была следующей. Сначала почистил оба текста от всех знаков препинания, чтобы получить слова. Затем сделал (википедия называет это конкорданс). Затем разложил все слова на буквы. Затем посчитал встречаемость всех букв во всех словах.
Получилось:
- "поведение" (условно можно назвать) каждой буквы, сугубо индивидуально. при этом "поведение" каждой буквы укладывается в строгие правила. например, вероятность, что слово закончится на "q" в анг. языке - стремится к 0. другой пример, вероятность, что буква "ц" будет 2ой буквой в слове, во много раз ниже, чем вероятность, что это будет 1ая или 3яя буква.
потом я посчитал корреляцию между всеми буквами алфавита.
- получилось, что "поведение" отдельных букв очень похоже на поведение других. и можно даже объединить буквы в группы. одна из больших групп - гласные и согласные.
затем я повторил такой экзерсис с текстом на руссом языке. в итоге получилось: что поведение разных букв в разных языках очень похоже. при этом профили букв, как не забавно, совпадают. например, есть редкие буквы, т.е. слова начинаются на них редко , есть буквы которые намного чаще встречаются (я смотрел 3 текста, анг., русс. польск.).
понимаю, что получилось какая-то сложноперевариваемая хрень. Однако, я практически на 100% уверен, что такие экзерсисы делались раньше и очень успешно. было бы интересно с ними ознакомиться.
вопрос: киньте на 12312356@mail.ru, плиз, ссылки на работы посвящённые данной тематике.
Обычная статистика текста, частотный анализ
Что за мода с киданием на мыло пошла? Спамеры, штоле?
Вполне возможно. Надо же как-то список адресатов пополнять. Да и адрес какой-то на вид подозрительный...
было превосходно если бы всё-таки дали ответ на вопрос. каких авторов посоветуете, что лучше посмотреть?
не хотите не шлите. дайте ответ в посте.
Этим вероятно занимались те, кто писал алгоритмы OCR. Думаю надо копать в эту сторону, оттуда выйдите на ссылки. Если чего толковое будет, с нами поделитесь.
Цитата: antbez от апреля 1, 2011, 09:40
Обычная статистика текста, частотный анализ
Это и был ответ на ваш вопрос.
Насчет книг на эту тематику... :-\ даже особо не знаю. Это свойство букв используется в криптоанализе, корпусной лингвистике.
Так как вы не гуманитарий то лучше прочесть книги по теории информации и криптоанализу.
Небольшой офф-топик.
Сейчас никто премий не раздаёт за изобретение новых простых способов шифрования?
всё понятно, всем спасибо.
если кому интересно из этой области: http://www.rusf.ru/books/analysis/vestnik2000win.htm
Цитата: 123tt от ноября 16, 2011, 19:46
не хотите не шлите. дайте ответ в посте.
http://thelousylinguist.blogspot.ru/ полно того, что интересно на английском яз.