Лингвофорум

Цитата: http://www.osp.ru/text/print/302/183694.html
Вероятностный способ [6] проведения морфологического анализа слов состоит в следующем. Одна и та же словоформа может принадлежать сразу к нескольким грамматическим классам. Для каждой словоформы определяются все ее грамматические классы, а также вероятность ее отношения к каждому из этих классов. Это выполняется на основе некоторого набора документов, где каждому слову предварительно поставлен в соответствие грамматический класс. После этого вычисляются вероятности сочетаний определенных грамматических классов для слов, стоящих рядом — для двоек, троек, четверок и т.д. На основе этих чисел может проводиться анализ слов, но для него необходимо уже не только само слово, но и стоящие рядом с ним слова.

Необходимо сделать два важных замечания. Во-первых, вероятностный метод применим только для тех языков, у которых четко фиксирован порядок слов в предложении. Если же порядок слов можно изменять, то все возможные сочетания грамматических классов будут практически равновероятны. Во-вторых, если первые два способа анализа (четкая и нечеткая морфология) на входе принимают отдельные слова, то вероятностный способ, напротив, на входе принимает либо все предложение, либо, по крайней мере, несколько стоящих рядом слов.

А равновероятны ли для русского языка?

Если в обрабатываемом тексте встречаются отрывки разных регистров — да.

Они что, равновероятно встречаются? Что-то не ладно в этой сказке.

Полного списка словоформ русского языка ни у кого нет? А то, тот, который у меня, вызывает определённые сомнения...

Полного списка?!

Цитата: Demetrius от декабря 12, 2010, 14:19
Полного списка?!

Я имею в виду слова, зафиксированные в словарях.

Словарь Зализняка же.

Цитата: Alone Coder от декабря 12, 2010, 15:25
Словарь Зализняка же.

В нём нет списка словоформ.

Зато там есть правила, как их получить.

Цитата: Alone Coder от декабря 12, 2010, 15:31
Зато там есть правила, как их получить.

Вы уже сделали на их основе генератор словоформ?

Его сделали в Викисловаре. Уэлкам: http://ru.wiktionary.org/

Цитата: Alone Coder от декабря 12, 2010, 15:51
Его сделали в Викисловаре. Уэлкам: http://ru.wiktionary.org/

Что-то я не вижу ссылочки Download our state-of-the-art Russian word form generator and use it for free.

Можно сварганить по этим табличкам :
http://ru.wiktionary.org/wiki/Категория:Шаблоны_словоизменений
http://ru.wiktionary.org/wiki/Викисловарь:Использование_словаря_Зализняка

Цитата: Bhudh от декабря 12, 2010, 17:22
Можно сварганить по этим табличкам

Сваргань и поделись со мной.

На васике⁈

Цитата: Bhudh от декабря 12, 2010, 17:40
На васике⁈

Без разницы, но помни, форм > 2,5 миллиона, а генератор не должен работать дольше 10 минут на моём железе.

Э, не-е, на моём тогда он будет > 10 часов работать.

Цитата: Bhudh от декабря 12, 2010, 18:13
Э, не-е, на моём тогда он будет > 10 часов работать.

Если он будет работать 10 минут на твоём, я не обижусь.

Сложность в омографичных окончаниях. Можно столько лишних деепричастий типа «батарея» наделать .

Цитата: Bhudh от декабря 12, 2010, 18:30
Сложность в омографичных окончаниях. Можно столько лишних деепричастий типа «батарея» наделать .

Не понял.
У тебя список лемм + код, определяющий парадигму словоизменения. В чём проблема?

А! Точно. Спутал что-то. А зачем тогда вообще список готовый делать, если можно на лету генерить?

Потому что мне нужен список, а не генерить. К тому же его нельзя налету генерить, так как генератора нет. Я был бы не против, если бы в выхлопе генератора была грамматическая и прочая информация, которая есть в словаре.

Цитата: mystК тому же его нельзя налету генерить, так как генератора нет.

А к майстэму прикрутить?

Цитата: Bhudh от декабря 12, 2010, 19:22
А к майстэму прикрутить?

Как прикрутить? mystem выдаёт только грамматическую информацию о слове. Поэтому мне и нужен список словоформ.

Я уже с его помощью сделал таблицу и загнал её в базу данных, но исходный список подозрительный, возможны сюрпризы.