Главное меню
Мы солидарны с Украиной. Узнайте здесь, как можно поддержать Украину.

Модель языка — что это такое?

Автор I.G.B., июля 31, 2012, 16:40

0 Пользователи и 1 гость просматривают эту тему.

I.G.B.

кто знает поясните пожалуйста
какие успехи есть в этом направлении?
Аз, Буквы изВедав, Глаголю: Добро Есть. Живете Sело Земным, Iже да Иже. Как же, Люди, Мыслите о Наших Оных Покоях?.. Реки Слово Твердо. Укажут возле сФер-то Херувимы, в печали ὦтеЦ или Червь.

fujhi

Модель — это что угодно, что может моделировать язык. ;D

Например, недавно sysko для Tatoeb'ы написал свою программку Tatodetect для определения языка. У него все языки представлены как наборы из частых n-грамм (от пентаграмм типа {"aaaaa" => частота, "aaaab" => частота...) до биграмм {"aa" => частота, "ab" => частота}). Вот эти наборы n-грамм в его случае и есть модели. Если я ничего не путаю, такие модели являются цепями Маркова.

Можно сделать такую же модель из n-грамм, но не для букв, а для словоформ ("читать книгу" => частота, "читать слона" => частота)...

Или модель с частями речи — например, вероятность {"предлог существительное в И.п." => частота, "предлог глагол в такой-то форме" => частота} — полезно в морфологических парсерах, когда разбираешь, что такое «красивая печь»: «прилагательное в И.п + существительное в И.п.» встречается чаще, чем «прилагательное в И.п. + глагол в инфинитиве».

Можно и по какому-то другому принципу построить, например, нелинейные модели.

Соответственно, использовать модель можно:

  • для проверки соответствия текста модели (Tatodetect: а не китайский/русский/французский ли это язык? программы првоерки орфографии: а не опечатка ли это? морфологические анализаторы: а правилен ли разбор предложения?) и
  • для генерации текстов по такой модели; обычно получается бред, похожий на язык, т.к. модель — по-любому упрощение (примеры: gpw: сгенерировать пароль, который будет похож на реальное слово; спамеры: сгенерировать текст, который будет похож на реальное письмо и потому пройдёт автоматический спам-фильтр).

А вот какие успехи в этой области — бог его знает.  :donno: Наверное что-то интересное придумывают, но я не интересовался. :donno:
Этот аккаунт официально заброшен. Связаться со мной можно по всё тому же адресу, [email]dmymd@yandex.ru[/email]. Всем пока!

I.G.B.

уточняю вопрос - речь о модели которая описывает все языки, находя универсальные логические структуры и систематизируя формализируя лексику
то есть некий универсальный логический язык, годный для машперевода и для использования в ИИ
Аз, Буквы изВедав, Глаголю: Добро Есть. Живете Sело Земным, Iже да Иже. Как же, Люди, Мыслите о Наших Оных Покоях?.. Реки Слово Твердо. Укажут возле сФер-то Херувимы, в печали ὦтеЦ или Червь.

fujhi

Что-то я нифига не понял.

Цитата: I.G.B. от июля 31, 2012, 17:26
то есть некий универсальный логический язык, годный для машперевода и для использования в ИИ
CycL сойдёт?
Этот аккаунт официально заброшен. Связаться со мной можно по всё тому же адресу, [email]dmymd@yandex.ru[/email]. Всем пока!

I.G.B.

Аз, Буквы изВедав, Глаголю: Добро Есть. Живете Sело Земным, Iже да Иже. Как же, Люди, Мыслите о Наших Оных Покоях?.. Реки Слово Твердо. Укажут возле сФер-то Херувимы, в печали ὦтеЦ или Червь.

fujhi

Цитата: I.G.B. от июля 31, 2012, 18:48
или еще проще - как устроен человеческий язык
В такой формулировке вся лингвистика этим занимается.
Этот аккаунт официально заброшен. Связаться со мной можно по всё тому же адресу, [email]dmymd@yandex.ru[/email]. Всем пока!

I.G.B.

вот я и спрашиваю - уже есть хоть что-нибудь похожее на модель языка
Аз, Буквы изВедав, Глаголю: Добро Есть. Живете Sело Земным, Iже да Иже. Как же, Люди, Мыслите о Наших Оных Покоях?.. Реки Слово Твердо. Укажут возле сФер-то Херувимы, в печали ὦтеЦ или Червь.

fujhi

Я Вам и ответил в своём первом посте. А оказалось, что Вам не модель языка нужна, а что-то непонятное. А что Вам нужно — я не понимаю.
Этот аккаунт официально заброшен. Связаться со мной можно по всё тому же адресу, [email]dmymd@yandex.ru[/email]. Всем пока!

Быстрый ответ

Обратите внимание: данное сообщение не будет отображаться, пока модератор не одобрит его.

Имя:
Имейл:
Проверка:
Оставьте это поле пустым:
Наберите символы, которые изображены на картинке
Прослушать / Запросить другое изображение

Наберите символы, которые изображены на картинке:

√36:
ALT+S — отправить
ALT+P — предварительный просмотр