Author Topic: Модель языка — что это такое?  (Read 4555 times)

0 Members and 1 Guest are viewing this topic.

Offline I.G.B.

  • Posts: 68
  • Gender: Male
  • запасной
кто знает поясните пожалуйста
какие успехи есть в этом направлении?
Аз, Буквы изВедав, Глаголю: Добро Есть. Живете Sело Земным, Iже да Иже. Как же, Люди, Мыслите о Наших Оных Покоях?.. Реки Слово Твердо. Укажут возле сФер-то Херувимы, в печали ὦтеЦ или Червь.

Offline fujhi

  • Posts: 862
Модель — это что угодно, что может моделировать язык. ;D

Например, недавно sysko для Tatoeb’ы написал свою программку Tatodetect для определения языка. У него все языки представлены как наборы из частых n-грамм (от пентаграмм типа {"aaaaa" => частота, "aaaab" => частота...) до биграмм {"aa" => частота, "ab" => частота}). Вот эти наборы n-грамм в его случае и есть модели. Если я ничего не путаю, такие модели являются цепями Маркова.

Можно сделать такую же модель из n-грамм, но не для букв, а для словоформ ("читать книгу" => частота, "читать слона" => частота)...

Или модель с частями речи — например, вероятность {"предлог существительное в И.п." => частота, "предлог глагол в такой-то форме" => частота} — полезно в морфологических парсерах, когда разбираешь, что такое «красивая печь»: «прилагательное в И.п + существительное в И.п.» встречается чаще, чем «прилагательное в И.п. + глагол в инфинитиве».

Можно и по какому-то другому принципу построить, например, нелинейные модели.

Соответственно, использовать модель можно:
  • для проверки соответствия текста модели (Tatodetect: а не китайский/русский/французский ли это язык? программы првоерки орфографии: а не опечатка ли это? морфологические анализаторы: а правилен ли разбор предложения?) и
  • для генерации текстов по такой модели; обычно получается бред, похожий на язык, т.к. модель — по-любому упрощение (примеры: gpw: сгенерировать пароль, который будет похож на реальное слово; спамеры: сгенерировать текст, который будет похож на реальное письмо и потому пройдёт автоматический спам-фильтр).

А вот какие успехи в этой области — бог его знает.  :donno: Наверное что-то интересное придумывают, но я не интересовался. :donno:
Этот аккаунт официально заброшен. Связаться со мной можно по всё тому же адресу, dmymd@yandex.ru. Всем пока!

Offline I.G.B.

  • Posts: 68
  • Gender: Male
  • запасной
уточняю вопрос - речь о модели которая описывает все языки, находя универсальные логические структуры и систематизируя формализируя лексику
то есть некий универсальный логический язык, годный для машперевода и для использования в ИИ
Аз, Буквы изВедав, Глаголю: Добро Есть. Живете Sело Земным, Iже да Иже. Как же, Люди, Мыслите о Наших Оных Покоях?.. Реки Слово Твердо. Укажут возле сФер-то Херувимы, в печали ὦтеЦ или Червь.

Offline fujhi

  • Posts: 862
Что-то я нифига не понял.

то есть некий универсальный логический язык, годный для машперевода и для использования в ИИ
CycL сойдёт?
Этот аккаунт официально заброшен. Связаться со мной можно по всё тому же адресу, dmymd@yandex.ru. Всем пока!

Offline I.G.B.

  • Posts: 68
  • Gender: Male
  • запасной
или еще проще - как устроен человеческий язык
Аз, Буквы изВедав, Глаголю: Добро Есть. Живете Sело Земным, Iже да Иже. Как же, Люди, Мыслите о Наших Оных Покоях?.. Реки Слово Твердо. Укажут возле сФер-то Херувимы, в печали ὦтеЦ или Червь.

Offline fujhi

  • Posts: 862
или еще проще - как устроен человеческий язык
В такой формулировке вся лингвистика этим занимается.
Этот аккаунт официально заброшен. Связаться со мной можно по всё тому же адресу, dmymd@yandex.ru. Всем пока!

Offline I.G.B.

  • Posts: 68
  • Gender: Male
  • запасной
вот я и спрашиваю - уже есть хоть что-нибудь похожее на модель языка
Аз, Буквы изВедав, Глаголю: Добро Есть. Живете Sело Земным, Iже да Иже. Как же, Люди, Мыслите о Наших Оных Покоях?.. Реки Слово Твердо. Укажут возле сФер-то Херувимы, в печали ὦтеЦ или Червь.

Offline fujhi

  • Posts: 862
Я Вам и ответил в своём первом посте. А оказалось, что Вам не модель языка нужна, а что-то непонятное. А что Вам нужно — я не понимаю.
Этот аккаунт официально заброшен. Связаться со мной можно по всё тому же адресу, dmymd@yandex.ru. Всем пока!

 

With Quick-Reply you can write a post when viewing a topic without loading a new page. You can still use bulletin board code and smileys as you would in a normal post.

Note: this post will not display until it's been approved by a moderator.
Name: Email:
Verification:
Type the letters shown in the picture
Listen to the letters / Request another image
Type the letters shown in the picture:
√49 Напишите ответ строчными буквами:
«Сто одёжек, все без застёжек» — что это?: