Автор Тема: Турецкий (Прочитано 247387 раз)

Rachtyrgin · **Ответ #75 :** Декабря 3, 2011, 13:51

Решил создать список татарских стоп-слов в духе NLTK. За основу взял из NLTK список турецких стоп-слов. Вот он: aslında, çok, en, ve, niye, diye, nerde, az, birşey, nereye, hep, her, acaba, siz, ne, bazı, biri, daha, çünkü, hem, mı, eğer, hepsi, şey, şu, sanki, ya, tüm, de, niçin, gibi, bu, defa, biz, kez, kim, da, belki, veya, ile, nerede, ama, ki, için, o, mu,
neden, hiç, birkaç, mü, yani, ise, nasıl.
К сожалению, я не владею турецким, и у меня возникла проблема со словом birşey. Лингво такого слова не знает. Может в NLTK ошибка, и подразумевалось bir şey? Просветите неуча, пожалуйста...

Darkstar · **Ответ #76 :** Декабря 3, 2011, 14:22

bir şey - что-нибудь, одна вещь

Что такое NLTK?

Rachtyrgin · **Ответ #77 :** Декабря 3, 2011, 15:38

bir şey мне как раз понятно. NLTK (Natural Language Toolkit) - мощный лингвистический инструмент, написанный на питоне. Я хочу расширить его функциональность для работы с татарскими текстами.

Sagit · **Ответ #78 :** Декабря 3, 2011, 15:59

Цитата: Rachtyrgin от Декабря 3, 2011, 13:51

Решил создать список татарских стоп-слов в духе NLTK. За основу взял из NLTK список турецких стоп-слов. Вот он: aslında, çok, en, ve, niye, diye, nerde, az, birşey, nereye, hep, her, acaba, siz, ne, bazı, biri, daha, çünkü, hem, mı, eğer, hepsi, şey, şu, sanki, ya, tüm, de, niçin, gibi, bu, defa, biz, kez, kim, da, belki, veya, ile, nerede, ama, ki, için, o, mu,
neden, hiç, birkaç, mü, yani, ise, nasıl.
К сожалению, я не владею турецким, и у меня возникла проблема со словом birşey. Лингво такого слова не знает. Может в NLTK ошибка, и подразумевалось bir şey? Просветите неуча, пожалуйста...

турки могут написать и bişey

Rachtyrgin · **Ответ #79 :** Декабря 3, 2011, 16:05

Цитата: Sagit от Декабря 3, 2011, 15:59

турки могут написать и bişey

Допустим. И что это означает? Мне ведь надо найти татарский эквивалент. Кстати, Лингво вот мне что выдал:
на первый взгляд ничто не изменилось — ilk bakışta değişen birşey yok

Darkstar · **Ответ #80 :** Декабря 3, 2011, 16:50

хич бир шей -- "вообще одна вещь" = ничего
хич биршей йок, хич биршей анламадым, хич биршей гёрмедим

Просто турки те слова, которые произносят разделно, пишут вместе, а те, которые произносят вместе, пишут раздельно. Русские, кстати, тоже (пример: отрицание перед глаголами, предлоги и т.д.)

" NLTK (Natural Language Toolkit) - мощный лингвистический инструмент, написанный на питоне"

А что он умеет делать?

Rachtyrgin · **Ответ #81 :** Декабря 3, 2011, 17:05

Цитата: Darkstar от Декабря 3, 2011, 16:50

А что он умеет делать?

Вкратце - вот здесь: (wiki/ru) Natural_Language_Toolkit
Если всю функциональность описывать, дня не хватит. В принципе, я бы мог, конечно, но тогда надо отдельную тему заводить... Вам спасибо за разъяснения. Буду ориентироваться на то, что birşey - это "ничто".

**Ответ #82 :** Декабря 3, 2011, 17:18

Нашел сайтик, где имеется удобная демонстрация некоторых базовых функций NLTK: http://text-processing.com/

Darkstar · **Ответ #83 :** Декабря 3, 2011, 17:25

Вики статью я уже успел прочитать, мне это почти ничего не говорит. Просто что вы собирались делать со всеми этим...

**Ответ #84 :** Декабря 3, 2011, 17:33

бир-шей - это "что-то, что-нибудь", но часто употребляется с отрицанием как англ. anything. А что в татарском нет такого?

биршей вар (что-то есть)
биршей япмак истиорум (хочу что-то сделать)

Пишется в инете по-разному на самом деле и слитно и раздельно, но чаще слитно.

Rachtyrgin · **Ответ #85 :** Декабря 3, 2011, 18:42

Ну, у меня такое хобби - пишу на яве татарско-русский, русско-татарский словарь. Но просто словарь - это не очень интересно. Хочется прикрутить к нему дополнительную функциональность. Типа конкорданса, коллокации, стемминга, лемматизации и прочего в таком же духе. Сделать его исследовательским инструментом для татарского языка. Вот и приглядываюсь к NLTK, где все это уже реализовано. Правда, не для татарского. Единственный тюркский в NLTK - это турецкий.

По-татарски берәр нәрсә что-нибудь, бернәрсә ничто, ничего. Так что конструкция сходная.

Darkstar · **Ответ #86 :** Декабря 3, 2011, 18:50

"Типа конкорданса, коллокации, стемминга, лемматизации"

Что такое лемматизация?

"Вот и приглядываюсь к NLTK, где все это уже реализовано"

Я все-таки не понимаю, что он делает или должен делать пратически. Типа анализирует морфологию запроса, как яндекс что-ли...

Rachtyrgin · **Ответ #87 :** Декабря 3, 2011, 19:03

Вы правы, речь идет именно о морфологии. Стемминг приходит к корню слова через отбрасывание известных программе аффиксов. Лемматизация дополнительно проверяет, имеется ли результирующее слово в словаре программы.

Karakurt · **Ответ #88 :** Декабря 3, 2011, 19:08

Я в убунте установил, но не могу найти. Как запустить?

Darkstar · **Ответ #89 :** Декабря 3, 2011, 19:09

Ужос.

Rachtyrgin · **Ответ #90 :** Декабря 3, 2011, 19:19

У меня Windows 7, питон 2.6. Здесь это выглядит так: запускаем питоновское IDLE, в IDLE набираем следующее:

>>> import nltk
>>> nltk.download()

После этого выскакивает окошко, которое показывает загрузку трех разделов: all, all-corpora, books. Минут за 15 загрузится.
Может, в убунте питон запускается как-то иначе, но суть не в этом, а в том, чтобы загрузить nltk с сайта.

Да, еще спросит, куда встать. У меня: C:\nltk_data.

Darkstar · **Ответ #91 :** Декабря 3, 2011, 19:27

Так там встроенный турецкий словарь или только анализатор морфологии?

Karakurt · **Ответ #92 :** Декабря 3, 2011, 19:33

Спасибо, получается. Какие пакеты грузить? Все это сколько трафика? Грузанул стопслова и сводеш, что дальше?

Rachtyrgin · **Ответ #93 :** Декабря 3, 2011, 19:46

Я загрузил все - 701 метр.

**Ответ #94 :** Декабря 3, 2011, 19:50

Здесь описывается процедура стандартной проверки того, как встала NLTK.

**Ответ #95 :** Декабря 3, 2011, 19:57

Цитата: Darkstar от Декабря 3, 2011, 19:27

Так там встроенный турецкий словарь или только анализатор морфологии?

Встроенного турецкого словаря там нет, а вот анализаторов морфологии там много. Там имеется список турецких стоп-слов и стоп-слов еще пары десятков языков. Стоп-слова - это служебные слова, междометия и т.п. В общем, неинформативные. Такие списки нужны для поисковых программ. Они не должны их индексировать в целях экономии времени и места. Ваш любимый яндекс, разумеется, пользуется такими списками. Ну, а еще там действительно есть Сводеш, несколько корпусов и много-много всякой вкуснятинки...

Alessandro · **Ответ #96 :** Декабря 3, 2011, 20:05

На всякий случай напишу кратко про birşey, а то как-то очень много слов написано...

bir şey (в разговорном произношении bişey)

1. что-то, что-нибудь
orda bir şey var - там что-то есть
bir şey oldu - что-то случилось
bir şey söyle - скажи что-нибудь

2. ничего, ничто
orda bir şey yok - там ничего нет
bir şey olmadı - ничего не случилось
bir şey söyleme - не говори ничего

Darkstar · **Ответ #97 :** Декабря 3, 2011, 20:11

"несколько корпусов"

Какие там корпуса? Впрочем, не говорите, наверянка какая-нибудь ерунда по распространенным языкам, надерганная из худлит.

**Ответ #98 :** Декабря 3, 2011, 20:12

"Такие списки нужны для поисковых программ."

Думаете это все созадавалось для разработки поисковиков? Я просто не понимаю, под какие задачи это все делается.

**Ответ #99 :** Декабря 3, 2011, 20:13

Алессандро, объясните лучше народу почему это слово пишется слитно. Я тоже давно заметил, но причин -- ноль.