Pages: 1 2 3 [4] 5 6 7 8 9 10 11 12 13 14 ... 88   Go Down

Author Topic: Турецкий  (Read 236902 times)

0 Members and 1 Guest are viewing this topic.

Offline Rachtyrgin

  • Posts: 1125
  • Gender: Male
Reply #75 on: December 3, 2011, 13:51
Решил создать список татарских стоп-слов в духе NLTK. За основу взял из NLTK список турецких стоп-слов. Вот он: aslında, çok, en, ve, niye, diye, nerde, az, birşey, nereye, hep, her, acaba, siz, ne, bazı, biri, daha, çünkü, hem, mı, eğer, hepsi, şey, şu, sanki, ya, tüm, de, niçin, gibi, bu, defa, biz, kez, kim, da, belki, veya, ile, nerede, ama, ki, için, o, mu,
neden, hiç, birkaç, mü, yani, ise, nasıl.
К сожалению, я не владею турецким, и у меня возникла проблема со словом birşey. Лингво такого слова не знает. Может в NLTK ошибка, и подразумевалось  bir şey? Просветите неуча, пожалуйста...
Logged
Всякому остановленному фашисту для захвата его в плен можешь еще крикнуть:
«Хэндэ хох!» (Руки вверх!)
«Вафи хинлеги!» (Бросай оружие!)
«Абгезэсен!» (Слезай! — С машины, с лошади, с повозки.)
Если фашист не сразу исполняет твое приказание, крикни грознее и добавь:
«Бай флухтфэрзух вирт гэшози!» (Побежишь — буду стрелять!)
А. Афанасьев. В помощь партизану. Москва, 1942 г.

Offline Darkstar

  • Posts: 7389
Reply #76 on: December 3, 2011, 14:22
bir şey - что-нибудь, одна вещь

Что такое NLTK?
Logged
(1) С людями надо помягше, а на вопросы смотреть поширше (с) (2) Проекция (в психологии) - неосознанное приписывание собеседнику собственных мыслей и действий (3) Учебник логики еще никто не отменял (4) Какой был тезис?

Offline Rachtyrgin

  • Posts: 1125
  • Gender: Male
Reply #77 on: December 3, 2011, 15:38
bir şey мне как раз понятно. NLTK (Natural Language Toolkit) - мощный лингвистический инструмент, написанный на питоне. Я хочу расширить его функциональность для работы с татарскими текстами.
Logged
Всякому остановленному фашисту для захвата его в плен можешь еще крикнуть:
«Хэндэ хох!» (Руки вверх!)
«Вафи хинлеги!» (Бросай оружие!)
«Абгезэсен!» (Слезай! — С машины, с лошади, с повозки.)
Если фашист не сразу исполняет твое приказание, крикни грознее и добавь:
«Бай флухтфэрзух вирт гэшози!» (Побежишь — буду стрелять!)
А. Афанасьев. В помощь партизану. Москва, 1942 г.

Offline Sagit

  • Posts: 1749
  • Gender: Male
Reply #78 on: December 3, 2011, 15:59
Quote from: Rachtyrgin on December  3, 2011, 13:51
Решил создать список татарских стоп-слов в духе NLTK. За основу взял из NLTK список турецких стоп-слов. Вот он: aslında, çok, en, ve, niye, diye, nerde, az, birşey, nereye, hep, her, acaba, siz, ne, bazı, biri, daha, çünkü, hem, mı, eğer, hepsi, şey, şu, sanki, ya, tüm, de, niçin, gibi, bu, defa, biz, kez, kim, da, belki, veya, ile, nerede, ama, ki, için, o, mu,
neden, hiç, birkaç, mü, yani, ise, nasıl.
К сожалению, я не владею турецким, и у меня возникла проблема со словом birşey. Лингво такого слова не знает. Может в NLTK ошибка, и подразумевалось  bir şey? Просветите неуча, пожалуйста...

турки могут написать и bişey
Logged

Offline Rachtyrgin

  • Posts: 1125
  • Gender: Male
Reply #79 on: December 3, 2011, 16:05
Quote from: Sagit on December  3, 2011, 15:59
турки могут написать и bişey

Допустим. И что это означает? Мне ведь надо найти татарский эквивалент. Кстати, Лингво вот мне что выдал:
на первый взгляд ничто не изменилось — ilk bakışta değişen birşey yok
Logged
Всякому остановленному фашисту для захвата его в плен можешь еще крикнуть:
«Хэндэ хох!» (Руки вверх!)
«Вафи хинлеги!» (Бросай оружие!)
«Абгезэсен!» (Слезай! — С машины, с лошади, с повозки.)
Если фашист не сразу исполняет твое приказание, крикни грознее и добавь:
«Бай флухтфэрзух вирт гэшози!» (Побежишь — буду стрелять!)
А. Афанасьев. В помощь партизану. Москва, 1942 г.

Offline Darkstar

  • Posts: 7389
Reply #80 on: December 3, 2011, 16:50
хич бир шей -- "вообще одна вещь" = ничего
хич биршей йок, хич биршей анламадым, хич биршей гёрмедим

Просто турки те слова, которые произносят разделно, пишут вместе, а те, которые произносят вместе, пишут раздельно. Русские, кстати, тоже (пример: отрицание перед глаголами, предлоги и т.д.)

" NLTK (Natural Language Toolkit) - мощный лингвистический инструмент, написанный на питоне"

А что он умеет делать?
Logged
(1) С людями надо помягше, а на вопросы смотреть поширше (с) (2) Проекция (в психологии) - неосознанное приписывание собеседнику собственных мыслей и действий (3) Учебник логики еще никто не отменял (4) Какой был тезис?

Offline Rachtyrgin

  • Posts: 1125
  • Gender: Male
Reply #81 on: December 3, 2011, 17:05
Quote from: Darkstar on December  3, 2011, 16:50
А что он умеет делать?

Вкратце - вот здесь: (wiki/ru) Natural_Language_Toolkit
Если всю функциональность описывать, дня не хватит. В принципе, я бы мог, конечно, но тогда надо отдельную тему заводить... Вам спасибо за разъяснения. Буду ориентироваться на то, что birşey - это "ничто".
Logged
Всякому остановленному фашисту для захвата его в плен можешь еще крикнуть:
«Хэндэ хох!» (Руки вверх!)
«Вафи хинлеги!» (Бросай оружие!)
«Абгезэсен!» (Слезай! — С машины, с лошади, с повозки.)
Если фашист не сразу исполняет твое приказание, крикни грознее и добавь:
«Бай флухтфэрзух вирт гэшози!» (Побежишь — буду стрелять!)
А. Афанасьев. В помощь партизану. Москва, 1942 г.
Reply #82 on: December 3, 2011, 17:18
Нашел сайтик, где имеется удобная демонстрация некоторых базовых функций NLTK: http://text-processing.com/
Logged
Всякому остановленному фашисту для захвата его в плен можешь еще крикнуть:
«Хэндэ хох!» (Руки вверх!)
«Вафи хинлеги!» (Бросай оружие!)
«Абгезэсен!» (Слезай! — С машины, с лошади, с повозки.)
Если фашист не сразу исполняет твое приказание, крикни грознее и добавь:
«Бай флухтфэрзух вирт гэшози!» (Побежишь — буду стрелять!)
А. Афанасьев. В помощь партизану. Москва, 1942 г.

Offline Darkstar

  • Posts: 7389
Reply #83 on: December 3, 2011, 17:25
Вики статью я уже успел прочитать, мне это почти ничего не говорит. Просто что вы собирались делать со всеми этим...
Logged
(1) С людями надо помягше, а на вопросы смотреть поширше (с) (2) Проекция (в психологии) - неосознанное приписывание собеседнику собственных мыслей и действий (3) Учебник логики еще никто не отменял (4) Какой был тезис?
Reply #84 on: December 3, 2011, 17:33
бир-шей - это "что-то, что-нибудь", но часто употребляется с отрицанием как англ. anything. А что в татарском нет такого?

биршей вар (что-то есть)
биршей япмак истиорум (хочу что-то сделать)

Пишется в инете по-разному на самом деле и слитно и раздельно, но чаще слитно.
Logged
(1) С людями надо помягше, а на вопросы смотреть поширше (с) (2) Проекция (в психологии) - неосознанное приписывание собеседнику собственных мыслей и действий (3) Учебник логики еще никто не отменял (4) Какой был тезис?

Offline Rachtyrgin

  • Posts: 1125
  • Gender: Male
Reply #85 on: December 3, 2011, 18:42
Ну, у меня такое хобби - пишу на яве татарско-русский, русско-татарский словарь. Но просто словарь - это не очень интересно. Хочется прикрутить к нему дополнительную функциональность. Типа конкорданса, коллокации, стемминга, лемматизации и прочего в таком же духе. Сделать его исследовательским инструментом для татарского языка. Вот и приглядываюсь к NLTK, где все это уже реализовано. Правда, не для татарского. Единственный тюркский в NLTK - это турецкий.

По-татарски берәр нәрсә что-нибудь, бернәрсә ничто, ничего. Так что конструкция сходная.
Logged
Всякому остановленному фашисту для захвата его в плен можешь еще крикнуть:
«Хэндэ хох!» (Руки вверх!)
«Вафи хинлеги!» (Бросай оружие!)
«Абгезэсен!» (Слезай! — С машины, с лошади, с повозки.)
Если фашист не сразу исполняет твое приказание, крикни грознее и добавь:
«Бай флухтфэрзух вирт гэшози!» (Побежишь — буду стрелять!)
А. Афанасьев. В помощь партизану. Москва, 1942 г.

Offline Darkstar

  • Posts: 7389
Reply #86 on: December 3, 2011, 18:50
"Типа конкорданса, коллокации, стемминга, лемматизации"

Что такое лемматизация?

"Вот и приглядываюсь к NLTK, где все это уже реализовано"

Я все-таки не понимаю, что он делает или должен делать пратически. Типа анализирует морфологию запроса, как яндекс что-ли...
Logged
(1) С людями надо помягше, а на вопросы смотреть поширше (с) (2) Проекция (в психологии) - неосознанное приписывание собеседнику собственных мыслей и действий (3) Учебник логики еще никто не отменял (4) Какой был тезис?

Offline Rachtyrgin

  • Posts: 1125
  • Gender: Male
Reply #87 on: December 3, 2011, 19:03
Вы правы, речь идет именно о морфологии. Стемминг приходит к корню слова через отбрасывание известных программе аффиксов. Лемматизация дополнительно проверяет, имеется ли результирующее слово в словаре программы.
Logged
Всякому остановленному фашисту для захвата его в плен можешь еще крикнуть:
«Хэндэ хох!» (Руки вверх!)
«Вафи хинлеги!» (Бросай оружие!)
«Абгезэсен!» (Слезай! — С машины, с лошади, с повозки.)
Если фашист не сразу исполняет твое приказание, крикни грознее и добавь:
«Бай флухтфэрзух вирт гэшози!» (Побежишь — буду стрелять!)
А. Афанасьев. В помощь партизану. Москва, 1942 г.

Offline Karakurt

  • Posts: 21902
  • Gender: Male
Reply #88 on: December 3, 2011, 19:08
Я в убунте установил, но не могу найти. Как запустить?
Logged
͡° ͜つ ͡°

Offline Darkstar

  • Posts: 7389
Reply #89 on: December 3, 2011, 19:09
Ужос.
Logged
(1) С людями надо помягше, а на вопросы смотреть поширше (с) (2) Проекция (в психологии) - неосознанное приписывание собеседнику собственных мыслей и действий (3) Учебник логики еще никто не отменял (4) Какой был тезис?

Offline Rachtyrgin

  • Posts: 1125
  • Gender: Male
Reply #90 on: December 3, 2011, 19:19
У меня Windows 7, питон 2.6. Здесь это выглядит так: запускаем питоновское IDLE, в IDLE набираем следующее:

>>> import nltk
>>> nltk.download()

После этого выскакивает окошко, которое показывает загрузку трех разделов: all, all-corpora, books. Минут за 15 загрузится.
Может, в убунте питон запускается как-то иначе, но суть не в этом, а в том, чтобы загрузить nltk с сайта.

Да, еще спросит, куда встать. У меня: C:\nltk_data.
Logged
Всякому остановленному фашисту для захвата его в плен можешь еще крикнуть:
«Хэндэ хох!» (Руки вверх!)
«Вафи хинлеги!» (Бросай оружие!)
«Абгезэсен!» (Слезай! — С машины, с лошади, с повозки.)
Если фашист не сразу исполняет твое приказание, крикни грознее и добавь:
«Бай флухтфэрзух вирт гэшози!» (Побежишь — буду стрелять!)
А. Афанасьев. В помощь партизану. Москва, 1942 г.

Offline Darkstar

  • Posts: 7389
Reply #91 on: December 3, 2011, 19:27
Так там встроенный турецкий словарь или только анализатор морфологии?
Logged
(1) С людями надо помягше, а на вопросы смотреть поширше (с) (2) Проекция (в психологии) - неосознанное приписывание собеседнику собственных мыслей и действий (3) Учебник логики еще никто не отменял (4) Какой был тезис?

Offline Karakurt

  • Posts: 21902
  • Gender: Male
Reply #92 on: December 3, 2011, 19:33
Спасибо, получается. Какие пакеты грузить? Все это сколько трафика? Грузанул стопслова и сводеш, что дальше?
Logged
͡° ͜つ ͡°

Offline Rachtyrgin

  • Posts: 1125
  • Gender: Male
Reply #93 on: December 3, 2011, 19:46
Я загрузил все - 701 метр.
Logged
Всякому остановленному фашисту для захвата его в плен можешь еще крикнуть:
«Хэндэ хох!» (Руки вверх!)
«Вафи хинлеги!» (Бросай оружие!)
«Абгезэсен!» (Слезай! — С машины, с лошади, с повозки.)
Если фашист не сразу исполняет твое приказание, крикни грознее и добавь:
«Бай флухтфэрзух вирт гэшози!» (Побежишь — буду стрелять!)
А. Афанасьев. В помощь партизану. Москва, 1942 г.
Reply #94 on: December 3, 2011, 19:50
Здесь описывается процедура стандартной проверки того, как встала NLTK.
Logged
Всякому остановленному фашисту для захвата его в плен можешь еще крикнуть:
«Хэндэ хох!» (Руки вверх!)
«Вафи хинлеги!» (Бросай оружие!)
«Абгезэсен!» (Слезай! — С машины, с лошади, с повозки.)
Если фашист не сразу исполняет твое приказание, крикни грознее и добавь:
«Бай флухтфэрзух вирт гэшози!» (Побежишь — буду стрелять!)
А. Афанасьев. В помощь партизану. Москва, 1942 г.
Reply #95 on: December 3, 2011, 19:57
Quote from: Darkstar on December  3, 2011, 19:27
Так там встроенный турецкий словарь или только анализатор морфологии?
Встроенного турецкого словаря там нет, а вот анализаторов морфологии там много. Там имеется список турецких стоп-слов и стоп-слов еще пары десятков языков. Стоп-слова - это служебные слова, междометия и т.п. В общем, неинформативные. Такие списки нужны для поисковых программ. Они не должны их индексировать в целях экономии времени и места. Ваш любимый яндекс, разумеется, пользуется такими списками. Ну, а еще там действительно есть Сводеш, несколько корпусов и много-много всякой вкуснятинки...
Logged
Всякому остановленному фашисту для захвата его в плен можешь еще крикнуть:
«Хэндэ хох!» (Руки вверх!)
«Вафи хинлеги!» (Бросай оружие!)
«Абгезэсен!» (Слезай! — С машины, с лошади, с повозки.)
Если фашист не сразу исполняет твое приказание, крикни грознее и добавь:
«Бай флухтфэрзух вирт гэшози!» (Побежишь — буду стрелять!)
А. Афанасьев. В помощь партизану. Москва, 1942 г.

Offline Alessandro

  • Posts: 2832
  • Gender: Male
    • Alem-i Medeniye
Reply #96 on: December 3, 2011, 20:05
На всякий случай напишу кратко про birşey, а то как-то очень много слов написано...

bir şey (в разговорном произношении bişey)

1. что-то, что-нибудь
orda bir şey var - там что-то есть
bir şey oldu - что-то случилось
bir şey söyle - скажи что-нибудь

2. ничего, ничто
orda bir şey yok - там ничего нет
bir şey olmadı - ничего не случилось
bir şey söyleme - не говори ничего
Logged
Спасибо, что дочитали.

Offline Darkstar

  • Posts: 7389
Reply #97 on: December 3, 2011, 20:11
"несколько корпусов"

Какие там корпуса? Впрочем, не говорите, наверянка какая-нибудь ерунда по распространенным языкам, надерганная из худлит.
Logged
(1) С людями надо помягше, а на вопросы смотреть поширше (с) (2) Проекция (в психологии) - неосознанное приписывание собеседнику собственных мыслей и действий (3) Учебник логики еще никто не отменял (4) Какой был тезис?
Reply #98 on: December 3, 2011, 20:12
"Такие списки нужны для поисковых программ."

Думаете это все созадавалось для разработки поисковиков? Я просто не понимаю, под какие задачи это все делается.
Logged
(1) С людями надо помягше, а на вопросы смотреть поширше (с) (2) Проекция (в психологии) - неосознанное приписывание собеседнику собственных мыслей и действий (3) Учебник логики еще никто не отменял (4) Какой был тезис?
Reply #99 on: December 3, 2011, 20:13
Алессандро, объясните лучше народу почему это слово пишется слитно. Я тоже давно заметил, но причин -- ноль.
Logged
(1) С людями надо помягше, а на вопросы смотреть поширше (с) (2) Проекция (в психологии) - неосознанное приписывание собеседнику собственных мыслей и действий (3) Учебник логики еще никто не отменял (4) Какой был тезис?
Pages: 1 2 3 [4] 5 6 7 8 9 10 11 12 13 14 ... 88   Go Up
 

+ Quick Reply

With Quick-Reply you can write a post when viewing a topic without loading a new page. You can still use bulletin board code and smileys as you would in a normal post.

Note: this post will not display until it's been approved by a moderator.
Name: Email:
Verification:
√49 Напишите ответ строчными буквами:
«Сто одёжек, все без застёжек» — что это?: