Лингвофорум

Цитата: Andrey Lukyanov от августа 14, 2024, 21:43Составляем частотный словарь, а далее проверяем, сколько %% текста покрывает 1-е самое частотное слово, потом 1-е + 2-е и так далее — пока не дойдём до нужных 35%.

Тут ещё некоторый вопрос по самому условию задачи. Что такое вообще для автора процент покрытия, это процент от чего, в чём измеряется величина текста? В словах (тогда да, можно использовать обычный частотный словарь) или в символах (тогда надо не обычный частотный словарь, а отсортированный по частоте, умноженной на длину слова, т.е. по величине покрытия в символах)?

Преобразование между совершенным и несовершенным глаголом возможно более чем одним способом, поэтому обычно их рассматривают как отдельные глаголы (хотя могут объединять близкие по смыслу родственные совершенные и несовершенные глаголы в одну словарную статью).

Цитата: Bhudh от августа 19, 2024, 16:58

Цитата: Basil2 от августа 19, 2024, 03:40Пример: как узнать, что "проводил" и "провел" - одно и то же слово в разных формах?

Особенно если считается, что это 2 разных слова: форма от проводить и форма от провести.
Потому, что от «проводить до дома» (сов.) несовершенная форма — «провожать до дома», а от глагола «провести» ≈ «обмануть» несовершенной формы не существует.

Проводил реформы - провел реформы.

А вопрос о том, два ли это слова или одно и тоже упрется в определние, что такое слово. 

Цитата: Basil2 от августа 19, 2024, 03:40Пример: как узнать, что "проводил" и "провел" - одно и то же слово в разных формах?

Особенно если считается, что это 2 разных слова: форма от проводить и форма от провести.
Потому, что от «проводить до дома» (сов.) несовершенная форма — «провожать до дома», а от глагола «провести» ≈ «обмануть» несовершенной формы не существует.

@Basil2  Вопрос по словоформам и у меня самого недавно возникал — не в контексте данной задачи, а с более практической целью: восстановить базовые формы слов в тексте, чтобы можно было найти их в словаре. Берем слово из текста и применяем к нему все возможные шаблоны преобразования в базовую форму, в которые оно вписывается. В результате получится несколько слов в базовой форме, необязательно существующих (напр., из слова Київ в украинском можно получить настоящее существительное «кий» (которое в родительном падеже множественного числа выглядит как «київ»), но также и несуществующий глагол «киїти» (в мужском роде прошедшего времени тоже выглядящий как «київ»), и т.д., и т.п., а также само проверяемое слово, которое может быть базовой формой себя). Дальше остается проверить по словарю, существуют такие базовые формы или нет. Если найдено более одной базовой формы, угадать нужную можно только из контекста.

Понятно, что определения слова тут еще не было, тем не менее.

Поскольку я подобную задачку решал когда-то лет 30 назад, хочется у знать у знатоков, как они будут поступать словоформами в языках с богатой морфологией, например, в русском?

Пример: как узнать, что "проводил" и "провел" - одно и то же слово в разных формах?     

Боюсь, парой лямбд не обойтись. 

Эти 0.35 тоже надо каким-то образом взять, ни set, ни list за Вас этого не сделает.

Зачем там лямбды? [*set(text.split())] плюс, возможно, предварительно заменить пунктуацию пробелами и взять только 0.35 от общей длины текста с выравниванием к ближайшему пробелу. Впрочем, это не алгоритм — алгоритмическая часть под капотом.

Ну тогда и алгоритм понятен. Он на Python вообще, считай, в одну строчку пишется с двумя лямбдами.

@Andrey Lukyanov
 Верно 
 

Цитата: Bhudh от августа 14, 2024, 22:27Вот я и спрашиваю, какой у Вас текст:

Тогда известны