Лингвофорум

Цитата: Morugesso от декабря  1, 2013, 12:40
так как хотелось бы чтобы поиск производился по корню слова, однако, как видно, таких программ еще не придумали.

Для этого существуют лемматизаторы.

Автор, если еще актуально  , есть программа которой сама пользуюсь - SimWordSorter, она вытаскивает из текста частоту используемых слов, делает отчет по ним,  правда она меня полностью не удовлетворяет, так как хотелось бы чтобы поиск производился по корню слова, однако, как видно, таких программ еще не придумали. Но в принципе, это решаемо посредством автосортировки отчетных данных в экселе. Есть еще программа для писателей ywriter5 - там тоже есть функция подсчета повторяемости слов

Text::Statistics::Cyrillic creates a seven column CSV file output with one line each token per text given as input a corpus that files names follows ' 1 (1). txt', '1 (2). txt', ..., '1 (n).txt' or 1 \(([1-9]|[1-9][0-9]+)\)\.txt Columns stores statistical information: (1) number of word forms in document d; (2) number of tokens in d; (3) Id number of d, ie., n; (4) frequency of term t in d; (5) corpus frequency of t ; (6) document frequency of t (number of documents where t occurs at least once); (7) t, UTF8 latin coded token-string

https://metacpan.org/module/Text::Statistics::Cyrillic

yatea - Perl script for extracting terms from a corpus of texts and providing a syntactic analysis in a head-modifier representation.

https://metacpan.org/module/THHAMON/Lingua-YaTeA-0.622/bin/yatea

Цитата: arseniiv от октября  6, 2013, 19:06
Это работает, по крайней мере, быстрее, чем циклы по массивам.

Вот в частности за это я не люблю джаваскрипт. Всё-таки нормальные массивы должны быть. И если бы они были, перебор сравнительно короткого массива на равенство строк имел бы шансы быть не медленнее, чем поиск по ключу. А так, когда даже доступ к каждому элементу массива работает через тот же поиск по ключу - конечно, перебор массива будет медленнее, чем один поиск по ключу.
С одной стороны, такое вот единообразие всех объектов - оно вроде и красиво (и за это мне джаваскрипт нравится), но вот даже не портя этого, можно было бы организовать правильный быстрый доступ по целочисленным ключам без какого-либо поиска - тогда существенных потерь времени на это не было бы. Даже если в 3 раза медленнее поиска по ключу - но всё-таки не в 100 раз медленнее.
Конечно, если бы у меня была привычка в джаваскрипте работать с объектами как с перловскими хешами/словарями и воспринимать их в первую очередь именно как словари, я бы, вполне возможно, так и сделал. Но такой привычки, по крайней мере, в то время, когда был написан этот скрипт (а это было примерно время моего первого появления на ЛФ), у меня не было.

Цитата: Toman от октября  6, 2013, 19:08Вообще, НЯП, в джаваскрипте каких-то отдельных массивов нет, они такие же "объекты", как и прочие.

Не совсем такие же.
Конструктор Array() что-то там переопределяет, ту же toString(), к примеру.

Цитата: Toman от октября  6, 2013, 19:08По вашей же ссылке прямым текстом написано, что сработает.

А, это я не так выразился. Не сработает поиск значения как ключа, бо ключ там как раз число.

Цитата: Bhudh от октября  6, 2013, 19:00
Для массива оператор in не сработает.

По вашей же ссылке прямым текстом написано, что сработает. Вообще, НЯП, в джаваскрипте каких-то отдельных массивов нет, они такие же "объекты", как и прочие. Просто в качестве ключей при создании используются целые числа.

Ладно, другое.

function makePredicate(list) {
  var d = {};
  var len = list.length;
  for (i = 0; i < len; i++)
    d[list] = true;
  function predicate(elem) {
    return d[elem];
  }
  return predicate;
}

Использование:

var isCapital = makePredicate("ABCDEFG...")
// ...
... isCapital(c) ...

Это работает, по крайней мере, быстрее, чем циклы по массивам.

Цитата: Toman от октября  6, 2013, 18:38Индекс_элемента in массив.

Ключ_элемента in объект. Для массива оператор in не сработает.