Лингвофорум

Что-нибудь вроде этого онлайнового агрегата:
http://www.docent777.ru/index/podschjot_slov_v_tekste/0-33 (http://www.docent777.ru/index/podschjot_slov_v_tekste/0-33)

Оный не устраивает меня неприятием слов с нерусскими буквами типа ө, ү. И еще тем, что онлайновый, - боюсь, текст целой книги на 1000 страниц в него запихнуть не получится.

Так что какую-нибудь программку бы, озволяющую пересчитывать огромные объемы в уникодовской кодировке. Найдется такая?

Думаю, для ваших целей лучше всего будет написать её самостоятельно. Так надёжнее будет - не придётся задумываться о том, какие буквы она понимает, а какие нет. Разумеется, для каждого текста надо будет конкретно указывать, какой набор символов считать за буквы, что - за пробельные символы и знаки препинания. Опять же, правила для дефиса и тире, если они в тексте идут или могут идти одним символом. А в чужой программе чего-то наверняка всегда будет не предусмотрено.

Цитата: Toman от октября  6, 2013, 14:05
Думаю, для ваших целей лучше всего будет написать её самостоятельно. Так надёжнее будет - не придётся задумываться о том, какие буквы она понимает, а какие нет. Разумеется, для каждого текста надо будет конкретно указывать, какой набор символов считать за буквы, что - за пробельные символы и знаки препинания. Опять же, правила для дефиса и тире, если они в тексте идут или могут идти одним символом. А в чужой программе чего-то наверняка всегда будет не предусмотрено.

Не хочется заморачиваться с изобретением велосипеда, который наверняка уже в десятках вариантах готовый существует. Тем более, я не программировал уже лет 15, и навыки программирования у меня соответствующие. Программы под Windows делать не умею, поэтому получится у меня работающий под DOSом динозавр, который будет принимать только файлы в формате txt. Так что готовая программа, даже если в ней что-то будет непредусмотрено, наверняка окажется лучше. С дефисами и прочими спорными символами, если понадобится, всегда можно разделаться, поменяв их автозаменой на какую-нибудь кракозябру, которая будет распознаваться так, как нужно.

вот хорошая
www.textcount.com

Цитата: Leo от октября  6, 2013, 14:46
вот хорошая
www.textcount.com

Спасибо! Жаль только, что бесплатная версия тексты длиннее 5000 знаков не принимает.

Цитата: Devorator linguarum от октября  6, 2013, 14:39Программы под Windows делать не умею, поэтому получится у меня работающий под DOSом динозавр, который будет принимать только файлы в формате txt.

Тут, имхо, достаточно скрипта, который будет запускаться в окне браузера.
Функция split() в javascript принимает регэкспы в роли разделителя, так что проблем быть не должно.

В Microsoft Word встроена статистика для открытого документа.

погрешность подсчёта вордом доходит до 20 %

Вордовская статистика мне не подойдет. Нужно не вручную узнавать статистику для каждого отдельного слова, а получать сразу готовый список всех графических слов с указанием количества употреблений.

Цитата: Devorator linguarum от октября  6, 2013, 15:22
Вордовская статистика мне не подойдет. Нужно не вручную узнавать статистику для каждого отдельного слова, а получать сразу готовый список всех графических слов с указанием количества употреблений.

Может вам тогда традос попробовать ?

Цитата: Devorator linguarum от октября  6, 2013, 14:39
Программы под Windows делать не умею

Цитата: Devorator linguarum от октября  6, 2013, 14:39
поэтому получится у меня работающий под DOSом динозавр

И не надо, ни то, ни другое. Пишите не привязанные к конкретной ОС. Я тоже не умею писать под винду, и не писал под неё, когда под ней работал. Тем не менее, программы для работы с текстами писал и тогда, и, при случае, сейчас. На Перле, хоть и не люблю этот язык - но такие вот нехитрые процедуры с текстом на нём писать быстрее, чем на других языках, кажется. Перл медленный - но для задачи вроде вашей - линейной по длине текста, решаемой за один проход - это не играет существенной роли, если вы не собираетесь прогонять за раз сумасшедшие гигабайты текста.

Цитата: Devorator linguarum от октября  6, 2013, 14:39
который будет принимать только файлы в формате txt

А вот тут вам вряд ли кто поможет. Всякая нормальная программа подсчёта слов будет принимать входной поток только в текстовом формате. Что ж вы ещё хотели? Задача преобразования из чего-то другого в чистый текст - отдельная задача, которую не имеет смысла смешивать с подсчётом. И для этого преобразования существуют отдельные программы, их тьмы.

Цитата: Devorator linguarum от октября  6, 2013, 14:39
С дефисами и прочими спорными символами, если понадобится, всегда можно разделаться, поменяв их автозаменой на какую-нибудь кракозябру

Конкретно дефис/тире можно заменить на пустую строку (т.е. удалить), т.к. это сольёт слова с дефисом в слитные, а в случае тире между словами останутся пробелы, которые не изменят результат подсчёта слов.
Но... хм, так вы и "нерусские буквы", про которые упоминали в начале темы, тоже можете заменить автозаменой на что-нибудь (например, сочетание из русских букв). Тем более, что для подсчёта слов вам не требуется обратимость этого преобразования - так что можно заменять на любое буквосочетание, лишь бы оно оставалось слитным.

Цитата: Leo от октября  6, 2013, 15:23

Цитата: Devorator linguarum от октября  6, 2013, 15:22
Вордовская статистика мне не подойдет. Нужно не вручную узнавать статистику для каждого отдельного слова, а получать сразу готовый список всех графических слов с указанием количества употреблений.

Может вам тогда традос попробовать ?

А что такое традос?

Цитата: Bhudh от октября  6, 2013, 15:09
Тут, имхо, достаточно скрипта, который будет запускаться в окне браузера.
Функция split() в javascript принимает регэкспы в роли разделителя, так что проблем быть не должно.

Это было бы неплохо, и на джаваскрипте писать не менее легко и приятно, чем на перле (если специально не забуриваться в нечитаемый синтаксис). Но, увы, выполнение джаваскрипта в браузере настолько медленно, что не сравнить даже с интерпретатором перла. У меня есть транслитератор на JS, так на любом сколько-нибудь объёмном тексте браузер виснет, и многократно, останавливая выполнение скрипта, спрашивает, хочу ли я продолжить исполнение. То же самое будет и с подсчётом слов. Слишком муторно для пользователя, да и реально дико медленно.

Цитата: Devorator linguarum от октября  6, 2013, 15:24

Цитата: Leo от октября  6, 2013, 15:23

Цитата: Devorator linguarum от октября  6, 2013, 15:22
Вордовская статистика мне не подойдет. Нужно не вручную узнавать статистику для каждого отдельного слова, а получать сразу готовый список всех графических слов с указанием количества употреблений.

Может вам тогда традос попробовать ?

А что такое традос?

Есть такая http://www.sdl.com/de/products/sdl-trados-studio/
она очень многофункциональная  (я правда не работал с ней с 2009 года и подзабыл), там есть и бесплатные версии и много вариантов и наворотов. там должно быть и точно вам надо, ибо она подсчитывает fuzzy matches (не помню, как по-русски)

cat tekst.txt | perl kolichestvo_slov.pl

kolichestvo_slov.pl

#!/usr/bin/perl
#cat tekst.txt | perl kolichestvo_slov.pl
#
binmode STDIN, ":utf8";
binmode STDOUT, ":utf8";
binmode(STDERR,":utf8");
use utf8;
use strict;
my $kolichestvo_slov;
my $bukvy = "[йцукенгшщзхъфывапролджэячсмитьбюЙЦУКЕНГШЩЗХЪФЫВАПРОЛДЖЭЯЧСМИТЬБЮ-]";

while (<>) {

while ($_ =~ /$bukvy+/g) { $kolichestvo_slov++ }

if ($kolichestvo_slov =~ m/0000$/){
print STDERR "\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b $kolichestvo_slov";
}

}

print "\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b\b Итого: $kolichestvo_slov слов.\n";


Цитата: Toman от октября  6, 2013, 15:23

Цитата: Devorator linguarum от октября  6, 2013, 14:39
Программы под Windows делать не умею

Цитата: Devorator linguarum от октября  6, 2013, 14:39
поэтому получится у меня работающий под DOSом динозавр

И не надо, ни то, ни другое. Пишите не привязанные к конкретной ОС. Я тоже не умею писать под винду, и не писал под неё, когда под ней работал. Тем не менее, программы для работы с текстами писал и тогда, и, при случае, сейчас. На Перле, хоть и не люблю этот язык - но такие вот нехитрые процедуры с текстом на нём писать быстрее, чем на других языках, кажется. Перл медленный - но для задачи вроде вашей - линейной по длине текста, решаемой за один проход - это не играет существенной роли, если вы не собираетесь прогонять за раз сумасшедшие гигабайты текста.

Цитата: Devorator linguarum от октября  6, 2013, 14:39
который будет принимать только файлы в формате txt

А вот тут вам вряд ли кто поможет. Всякая нормальная программа подсчёта слов будет принимать входной поток только в текстовом формате. Что ж вы ещё хотели? Задача преобразования из чего-то другого в чистый текст - отдельная задача, которую не имеет смысла смешивать с подсчётом. И для этого преобразования существуют отдельные программы, их тьмы.

Цитата: Devorator linguarum от октября  6, 2013, 14:39
С дефисами и прочими спорными символами, если понадобится, всегда можно разделаться, поменяв их автозаменой на какую-нибудь кракозябру

Конкретно дефис/тире можно заменить на пустую строку (т.е. удалить), т.к. это сольёт слова с дефисом в слитные, а в случае тире между словами останутся пробелы, которые не изменят результат подсчёта слов.
Но... хм, так вы и "нерусские буквы", про которые упоминали в начале темы, тоже можете заменить автозаменой на что-нибудь (например, сочетание из русских букв). Тем более, что для подсчёта слов вам не требуется обратимость этого преобразования - так что можно заменять на любое буквосочетание, лишь бы оно оставалось слитным.

В общем, такой путь решения я в качестве запасного уже обдумывал. Назаменять нерусские буквы на диграфы, нарезать большие объемы текста на куски приемлемой длимны и прогнать хоть через тот онлайновый счетчик, ссылку на который я в первом посте давал.

Или написать-таки в паскале или бейсике безвиндоузного динозара и загонять в него тексты, предварительно пересохраненные в txt хоть через ворд.

С Перлом никогда не работал, поэтому использование его исключается. Осваивать новый язык программирования ради написания одной маленькой программы смысла нет.

А, чёрт, кажется, я неправильно понял задачу. Т.е. вам нужен не подсчёт слов (неважно каких), а подсчёт числа конкретных графических словоформ? Но с критерием границы слова, соответствующим письменности языка. Тогда джаваскрипт точно отпадает напрочь, т.к. эта задача уже значительно тяжелее вычислительно, и браузер на ней просто вообще убьётся.
А Перл как раз подойдёт, наверное - я сам делал на нём такую программу (но только без критерия границы слова - она составляла словарь встречаемости тупо из подстрок определённой длины, а не из слов в буквальном смысле). Но принципиальной разницы нет, с точки зрения сложности. Перл справится.

Цитата: Devorator linguarum от октября  6, 2013, 15:32
С Перлом никогда не работал, поэтому использование его исключается. Осваивать новый язык программирования ради написания одной маленькой программы смысла нет.

Цитата: Toman от октября  6, 2013, 15:34Но с критерием границы слова, соответствующим письменности языка.

Освойте программу приведенную выше, и замените набор букв на тот который вам нужен в строке:

my $bukvy = "[йцукенгшщзхъфывапролджэячсмитьбюЙЦУКЕНГШЩЗХЪФЫВАПРОЛДЖЭЯЧСМИТЬБЮ-]";

Границы как раз и будут все те знаки которые не буквы. В примере в конце указан дефис, можно убрать его, но в данной строке он обязательно должен стоять в конце после остальных букв если нужен.

Цитата: Toman от октября  6, 2013, 15:34
А, чёрт, кажется, я неправильно понял задачу. Т.е. вам нужен не подсчёт слов (неважно каких), а подсчёт числа конкретных графических словоформ? Но с критерием границы слова, соответствующим письменности языка.

Да зачем такие сложности с границей слова? Критерии стандартные: пробел, конец строки, знаки препинания, кавычки. Алфавиты - только кириллица и латиница с дополнительными диакритизированными буквами. Деванагари или японскую кану обрабатывать не планируется.

Цитата: Devorator linguarum от октября  6, 2013, 15:32
Или написать-таки в паскале или бейсике безвиндоузного динозара

А, ну в этом смысле на перле будет такой же "безвиндоузный". Т.е. консольная программа, вызываемая из командной строки (или пакетного файла/шелл-скрипта).

Цитата: Devorator linguarum от октября  6, 2013, 15:32
предварительно пересохраненные в txt хоть через ворд

Предварительно пересохранять в текст в любом случае придётся, другого разумного пути.

Цитата: Devorator linguarum от октября  6, 2013, 15:32
С Перлом никогда не работал, поэтому использование его исключается. Осваивать новый язык программирования ради написания одной маленькой программы смысла нет.

Почему же только одной? Вполне вероятно, пригодится ещё неоднократно. И я же не предлагаю осваивать его полностью (чего я и сам ни за что не подумаю делать: с точки зрения полного освоения Перл - пожалуй, один из самых сложных языков среди практически применяемых, м.б. даже вообще самый сложный - хотя м.б. с ним в сложности соперничает Вижуал Бейсик, но его я совершенно не знаю), я предлагаю воспользоваться лишь его простейшими средствами, в рамках которых его синтаксис более-менее нормальный, не слишком шокирующий. Хотя... хотя да, это он для "сишников" более-менее привычный, а вы-то, получается, скорее "паскальщик"...

В общем, чтобы было понятнее, конкретный пример: нужно посчитать количество употреблений всех разных графических слов в "Войне и мире" на калмыцком языке. Или на чукотском. Морфологию учитывать не нужно, так что нүдн и нүднд будут считаться за разные слова.

Цитата: Toman от октября  6, 2013, 15:44
Хотя... хотя да, это он для "сишников" более-менее привычный, а вы-то, получается, скорее "паскальщик"...

Я вообще "бейсикщик". В паскале тоже приходилось работать, так что с ним справлюсь, но это уже не от хорошей жизни, а если в бейсике средств не хватает.

Цитата: Devorator linguarum от октября  6, 2013, 15:48
В общем, чтобы было понятнее, конкретный пример: нужно посчитать количество употреблений всех разных графических слов в "Войне и мире" на калмыцком языке. Или на чукотском. Морфологию учитывать не нужно, так что нүдн и нүднд будут считаться за разные слова.

Подсчитывать символы или слова? Вообще количество слов или сколько раз каждое слово присутствует в тексте? Все это разные задачи. Определитесь.

Цитата: Toman от октября  6, 2013, 15:28У меня есть транслитератор на JS, так на любом сколько-нибудь объёмном тексте браузер виснет

:o
Простите, а что для Вас "объёмный текст"⁈
Мой транслитератор древнегреческого в латиницу (причём не с одним прогоном) Илиаду+Одиссею только что транслитерировал за 4,5 секунды.

Цитата: Славен от октября  6, 2013, 15:55Вообще количество слов или сколько раз каждое слово присутствует в тексте?

Цитата: Devorator linguarum от октября  6, 2013, 15:22получать сразу готовый список всех графических слов с указанием количества употреблений

Цитата: Славен от октября  6, 2013, 15:36
Освойте программу приведенную выше, и замените набор букв на тот который вам нужен

Ваша программа считает слова общей кучей, т.е. выдаёт результат в виде одного числа. А насколько я понял из одной фразы топикстартера, на выходе нужен вовсе даже словарь встречаемости с числом вхождений каждой найденной в тексте словоформы. Так что такая простая программа всё же не годится. А как раз для словарей в Перле есть удобное синтаксическое средство - "хеши" - так там называются собственно словари.

Цитата: Devorator linguarum от октября  6, 2013, 15:43
Да зачем такие сложности с границей слова? Критерии стандартные: пробел, конец строки, знаки препинания, кавычки.

Никаких сложностей - я именно это и имел в виду. Я просто к тому, что в существующем виде моя программа и эти критерии игнорирует, а вместо этого берёт подстроки заданной заранее длины, поэтому прямо в этом виде она вам не подойдёт.

Но если интересно, можете посмотреть её, она тоже маленькая (а могла бы быть ещё меньше, если бы не подразумевала каких-то дальнейших планов, суть которых я уже не помню, но уши которых торчат в закомментированном фрагменте):


#!/usr/bin/perl

$max_word_size=4;

while(<STDIN>){
$text.=$_;
}

$len=length($text);

for($s=1;$s<=$max_word_size;++$s){
for($i=0;$i<=($len-$s);++$i){
$subs=substr($text,$i,$s);
# $parent_subs=substr($subs,0,$s-1);
# if($parent_subs eq ''){
# $parent_subs="\'";
# }
# $wl{$parent_subs}.="\t$subs";
++$wc{$subs};
}
}

@hkeys=keys %wc;
@standart_sorted_keys= sort @hkeys;

foreach $k (@standart_sorted_keys){
(length($k)==$max_word_size) && (print $k."\t".$wc{$k}."\n");
}


Цитата: Bhudh от октября  6, 2013, 16:02
Простите, а что для Вас "объёмный текст"⁈

Да хотя бы даже одна страница текста.

Цитата: Bhudh от октября  6, 2013, 16:02
Мой транслитератор древнегреческого в латиницу (причём не с одним прогоном) Илиаду+Одиссею только что транслитерировал за 4,5 секунды.

Браузерный, на джаваскрипте? Ну, значит, это я так криво написал, наверное. Или правила транслитерации алгоритмически слишком сложны оказались.

Цитата: Toman от октября  6, 2013, 16:28Браузерный, на джаваскрипте?

Браузерный, на джаваскрипте, не шибко-то оптимизированный.

Цитата: Bhudh от октября  6, 2013, 16:34
Браузерный, на джаваскрипте, не шибко-то оптимизированный.

Ой, какой малюсенький, на регекспах-то! Свой я тоже хотел в сообщение запихать - да не смог, ограничение размера сообщения не позволяет.
Могу вставить, для примера, только часть - только из латиницы в кириллицу. Регекспами воспользоваться, конечно, можно было бы. Но не знаю, удобно ли.

(http://www.kolobok.us/smiles/madhouse/russian_roulette.gif)

Думаете, был существенно более простой вариант реализовать ту же функциональность?

Цитата: Toman от октября  6, 2013, 17:40Думаете, был существенно более простой вариант реализовать ту же функциональность?

1) В моём коде ровно та же функциональность. Достаточно поменять строки.
2) Судя по велосипеду коду, Вам ничего неизвестно про оператор in (http://www.fpublisher.ru/documentation/javascript_doc/js04.docs#ref3474).

Цитата: Bhudh от октября  6, 2013, 17:51
1) В моём коде ровно та же функциональность. Достаточно поменять строки.

Вы уверены в этом? Впрочем, да, теоретически так сделать, разумеется, можно - но вот только проблема - какова будет длина этих строк? Изначально-то я хотел тоже примерно так поступить - точнее, просто стырить код с сайта translit.ru, и подсунуть туда свои сочетания вместо ихних. Ан нет, не получилось. Таблица простых замен получилась бы монструозной - ещё больше моего транслитератора (и, вероятно, больше любого текста, подлежащего транслитерации), и для генерации этой таблицы всё равно пришлось бы писать вспомогательную программу.

Цитата: Bhudh от октября  6, 2013, 17:51
2) Судя по велосипеду коду, Вам ничего неизвестно про оператор in.

Для чего вы предлагали бы его применить в этом коде??? Вы предлагаете кодировать фактически булевы переменные посредством существования или несуществования у объекта свойства с некоторым именем??? Но это выглядело бы как какой-то изврат, имхо, трудночитаемый. Или для проверки границ массива? Но и там это не дало бы никакого существенного сокращения кода. Вот если бы надо было составлять словарь (что как раз хочет топикстартер), то операции а-ля перловый хеш бы реально пригодились. Но у меня ж тут нет словарей.

элемент in массив, не?

Цитата: arseniiv от октября  6, 2013, 18:23
элемент in массив, не?

Индекс_элемента in массив. Ну и что нам с него толку? Массив[индекс_элемента] даёт (в конкретно моём случае - где нет значимых нулей или пустых строк в массиве) такой же годный логический результат на предмет того, есть ли в массиве (ненулевой) элемент под таким-то номером.

Цитата: Toman от октября  6, 2013, 18:38Индекс_элемента in массив.

Ключ_элемента in объект. Для массива оператор in не сработает.

Ладно, другое.

function makePredicate(list) {
  var d = {};
  var len = list.length;
  for (i = 0; i < len; i++)
    d[list] = true;
  function predicate(elem) {
    return d[elem];
  }
  return predicate;
}

Использование:

var isCapital = makePredicate("ABCDEFG...")
// ...
... isCapital(c) ...

Это работает, по крайней мере, быстрее, чем циклы по массивам.

Цитата: Bhudh от октября  6, 2013, 19:00
Для массива оператор in не сработает.

По вашей же ссылке прямым текстом написано, что сработает. Вообще, НЯП, в джаваскрипте каких-то отдельных массивов нет, они такие же "объекты", как и прочие. Просто в качестве ключей при создании используются целые числа.

Цитата: Toman от октября  6, 2013, 19:08По вашей же ссылке прямым текстом написано, что сработает.

А, это я не так выразился. Не сработает поиск значения как ключа, бо ключ там как раз число.

Цитата: Toman от октября  6, 2013, 19:08Вообще, НЯП, в джаваскрипте каких-то отдельных массивов нет, они такие же "объекты", как и прочие.

Не совсем такие же.
Конструктор Array() что-то там переопределяет, ту же toString(), к примеру.

Цитата: arseniiv от октября  6, 2013, 19:06
Это работает, по крайней мере, быстрее, чем циклы по массивам.

Вот в частности за это я не люблю джаваскрипт. Всё-таки нормальные массивы должны быть. И если бы они были, перебор сравнительно короткого массива на равенство строк имел бы шансы быть не медленнее, чем поиск по ключу. А так, когда даже доступ к каждому элементу массива работает через тот же поиск по ключу - конечно, перебор массива будет медленнее, чем один поиск по ключу.
С одной стороны, такое вот единообразие всех объектов - оно вроде и красиво (и за это мне джаваскрипт нравится), но вот даже не портя этого, можно было бы организовать правильный быстрый доступ по целочисленным ключам без какого-либо поиска - тогда существенных потерь времени на это не было бы. Даже если в 3 раза медленнее поиска по ключу - но всё-таки не в 100 раз медленнее.
Конечно, если бы у меня была привычка в джаваскрипте работать с объектами как с перловскими хешами/словарями и воспринимать их в первую очередь именно как словари, я бы, вполне возможно, так и сделал. Но такой привычки, по крайней мере, в то время, когда был написан этот скрипт (а это было примерно время моего первого появления на ЛФ), у меня не было.

Text::Statistics::Cyrillic creates a seven column CSV file output with one line each token per text given as input a corpus that files names follows ' 1 (1). txt', '1 (2). txt', ..., '1 (n).txt' or 1 \(([1-9]|[1-9][0-9]+)\)\.txt Columns stores statistical information: (1) number of word forms in document d; (2) number of tokens in d; (3) Id number of d, ie., n; (4) frequency of term t in d; (5) corpus frequency of t ; (6) document frequency of t (number of documents where t occurs at least once); (7) t, UTF8 latin coded token-string

https://metacpan.org/module/Text::Statistics::Cyrillic

yatea - Perl script for extracting terms from a corpus of texts and providing a syntactic analysis in a head-modifier representation.

https://metacpan.org/module/THHAMON/Lingua-YaTeA-0.622/bin/yatea

http://neon.niederlandistik.fu-berlin.de/en/textstat/

Автор, если еще актуально  :-\, есть программа которой сама пользуюсь - SimWordSorter, она вытаскивает из текста частоту используемых слов, делает отчет по ним,  правда она меня полностью не удовлетворяет, так как хотелось бы чтобы поиск производился по корню слова, однако, как видно, таких программ еще не придумали. Но в принципе, это решаемо посредством автосортировки отчетных данных в экселе. Есть еще программа для писателей ywriter5 - там тоже есть функция подсчета повторяемости слов

Цитата: Morugesso от декабря  1, 2013, 12:40
так как хотелось бы чтобы поиск производился по корню слова, однако, как видно, таких программ еще не придумали.

Для этого существуют лемматизаторы.