Лингвофорум

В общем, нужен архив текстов: литература, публицистика, немного науки, чуть-чуть техники. Последние может быть даже отдельно.

Займитесь экспортом текстов статей из Википедии. На пару месяцев работы хватит

Издеваетесь, да?

Для книгочиталок нет никаких подборок?

Цитата: mystНикто, что ли, не встречал готовые подборки русских текстов?
Ну не на фантастике же базу делать.

Ты чего это? Идёшь на торренты и выкачиваешь весь либрусек! Там что-то около ста гирь было, когда я последний раз заглядывал...

Цитата: myst от октября 31, 2010, 13:43
Издеваетесь, да?

А почему «издеваетесь»? Экспорт текстов статей — это довольно просто. Рутинная автоматическая операция. Только потом нужно будет почистить текст от ссылок и прочей вики-разметки. Получится мегабайт пятьсот энциклопедического текста — в будущем наверняка пригодится.

Цитата: HellerickПолучится мегабайт пятьсот энциклопедического текста

http://download.wikimedia.org/ruwiki/20101023

«All pages, current versions only: 1.2 GB»

Цитата: Bhudh от октября 31, 2010, 14:03
«All pages, current versions only: 1.2 GB»

Ну, я называл цифру наобум, и порядок угадал.
Осталось пройтись каким-нибудь SSED'ом, убрав XML и вики-разметку — и будет то, что нужно Myst'у, ね?

Только лучше, наверное, использовать это:

ЦитироватьArticles, templates, image descriptions, and primary meta-pages.
2010-10-24 09:21:41: ruwiki 1693975 pages (291.193/sec), 1693975 revs (291.193/sec), 92.9% prefetched, ETA 2010-10-24 10:24:17 [max 2787800]
This contains current versions of article content, and is the archive most mirror sites will probably want.
pages-articles.xml.bz2 1015.8 MB

Насчёт порядка не уверен — там сжатая в 7z база...

Цитата: Bhudh от октября 31, 2010, 13:46
Ты чего это? Идёшь на торренты и выкачиваешь весь либрусек! Там что-то около ста гирь было, когда я последний раз заглядывал...

Хоть бы ссылку дал.

Цитата: Hellerick от октября 31, 2010, 13:54
А почему «издеваетесь»? Экспорт текстов статей — это довольно просто. Рутинная автоматическая операция. Только потом нужно будет почистить текст от ссылок и прочей вики-разметки. Получится мегабайт пятьсот энциклопедического текста — в будущем наверняка пригодится.

Садист.

Цитата: myst от октября 31, 2010, 14:45
Садист.

Господи, да что ж вам надо-то? Вам лень скачать один файл, и убрать лишнюю разметку?

Цитата: myst от октября 31, 2010, 14:44

Цитата: Bhudh от октября 31, 2010, 13:46
Ты чего это? Идёшь на торренты и выкачиваешь весь либрусек! Там что-то около ста гирь было, когда я последний раз заглядывал...

Хоть бы ссылку дал.

http://rutracker.org/forum/viewtopic.php?t=1844961

Цитата: Hellerick от октября 31, 2010, 15:05
Господи, да что ж вам надо-то? Вам лень скачать один файл, и убрать лишнюю разметку?

Не просто лень, мне не нужна Википедия.

Цитата: Hellerick от октября 31, 2010, 15:05
http://rutracker.org/forum/viewtopic.php?t=1844961

О! А вот это вроде то, что нужно. Thank you very much!

Из современной публицистики кого лучше взять?

Скачал два гига макулатуры и думаю: а нужна ли она вся релевантных предсказаний, особенно классика?

Цитата: mystа нужна ли она вся релевантных предсказаний

Что за старославянщина?‥

Предлог для пропущен. Не видно, что ли?

А вообще я как-то сомневаюсь в пользе этой системы. В английском языке слова в основном и так короткие, а в русском суффиксы и окончания всё портят.

Лично мне она нужна для вставки словосочетаний (у меня по работе многословных терминов как грязи). Правда, она их не умеет, либо костыль надо лепить, либо переделывать библиотеку. Я ещё не решил, какой вариант предпочесть.

Цитата: Hellerick от ноября  2, 2010, 08:08
в русском суффиксы и окончания всё портят

А вот это выяснится во время испытаний.

100000 строк превращаются в 200 Мбайт, и предсказатель заметно тормозит на поиске в базе данных.

Окончания действительно обламывают, но можно сделать словарь слов без окончаний, а окончания дописывать. В принципе не так уж и плохо выходит.

Так никто и не хочет поэкспериментировать? Макет теперь более менее рабочий и доступен даже для простых смертных.

У меня Windows нет, чтобы экспериментировать. :о

Ну, я мог бы побаловаться.
А что, инсталляшка весит 200 мегабайт?

Цитата: Demetrius от ноября  2, 2010, 17:21
У меня Windows нет, чтобы экспериментировать. :о

В Linux'е эта штука искаропки есть.