Лингвофорум

Общий раздел => Наука и техника => Компьютеры => Тема начата: Rwseg от июня 8, 2013, 02:09

Название: Корпус своих сообщений
Отправлено: Rwseg от июня 8, 2013, 02:09
Каким-то образом возможно вынут все свои сообщения отсюда (http://lingvoforum.net/index.php?action=profile;area=showposts;sa=messages) в один текстовый файл? :??? Хочу провести стат. анализ своей речи. :umnik:
Название: Корпус своих сообщений
Отправлено: Тайльнемер от июня 8, 2013, 05:05
Написать простенькую программу на каком-нибудь языке программирования.
Я могу попробовать.
Название: Корпус своих сообщений
Отправлено: Тайльнемер от июня 8, 2013, 09:24
Вот, пожалуйста.
Запускаете LFUserCorpus.exe без аргументов, вводите id пользователя, ждёте, получаете текстовый файл с текстом всех сообщений без цитат.
Либо даёте id в качестве аргумента. Второй аргумент — путь выходного файла (опционально).

(Id пользователя можно посмотреть в адресной строке, зайдя в профиль пользователя. Напр.,
httр://lingvoforum.net/index.php?action=profile;area=summary;u=40968.
40968 — это id.)

Если что-то работает не так, или нужно что-то ещё — говорите, я переделаю.
Название: Корпус своих сообщений
Отправлено: Тайльнемер от июня 8, 2013, 09:26
Вот ваш корпус.
Название: Корпус своих сообщений
Отправлено: Тайльнемер от июня 8, 2013, 10:22
Извините, там перевод строки пропадает. Щас я переделаю.
Название: Корпус своих сообщений
Отправлено: Hellerick от июня 8, 2013, 11:00
А можно посмотреть некомпилированный код? Просто интересно посмотреть вы это делаете.

Лично я бы решил задачу с помощью Экселя, downloadthemall'а, и SED'а.
Название: Корпус своих сообщений
Отправлено: Тайльнемер от июня 8, 2013, 11:11
Цитата: Тайльнемер от июня  8, 2013, 10:22
Извините, там перевод строки пропадает.
Исправил

Цитата: Hellerick от июня  8, 2013, 11:00
А можно посмотреть некомпилированный код? Просто интересно посмотреть вы это делаете.
По-тупому. Вот исходник.

Цитата: Hellerick от июня  8, 2013, 11:00
Лично я бы решил задачу с помощью Экселя, downloadthemall'а, и SED'а.
А Эксель для чего?
Название: Корпус своих сообщений
Отправлено: Hellerick от июня 8, 2013, 11:15
Цитата: Тайльнемер от июня  8, 2013, 11:11
А Эксель для чего?
Я бы в нем сгенерировал html-код странички со ссылками, которые бы скормил downloadthemall'у.
Название: Корпус своих сообщений
Отправлено: Тайльнемер от июня 8, 2013, 11:17
Замечание:
Прога читает ЛФ от имени пользователя bot, которого я создал. Я вступил им во все открытые группы и подал заявки во все закрытые группы, но эти заявки ещё рассматриваются. Так что сообщения в закрытых группах пока не видны.
Название: Корпус своих сообщений
Отправлено: Тайльнемер от июня 8, 2013, 11:27
Цитата: Тайльнемер от июня  8, 2013, 11:11
Исправил
Блин. Вот щас исправил:
Название: Корпус своих сообщений
Отправлено: Hellerick от июня 8, 2013, 11:30
*Хеллерик разглядывает таймстампы в архиве*

Тайльнемер, а вы сейчас в каком часовом поясе?
Название: Корпус своих сообщений
Отправлено: Тайльнемер от июня 8, 2013, 11:55
UTC+7
А чё там с таймстампами?
Название: Корпус своих сообщений
Отправлено: Bhudh от июня 8, 2013, 22:08
Цитата: Hellerick от июня  8, 2013, 11:00Лично я бы решил задачу с помощью Экселя, downloadthemall'а, и SED'а.
А я бы с помощью PHPQuery+jQuery.
Название: Корпус своих сообщений
Отправлено: Python от июня 8, 2013, 22:31
В принципе, там одного wget'a c sed'ом должно хватить.
Название: Корпус своих сообщений
Отправлено: Bhudh от июня 8, 2013, 22:35
Тайльнемер, у Вас аватар пропал.
Название: Корпус своих сообщений
Отправлено: Rwseg от июня 12, 2013, 00:32
Цитата: Тайльнемер от июня  8, 2013, 11:17
Прога читает ЛФ от имени пользователя bot, которого я создал.
А как он соединяется/логинится с ЛФ?
Название: Корпус своих сообщений
Отправлено: Wolliger Mensch от июня 12, 2013, 00:36
Цитата: Rwseg от июня  8, 2013, 02:09
Корпус своих сообщений
Corpus īnscriptiōnum suārum... ;D
Название: Корпус своих сообщений
Отправлено: Gyesa от июня 12, 2013, 01:01
Offtop
ЦитироватьConsole.OutputEncoding = Encoding.UTF8;
Это было очень не в тему. У меня кракозябры шли, пока это не убрал :(
А так, штука очень даже. Правда, зачем, конечно, так всё сложно было делать? Но ок, довольствуемся-с.
Название: Корпус своих сообщений
Отправлено: Тайльнемер от июня 12, 2013, 04:19
Цитата: Rwseg от июня 12, 2013, 00:32
А как он соединяется/логинится с ЛФ?
С помощью кукизов.

Цитата: Bienna от июня 12, 2013, 01:01
Это было очень не в тему. У меня кракозябры шли, пока это не убрал
А, я понял — у вас растровый шрифт в консоли.
Я всегда ставлю Consolas, поэтому даже не знал, что есть такая проблема.

Цитата: Bienna от июня 12, 2013, 01:01
Правда, зачем, конечно, так всё сложно было делать?
Я не догадался, как сделать проще.
Как бы вы сделали?
Название: Корпус своих сообщений
Отправлено: sasza от июня 12, 2013, 04:20
А чё, тупым windows sriptом никто для таких целей не пользуется?
Название: Корпус своих сообщений
Отправлено: Gyesa от июня 12, 2013, 14:03
Цитата: Тайльнемер от июня 12, 2013, 04:19
А, я понял — у вас растровый шрифт в консоли.
Ну, такое у всех, подразумеваю, по умолчанию, посему таки лучше было б убрать эту строчку :)
А вообще, виндосовской cmd'шкой я пользуюсь раз в сто лет, поэтому..)

Цитата: Тайльнемер от июня 12, 2013, 04:19
Как бы вы сделали?
Я чуть попозже напишу. Сейчас я всю неделю буду в дипломе, скоро защита.
Название: Корпус своих сообщений
Отправлено: arseniiv от июня 14, 2013, 00:22
Цитата: Bienna от июня 12, 2013, 14:03
Ну, такое у всех, подразумеваю, по умолчанию, посему таки лучше было б убрать эту строчку :)
Плохой совет. Лучше в таком случае сделать ещё один ключ командной строки.