Лингвофорум

Теоретический раздел => Прикладная лингвистика => Компьютерная лингвистика => Тема начата: A.kornilov1 от июня 29, 2014, 14:54

Название: Определение пола автора текста
Отправлено: A.kornilov1 от июня 29, 2014, 14:54
Здравствуйте.
Немного истории:
N-ое количество времени назад я размышлял об искусственном интеллекте и искал "узкие места" в воплощении мечты многих фантастов да и не только.
Эти размышления и последующий анализ привели меня к одной идеи, которая со временем превратилась в хобби. Мне стало интересно: а возможно ли создание алгоритма, который бы определял некоторые характеристики автора по тексту им написанным?
По прошествии нескольких месяцев я решил сосредоточиться на одной задаче:
Определение пола автора текста.

Об алгоритме:
Алгоритм готов ( в общих чертах )
Основан он на частотности.
Обучающая выборка была взята с одного форума определенной тематики
Тестирование проводил беря тексты из разнообразных источников: форумы, треккеры, твиттер, посты в "вконтакте", новостные ленты, блоги. Т.е. При тестировании качество и тип источника не учитывалось. Даже наоборот - я старался, чтобы авторы были как можно более непохожи друг на друга.
Вкупе алгоритм, на сегодняшний день, определяет пол автора текста с точностью в 68.5%, чем я не могу быть не удовлетворен.

Теперь же, когда я убедился в минимальной жизнеспособности своих измышлений, настало время придать этой затее более научный, а, возможно, и коммерческий характер. В связи с чем у меня есть целый ряд вопросов, которые ни один из знакомых мне людей не может удовлетворить:

1) Какие подобные работы вам известны?
( мною было найдено лишь зарубежное исследование, где с использованием контент и стилистического анализа удалось достичь точности определения автора в 76.1%)
На какие из них мне обратить внимание?

2) Каким образом в принципе проверяются подобные алгоритмы? Насколько должна быть большой выборка для тестирования? И как проверяется эффективность программ?

3) Какие компании\организации занимаются подобными исследованиями? Кого это может заинтересовать?

4) Что мне нужно знать занимаясь подобной тематикой? На что обращать внимание?


Замечание:
Я, безусловно, буду рад вашим ответам, но прошу учитывать при написании своих комментариев что я- лишь любитель и познания мои весьма скромные.
Так же вы можете писать мне на электронную почту, которая указана в профиле.
Название: Определение пола автора текста
Отправлено: Bhudh от июня 29, 2014, 15:17
Немного непонятно.
Алгоритм учитывает местоимения женского рода, употребляемые автором к самому себе, например? То есть использует ли грамматические методы?
Может ли алгоритм вывести на чистую воду человека, пишущего не от лица своего пола? (На этом форуме это особенно актуально...)
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июня 29, 2014, 15:32
Bhudh,
Перечитал. Действительно непонятно :)
Сразу приношу свои извинения за скупость и жадность в отношении описания принципов работы алгоритма - во мне борются два желания: получить максимум ответов и никому не рассказывать о своей "прелести".


Касательно вопроса:

1)Нет. Грамматические методы не использует ( хочется в дальнейшем включить, но не сейчас ).
Скажу более - при проверке на устойчивость я удалял из текстов буквы "л" и "а", в таком случае эффективность просто понижалась.

2) Вряд ли. Этот алгоритм по принципам работы имеет отношение скорее к психологии человека, а точнее к его восприятию. Т.е. если у мужчины восприятия мира соответствующее женщине - алгоритм, скорее всего, покажет что автор - женщина. Конечно, исправить это теоретически возможно, но проблематично.
Как показал опыт  влияет на алгоритм и то, что, допустим, парень - воспитывался без отца, под влиянием матери и бабушки. И, возможно как следствие, алгоритм именно из-за этого выдает ошибку когда видит его тексты.

Так же, алгоритм сбоит на тех текстах, которые написаны безотносительно к другим людям.
Психолог, с которым я делюсь информацией по этому проекту сказал: "Ничего удивительного, ведь люди раскрываются лучше всего при взаимодействии с другими людьми"

P.S. надеюсь и дальше на Вашу оперативность при написании комментариев :)
Название: Определение пола автора текста
Отправлено: Bhudh от июня 29, 2014, 15:59
То есть методы используются чисто статистические, основанные на частотности употребления тех или иных слов людьми одного пола.
Название: Определение пола автора текста
Отправлено: Ильич от июня 29, 2014, 16:06
Попадались какие-то статьи на эту тему. Набрал сейчас в Яндексе "гендерные различия речи" получил 252 тысячи ссылок.
Вот одна ссылка: http://nsportal.ru/ap/literaturnoe-tvorchestvo/library/nauchno-issledovatelskaya-rabota-gendernye-razlichiya-v-pismenno

Работа учащейся  9 класса Лаптевой Анны Сергеевны посвящена исследованию гендерных различий в письменной речи старшеклассников.
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июня 29, 2014, 16:36
Bhudh,
Не слова. Но  да - чисто на частотности. ( И не фоносемантика, хотя она оказала влияние )

Ильич,
Спасибо - я отмел этот результат выдачи поисковика, ибо счел его "недостаточно авторитетным".
Мне понравились эти ребята (см. ссылку) (http://www.google.ru/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&cad=rja&uact=8&sqi=2&ved=0CBsQFjAA&url=http%3A%2F%2Fu.cs.biu.ac.il%2F~koppel%2Fpapers%2FAuthorshipProfiling-cacm-final.pdf&ei=PhawU6nOFeLOygOVjIKYAw&usg=AFQjCNFqjHBoK9L6CnGkZYs0-MQ43MWHNg&bvm=bv.69837884,d.bGE) ( PDF )
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июня 29, 2014, 17:07
Bhudh, кстати мои поздравления ! Алгоритм говорит, что у вас мужское восприятие, а следовательно вы, весьма вероятно, мужчина :)
Хотя разница с женщиной не очень большая.

Пример обрабатываемых данных:
Название: Определение пола автора текста
Отправлено: dragun97yu от июня 29, 2014, 17:12
Что тут за движуха?
Название: Определение пола автора текста
Отправлено: Nevik Xukxo от июня 29, 2014, 17:17
А это реально работает? Не утка в духе британских учёных? :umnik:
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июня 29, 2014, 17:25
Nevik Xukxo,
Очень на это надеюсь. Я себя успокаиваю тем что статистического отклонения от слепой обезьяны которая выбирает М или Ж в 18% быть не должно ...
Я даже монетку подкидывал в своё время, чтобы проверить законы статистики в реальности.
Пока что - работает.

Но прошу не забывать что все "исследования" я проводил лично, а следовательно:
а) Может присутствовать элемент личной заинтересованности ( пусть и неосознанно )
б) Все это - не научно. И сделано "на коленке".
в) Все-таки может выйти так, что все это - просто магия цифр и большая ошибка

Так что не обнадеживайте себя, но и не теряйте надежду в меня :)
Название: Определение пола автора текста
Отправлено: Python от июня 29, 2014, 17:38
A.kornilov1, можете проверить гендер пользователей dragun97yu и snn?
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июня 29, 2014, 17:56
Python

dragun97yu - Мужчина :(
Даже не показывает что разница маленькая.

А snn- я не нашел


Если вам интересно - можете скидывать ваши тексты- буду прогонять через алгоритм.
( А то самому собирать сообщения - долго )
Ограничения для корректной работы алгоритма:
1)Русский язык
2)Новейшая история
3)Количество слов примерно 1000 ( не менее 3500 букв и не более 7000. Обычно 5500 )
4) Если вы набираете текст из сообщений пользователя - берите посты где есть хотя-бы 3 предложения.

Примечания:
1)Чем больше спец слов - тем хуже результат
2) Можете всячески путать и изменять тексты и делать выводы
3) Если хотите мне помочь - кидайте текст с минимальным наличием спецслов, указанием источника ( ссылки на профиль ,к примеру, или статью ) и пола.
Название: Определение пола автора текста
Отправлено: Тайльнемер от июня 29, 2014, 18:07
Цитата: A.kornilov1 от июня 29, 2014, 17:56
2)Новейшая история
Что это означает?
Название: Определение пола автора текста
Отправлено: Rwseg от июня 29, 2014, 18:08
Цитата: A.kornilov1 от июня 29, 2014, 17:56
dragun97yu - Мужчина :(
Наоборот, радуйтесь, алгоритм работает. Ещё проверьте этих пользователей (http://lingvoforum.net/index.php?action=mlist;sa=search):
Dana
Kaze no oto
Alexandra A

Для получения сообщений есть програмка (http://lingvoforum.net/index.php/topic,58806.0.html).
Название: Определение пола автора текста
Отправлено: Python от июня 29, 2014, 18:09
Цитата: A.kornilov1 от июня 29, 2014, 17:56
А snn- я не нашел
Да, там что-то странное с поиском пользователей.
http://lingvoforum.net/index.php?action=profile;area=showposts;u=33551
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июня 29, 2014, 18:27
Тайльнемер,
Это означает что Пушкина тексты мне присылать смысла нет :)
Т.к. язык изменчив, а выборка сделана по сообщениям с 2008 по 2013 год, то чем раньше был текст написан тем больше вероятность ошибки.

Python, Rwseg
По пользователям инфа будет чуть позже - сейчас заминка с программой для поиска сообщений.
Тайльнемер уже в курсе и помогает мне с ней справиться
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июня 29, 2014, 19:11
snn - Мужчина сильно выражено
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июня 29, 2014, 19:11

Dana - женщина выражено средне
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июня 29, 2014, 19:11

Kaze no oto
Женщина - выражено средне
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июня 29, 2014, 19:12

Alexandra A - Женщина выражено средне
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июня 29, 2014, 19:13
Жду ваших сообщений о результатах - буду дополнять статистику.

А еще сильнее жду информации по вопросам обозначенным мной в первом посте :)
Название: Определение пола автора текста
Отправлено: Joris от июня 29, 2014, 19:24
Проверьте Vibrio cholerae :)
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июня 29, 2014, 19:28
Vibrio cholerae - Женщина Сильно выражено

Название: Определение пола автора текста
Отправлено: Тайльнемер от июня 29, 2014, 19:29
Интересная вещь!

А как она работает?
Цитата: A.kornilov1 от июня 29, 2014, 14:54
Основан он на частотности.
Не слова. Но  да - чисто на частотности. ( И не фоносемантика, хотя она оказала влияние )
Частотность чего именно там считается?
Или это секрет фирмы?

А можете меня проверить?
Вот мой корпус:
Название: Определение пола автора текста
Отправлено: Joris от июня 29, 2014, 19:37
Offtop
Цитата: A.kornilov1 от июня 29, 2014, 19:28
Vibrio cholerae - Женщина Сильно выражено
пичаль...
Название: Определение пола автора текста
Отправлено: I. G. от июня 29, 2014, 19:37
Определите меня, пожалуйста!
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июня 29, 2014, 19:38
Тайльнемер - женщина выражено средне :(


Название: Определение пола автора текста
Отправлено: Leo от июня 29, 2014, 19:39
Цитата: I. G. от июня 29, 2014, 19:37
Определите меня, пожалуйста!
так узбекский ж рубль :)
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июня 29, 2014, 19:40
Тайльнемер
Секрет фирмы :)


Название: Определение пола автора текста
Отправлено: Python от июня 29, 2014, 19:43
Проверьте и меня на всякий случай
Название: Определение пола автора текста
Отправлено: I. G. от июня 29, 2014, 19:44
Цитата: Python от июня 29, 2014, 19:43
Проверьте и меня на всякий случай
Женщина выражена средне.  :umnik:
Название: Определение пола автора текста
Отправлено: Oleg Grom от июня 29, 2014, 19:44
shaliman проверьте
Название: Определение пола автора текста
Отправлено: Тайльнемер от июня 29, 2014, 19:46
Цитата: A.kornilov1 от июня 29, 2014, 19:38
Тайльнемер - женщина выражено средне
Интересно :) (На всякий случай уточню: мой пол — мужской.)
А это вы на всём корпусе запускали или только на процитированном куске?

А можете Мнаше померить?
Вот его корпус. (http://sites.google.com/site/formicant/files/user1158_mnashe.7z)

Мы вас ещё не замучили?
Название: Определение пола автора текста
Отправлено: I. G. от июня 29, 2014, 19:47
Цитата: Тайльнемер от июня 29, 2014, 19:46
Интересно
А нам-то как интересно!
Название: Определение пола автора текста
Отправлено: ginkgo от июня 29, 2014, 19:51
И меня  :-[
Название: Определение пола автора текста
Отправлено: ginkgo от июня 29, 2014, 19:52
На форуме больше женщин, чем мы думали  :=
Название: Определение пола автора текста
Отправлено: Joris от июня 29, 2014, 19:53
Offtop
Цитата: ginkgo от июня 29, 2014, 19:52
На форуме больше женщин, чем мы думали  :=
Aга. Я вот шифровалась все время, да тут раскололи :green:
Название: Определение пола автора текста
Отправлено: I. G. от июня 29, 2014, 19:53
Цитата: ginkgo от июня 29, 2014, 19:52
На форуме больше женщин, чем мы думали  :=
Может быть, это в чисто мужском коллективе некоторые особи меняют свою манеру говорить?
Название: Определение пола автора текста
Отправлено: Тайльнемер от июня 29, 2014, 19:54
Надо переименовываться в Тайльнемерин.
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июня 29, 2014, 19:55
Тайльнемер
Проморгал - женщина сильно выражено
А проверяю я по куску который и выкладываю. Когда копирую сообщения я на содержание не смотрю - смотрю на размер.


I. G.
Женщина - средне выражено

Название: Определение пола автора текста
Отправлено: A.kornilov1 от июня 29, 2014, 19:57
До этого сообщения - я сам обрабатываю ваши сообщения.
А вот все кто будут просить позже - прошу присылать текст который вы хотите проверить - условия для текста на странице №1.

Также пишите в лычку - что я правильно определил а что нет - у меня статистика ;)
Название: Определение пола автора текста
Отправлено: Лом d10 от июня 29, 2014, 19:57
Цитата: Тайльнемер от июня 29, 2014, 19:54
Надо переименовываться в Тайльнемерин.
Тайльнемерино, однако.  :umnik:
Название: Определение пола автора текста
Отправлено: I. G. от июня 29, 2014, 19:58
Цитата: A.kornilov1 от июня 29, 2014, 19:57
Также пишите в лычку - что я правильно определил а что нет - у меня статистика ;)
Пока создалось впечатление, что метод научного тыка дает больше правильных результатов.
Название: Определение пола автора текста
Отправлено: Nevik Xukxo от июня 29, 2014, 20:02
А вдруг и я женщина?! :uzhos:
Название: Определение пола автора текста
Отправлено: Joris от июня 29, 2014, 20:04
Цитата: Nevik Xukxo от июня 29, 2014, 20:02
А вдруг и я женщина?! :uzhos:
Проверьтесь
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июня 29, 2014, 20:05
Python
Женщина -  выражено средне
Название: Определение пола автора текста
Отправлено: I. G. от июня 29, 2014, 20:06
Цитата: I. G. от июня 29, 2014, 19:44
Цитата: Python от июня 29, 2014, 19:43
Проверьте и меня на всякий случай
Женщина выражена средне.  :umnik:
А я знал, а я знал!  :D
Название: Определение пола автора текста
Отправлено: Oleg Grom от июня 29, 2014, 20:08
Где записаться на проверку?
Название: Определение пола автора текста
Отправлено: wandrien от июня 29, 2014, 20:09
Offtop
Нужно иконку пола в профиле назначать автоматически по результатам проверки.
Название: Определение пола автора текста
Отправлено: Bhudh от июня 29, 2014, 20:10
:D Ну хоть у меня совпало.
Название: Определение пола автора текста
Отправлено: Leo от июня 29, 2014, 20:11
Цитата: wandrien от июня 29, 2014, 20:09
Offtop
Нужно иконку пола в профиле назначать автоматически по результатам проверки.

Offtop
так пол с годами меняется жеж
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июня 29, 2014, 20:11
Цитата: I. G. от июня 29, 2014, 19:58
Пока создалось впечатление, что метод научного тыка дает больше правильных результатов.
Я не экстрасенс, чтобы давать все время верные результаты :)

Цитата: Oleg Grom от июня 29, 2014, 20:08
Где записаться на проверку?
Тебя я еще проверю - но позже
Название: Определение пола автора текста
Отправлено: I. G. от июня 29, 2014, 20:11
Цитата: Bhudh от июня 29, 2014, 20:10
:D Ну хоть у меня совпало.
Это хорошо! А то ЛФ - женский форум.
Название: Определение пола автора текста
Отправлено: Python от июня 29, 2014, 20:13
Цитата: I. G. от июня 29, 2014, 20:11
Цитата: Bhudh от июня 29, 2014, 20:10
:D Ну хоть у меня совпало.
Это хорошо! А то ЛФ - женский форум.
Да, из настоящих мужчин только Bhudh, dragun и snn :(
Название: Определение пола автора текста
Отправлено: ginkgo от июня 29, 2014, 20:15
Цитата: Python от июня 29, 2014, 20:13
Цитата: I. G. от июня 29, 2014, 20:11
Цитата: Bhudh от июня 29, 2014, 20:10
:D Ну хоть у меня совпало.
Это хорошо! А то ЛФ - женский форум.
Да, из настоящих мужчин только Bhudh, dragun и snn :(
Подождите, вдруг и меня выведут на чистую воду  ::)
Название: Определение пола автора текста
Отправлено: Timiriliyev от июня 29, 2014, 20:19
А меня проверите? Тоже хочу сыграть в эту игру. ::)
Название: Определение пола автора текста
Отправлено: I. G. от июня 29, 2014, 20:20
Цитата: Timiriliyev от июня 29, 2014, 20:19
А меня проверите? Тоже хочу сыграть в эту игру. ::)
Женщина выражена средне.  :umnik:
Название: Определение пола автора текста
Отправлено: Leo от июня 29, 2014, 20:20
Цитата: I. G. от июня 29, 2014, 20:20
Цитата: Timiriliyev от июня 29, 2014, 20:19
А меня проверите? Тоже хочу сыграть в эту игру. ::)
Женщина выражена средне.  :umnik:
а что значит средне ? Это выше пояса или ниже ?  :)
Название: Определение пола автора текста
Отправлено: ginkgo от июня 29, 2014, 20:26
А цвет глаз определить можете?
Название: Определение пола автора текста
Отправлено: Leo от июня 29, 2014, 20:27
Цитата: ginkgo от июня 29, 2014, 20:26
А цвет глаз определить можете?
Каждого из. Бывают разноглазые...
Название: Определение пола автора текста
Отправлено: Bhudh от июня 29, 2014, 20:34
Цитата: Timiriliyev от июня 29, 2014, 20:19Тоже хочу сыграть в эту игру.
То, что начинается с фразы «Я хочу сыграть с вами в игру», кончается нехорошо...
Название: Определение пола автора текста
Отправлено: I. G. от июня 29, 2014, 20:35
Напишите программу для вычисления форумных клонов, пожалуйста!
Название: Определение пола автора текста
Отправлено: I. G. от июня 29, 2014, 20:35
Цитата: Bhudh от июня 29, 2014, 20:34
Цитата: Timiriliyev от июня 29, 2014, 20:19Тоже хочу сыграть в эту игру.
То, что начинается с фразы «Я хочу сыграть с вами в игру», кончается нехорошо...
Почему же? Я люблю игры, например...
Название: Определение пола автора текста
Отправлено: Лом d10 от июня 29, 2014, 20:42
Цитата: Bhudh от июня 29, 2014, 20:34
Цитата: Timiriliyev от июня 29, 2014, 20:19Тоже хочу сыграть в эту игру.
То, что начинается с фразы «Я хочу сыграть с вами в игру», кончается нехорошо...
это из какого фильма цитата: "Сью" или "Кудряшка Сью"?
Название: Определение пола автора текста
Отправлено: Oleg Grom от июня 29, 2014, 20:48
Цитата: I. G. от июня 29, 2014, 20:35
Напишите программу для вычисления форумных клонов, пожалуйста!
Аввааль останется без работы :(
Название: Определение пола автора текста
Отправлено: Leo от июня 29, 2014, 20:51
Цитата: Oleg Grom от июня 29, 2014, 20:48
Цитата: I. G. от июня 29, 2014, 20:35
Напишите программу для вычисления форумных клонов, пожалуйста!
Аввааль останется без работы :(
Наоборот, больше времени на борьбу с врагами останется  :)
Название: Определение пола автора текста
Отправлено: Bhudh от июня 29, 2014, 21:05
Цитата: Лом d10 от июня 29, 2014, 20:42это из какого фильма цитата: "Сью" или "Кудряшка Сью"?
Из Jigsaw.
Название: Определение пола автора текста
Отправлено: Rwseg от июня 29, 2014, 22:44
Я сразу признаюсь, что я — кот.
Название: Определение пола автора текста
Отправлено: Ильич от июня 29, 2014, 23:55
Цитата: A.kornilov1 от июня 29, 2014, 16:36
Ильич,
Спасибо - я отмел этот результат выдачи поисковика, ибо счел его "недостаточно авторитетным".
И напрасно.
Я привел именно эту ссылку, чтобы показать, что вопрос влияния пола человека на его речь совсем не нов. И статистическая обработка текстов уж тем более не новое слово в подобных исследованиях.
А вы нигде не намекнули даже, в чем собственно новизна вашего подхода.
Особенно удивило замечание, что вы "-ла" исключили. Как будто этим все очевидно связанные с полом случаи исключаются. А как насчет "Я влюблена"? Вроде бы "-ла" тут нет, а женский пол есть. Или "моя свекровь ..."

И самое главное. Вы не определили цель: зачем по тексту определять пол автора.
В статьях, которые мне попадались речь шла о том, как гендерные различия влияют на речь. То есть, это изучение гендерного поведения. Вы же вроде бы пытаетесь поставить обратную задачу, но её смысл неясен. И такое впечатление, что он не ясен, в том числе, и вам.
Название: Определение пола автора текста
Отправлено: Agabazar от июня 30, 2014, 00:03
КРИТИКУ

Когда поэт, описывая даму,
Начнет: "Я шла по улице. В бока впился корсет",
Здесь "я" не понимай, конечно, прямо -
Что, мол, под дамою скрывается поэт.
Я истину тебе по-дружески открою:
Поэт - мужчина. Даже с бородою. (Саша Чёрный)

http://scanpoetry.ru/poetry/5728
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июля 2, 2014, 18:26
Ильич
Цитата: Ильич от июня 29, 2014, 23:55
И такое впечатление, что он не ясен, в том числе, и вам.
Именно так. И именно в поисках этого понимания ( см вопросы мои в первом посте ) я и пришел сюда.

Я, повторюсь, занимаюсь всем этим по велению души. А алгоритм, позволяющий определять пол автора текста - всего лишь практическое приложение к моим основным идеям. Приложение, результаты которого можно легко измерить, и, как следствие, сказать что-либо о качестве самих идей.
Теперь же, удостоверившись в жизнеспособности оных, я приступил к поиску реального практического применения, а возможно ( в связи с тем что дело своё и заработок я "пристрелил" не далее как месяц назад )
и финансовой составляющей.

Agabazar
Хороший пример. Я заметил что некоторым, видимо, лень читать написанное мною поэтому повторюсь еще раз и более конкретно:
Алгоритм не вычисляет пол автора. Он сравнивает скорее восприятие человека. А я уже по аналогии "У мужчины - мужское, у женщины - женское восприятие " и делаю выводы о поле автора текста.

В качестве примера назову очень интересное устройство не соответствующее своему негласному названию:
Детектор лжи, который никогда не сможет найти ложь ведь он просто пишет состояние человека, а вот оператор по этому состоянию уже и делает выводы.
Название: Определение пола автора текста
Отправлено: RNK от июля 2, 2014, 19:26
Меня проверьте ;)
Да, на основной работе тоже приходится заниматься чем-то подобным, правда, пока по специфическим нуждам, типа парсинга ФИО.

Название: Определение пола автора текста
Отправлено: A.kornilov1 от июля 2, 2014, 19:44
RNK
Без проблем. В личку, либо здесь под спойлером кидаешь текст - я его прогоню.
Условия и ограничения - см предыдущих постах.
Название: Определение пола автора текста
Отправлено: ginkgo от июля 2, 2014, 19:46
Цитата: A.kornilov1 от июля  2, 2014, 18:26
Он сравнивает скорее восприятие человека. А я уже по аналогии "У мужчины - мужское, у женщины - женское восприятие " и делаю выводы о поле автора текста.
Восприятие чего?
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июля 2, 2014, 19:48
ginkgo
По всей видимости окружающего мира
Название: Определение пола автора текста
Отправлено: ginkgo от июля 2, 2014, 20:09
Цитата: A.kornilov1 от июля  2, 2014, 19:48
По всей видимости окружающего мира
Всего полностью? А можно про разницу этого восприятия в общих чертах?
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июля 2, 2014, 20:17
ginkgo
Легко:
К примеру
Есть мужчина и женщина
Особенности их восприятия формируют отношение к слонам
Мужчины чаще говорят, что слоны "большие", а женщины, что они "огромные".
И так на протяжении многих тем и понятий.

Сделав выборку и посмотрев на неё мы делаем выводы и далее о всех, кто говорит, что слоны - "огромные", мы говорим что у них - женское восприятие.
Название: Определение пола автора текста
Отправлено: ginkgo от июля 2, 2014, 20:31
A.kornilov1, на абстрактном и не соответствующем действительности примере со слонами разница не видна. Мне бы пример из реальности.
Название: Определение пола автора текста
Отправлено: Mortifer от июля 2, 2014, 20:37
До сих пор не в ПН? :-)
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июля 2, 2014, 20:42
ginkgo

Если буду рассказывать про реальность - раскрою в чем есть суть алгоритма. Чего не хотелось бы делать.
Поэтому процитирую одну из своих личных записей, которая помогает мне самому понять как это всё работает

От состояния психики человека зависит его восприятие
От восприятия зависит деятельность человека
Речь - один из продуктов деятельности  человека
Т.е. "измерив" речь человека и сравнив с другими измерениями  мы можем некоторым образом создать категории на основе первоначальной выборки.
В дальнейшем по принадлежности к некоторым из этих категорий исследуемого мы можем говорить о его психике, а точнее восприятии мира.
Название: Определение пола автора текста
Отправлено: I. G. от июля 2, 2014, 20:52
A.kornilov1, определите пол страждущим! У Вас есть нерассмотренные заявки.
Название: Определение пола автора текста
Отправлено: dragun97yu от июля 2, 2014, 20:55
Цитата: Mortifer от июля  2, 2014, 20:37
До сих пор не в ПН? :-)
Зря так :)
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июля 2, 2014, 20:55
I. G.
Пусть страждущие скидывают тексты - сделаю.
Название: Определение пола автора текста
Отправлено: dragun97yu от июля 2, 2014, 20:57
А где будет использоваться алгоритм?
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июля 2, 2014, 20:59
dragun97yu
Цитата: dragun97yu от июля  2, 2014, 20:57
А где будет использоваться алгоритм?
Вот - пытаюсь придумать.
Пришел на этот форум за идеями, задал вопросы, жду пока кто-нибудь кроме Ильича скажет что-нибудь дельное :)
Название: Определение пола автора текста
Отправлено: ginkgo от июля 2, 2014, 21:00
Цитата: A.kornilov1 от июля  2, 2014, 20:42
От состояния психики человека зависит его восприятие
От восприятия зависит деятельность человека
Речь - один из продуктов деятельности  человека
То, что речь зависит от состояния психики, примерно понятно. Непонятно, что там с полом.

Цитата: A.kornilov1 от июля  2, 2014, 20:42
Если буду рассказывать про реальность - раскрою в чем есть суть алгоритма. Чего не хотелось бы делать.
Даже если один единственный пример приведете?
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июля 2, 2014, 21:05
ginkgo
Так и пол ( а точнее отождествление себя с некоторым образом - мужским или женским ) - есть одно из отражений восприятия
Пол был взят просто одна из категорий - самая простая для проверки.

Примеры анализируемых текстов я скидывал. А вот как я это делаю - оставлю в тайне.

Mortifer - Я готов при всех себя объявить еретиком, дураком и почти кем угодно, если мне будут даны более-менее внятные ответы ;)
Название: Определение пола автора текста
Отправлено: Лукас от июля 2, 2014, 21:16
По моему прицел сбит с этими женщинами средне.
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июля 2, 2014, 21:20
Цитата: Лукас от июля  2, 2014, 21:16
По моему прицел сбит с этими женщинами средне.

Не могу не поприветствовать дельное замечание.
Происходит это из-за недостаточно большой первоначальной выборки (базы то-бишь )
с которой и сравниваются тексты тех или иных авторов.

Вроде исправил - а там посмотрим.
Название: Определение пола автора текста
Отправлено: Лукас от июля 2, 2014, 21:24
A.kornilov1
Возможно нужно анализировать большой текст, чтобы действительно что-то выяснить. Если такое вы не делали.

Это как в психологических тестах - при 10-20 вопросах на самом деле ничего толком не выяснишь, а нужно хотя бы 80 вопросов (а в некоторых случаях и 100).
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июля 2, 2014, 21:34
Лукас
Можно и так поступить. Но если адаптировать задачу к современным реалиям, то и 1000 слов сложно найти у одного человека. А кому ж понадобится алгоритм, который может работать только с громоздкими текстами?
Да и тем паче сейчас меня результаты более чем удовлетворяют, ведь я вижу как их улучшить.

А улучшить их достаточно просто - необходимо работать с базой всячески пополняя и категоризируя её. ( добавить к примеру возраст, а может и более интересные вещи )
+ У меня сейчас очень много "шума" так как я беря тексты никоим образом не очищаю их от "слов-маркеров" ( слов которые обозначают что-либо, которые нельзя заменить синонимами), хотя подобная очистка способна опять же увеличить эффективность ...
И еще много чего другого.


Да и не ставил я перед собой задачу создать самый точный алгоритм - главное, на мой взгляд, требования к его работе. Ведь те же самые психологи не используют для оценки интеллекта тесты Айзенка, а используют более практичные Матрицы Равена, которые пусть и не так точны, но зато намного удобнее и проще в обращении.
Название: Определение пола автора текста
Отправлено: dragun97yu от июля 2, 2014, 21:39
Так вы говорите, что с увеличением числа слов уменьшается точность определения?
Что же так? :what:
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июля 2, 2014, 21:42
Цитата: dragun97yu от июля  2, 2014, 21:39
Так вы говорите, что с увеличением числа слов уменьшается точность определения?
Что же так?
Все, как всегда, просто : база была взята для 1000 слов в среднем. И если отклоняться от этого числа более чем в 1.5 раза, то результаты естественно будут "смазываться".

P.S. А где это я такое говорил ? :)
Название: Определение пола автора текста
Отправлено: dragun97yu от июля 2, 2014, 21:45
Цитата: A.kornilov1 от июля  2, 2014, 21:42
Цитата: dragun97yu от июля  2, 2014, 21:39
Так вы говорите, что с увеличением числа слов уменьшается точность определения?
Что же так?
Все, как всегда, просто : база была взята для 1000 слов в среднем. И если отклоняться от этого числа более чем в 1.5 раза, то результаты естественно будут "смазываться".

P.S. А где это я такое говорил ? :)
Выше было, чуть ли не в самом начале... Нет?
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июля 2, 2014, 21:48
dragun97yu
Цитировать
1)Чем больше спец слов - тем хуже результат
Название: Определение пола автора текста
Отправлено: Лукас от июля 2, 2014, 21:50
A.kornilov1
Значит для хорошего результата нужен бытовой текст?

Типа: Купил вчера чайник хороший, заварил чай, съел печенье...
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июля 2, 2014, 21:52
Лукас
Грубо говоря да. Но это сейчас. И это проблема Техническая

Единственное не из технических препятствий что я приметил, это то, что тексты обращенные к другим людям обрабатывать гораздо легче ( подборки сообщений к примеру ) нежели чем обращенные к себе ( блоги о душевных страданиях автора ) или к предмету ( аналитика в новостях)
Название: Определение пола автора текста
Отправлено: dragun97yu от июля 2, 2014, 21:54
А, собственно, что можно сказать?
Женщинам свойственна речь красивая, культурная и длинная, а мужчинам главное передать информацию :)
Название: Определение пола автора текста
Отправлено: Лукас от июля 2, 2014, 22:52
Цитата: dragun97yu от июля  2, 2014, 21:54
Женщинам свойственна речь красивая, культурная и длинная, а мужчинам главное передать информацию
Типа того?  ;)

Она: Бушевали морские волны окатывая берег солёной водой.
Он: Был шторм.
Название: Определение пола автора текста
Отправлено: dragun97yu от июля 3, 2014, 00:07
Ну всё ж от ситуации и окружения зависит :)
Название: Определение пола автора текста
Отправлено: Kaze no oto от июля 3, 2014, 01:03
Offtop
Впервые заглянул в тему-ту. И я слегка удивлён тем, шо оказался женщиной :)
Причём ведь намеренно стараюсь писать «по-пацански».

А если серьёзно — что если прогнать через этот анализатор текст какого-нибудь колумниста? Ну так для сравнения — Латынина и Пархоменко.
Название: Определение пола автора текста
Отправлено: dragun97yu от июля 3, 2014, 01:09
Цитата: Kaze no oto от июля  3, 2014, 01:03
Offtop
Впервые заглянул в тему-ту. И я слегка удивлён тем, шо оказался женщиной :)
Причём ведь намеренно стараюсь писать «по-пацански».
Offtop
Возьмёшь у меня курсы? :)
Название: Определение пола автора текста
Отправлено: Марго от июля 3, 2014, 05:45
Цитата: Bhudh от июня 29, 2014, 20:10
Ну хоть у меня совпало.

Это вот в этом:
Цитата: A.kornilov1 от июня 29, 2014, 17:07
вы, весьма вероятно, мужчина
Хотя разница с женщиной не очень большая.

?

А мне Вы всегда представлялись просто мужчиной.  :donno:

A.kornilov1, а настоящего мужчину во всем этом сообществе сумеете отсыкать? Ну хоть одного-единственного?  :)

Название: Определение пола автора текста
Отправлено: Тайльнемер от июля 3, 2014, 06:08
Цитата: A.kornilov1 от июля  2, 2014, 21:42
Цитата: dragun97yu от июля  2, 2014, 21:39
Так вы говорите, что с увеличением числа слов уменьшается точность определения?
Что же так?
Все, как всегда, просто : база была взята для 1000 слов в среднем. И если отклоняться от этого числа более чем в 1.5 раза, то результаты естественно будут "смазываться".
Может тогда стоит переделать алгоритм, чтобы он сперва разбивал длинный текст на куски по 1000 слов, для каждого измерял вероятность того, что это мужчина, а потом брал среднюю величину?
Название: Определение пола автора текста
Отправлено: wandrien от июля 3, 2014, 07:10
Цитата: A.kornilov1 от июля  2, 2014, 21:34
1000 слов сложно найти у одного человека
Полный ЖЖ...
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июля 3, 2014, 07:43
Цитата: Тайльнемер от июля  3, 2014, 06:08
Может тогда стоит переделать алгоритм, чтобы он сперва разбивал длинный текст на куски по 1000 слов, для каждого измерял вероятность того, что это мужчина, а потом брал среднюю величину?
100 очков грифиндору !
Хоть это и "костыль", но один из рассматриваемых мною вариантов

Цитата: wandrien от июля  3, 2014, 07:10
Полный ЖЖ...
Опять же : меня не интересует отдельные кучки людей - интересно чтобы алгоритм был более-менее универсален
Название: Определение пола автора текста
Отправлено: DarkMax2 от июля 3, 2014, 08:34
Цитата: I. G. от июня 29, 2014, 19:37
Определите меня, пожалуйста!
І мене :)
Название: Определение пола автора текста
Отправлено: Валер от июля 5, 2014, 13:05
Цитата: A.kornilov1 от июля  2, 2014, 21:52
Лукас
Грубо говоря да. Но это сейчас. И это проблема Техническая

Единственное не из технических препятствий что я приметил, это то, что тексты обращенные к другим людям обрабатывать гораздо легче ( подборки сообщений к примеру ) нежели чем обращенные к себе ( блоги о душевных страданиях автора ) или к предмету ( аналитика в новостях)
Вопрос: какой представляется зависимость от темы текста? Ну, типа научность и абстракция с одной стороны и что-нибудь в большей степени относящееся к личности испытуемого?
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июля 5, 2014, 15:28
Валер
Зависимостей кроме вышеобозначенной я пока не наблюдал ( из серьезных ).
Отчасти иногда влияет эмоциональная окраска текста, но не более того.
Название: Определение пола автора текста
Отправлено: Milchar от июля 27, 2014, 21:22
A.kornilov1

а вы знакомы с такой психологической теорией, как соционика? В ней люди классифицируются по 4 признакам: интроверсия - экстраверсия, рациональность - иррациональность, логика - этика, сенсорика - интуиция. Из примеров "мужских" и "женских" текстов, которые вы выложили, у меня складывается впечатление, что ваша программа меряет именно признак логика - этика, считая логиков мужчинами, а этиков женщинами. Логики среди мужчин и этики среди женщин действительно преобладают, но соотношение где-то примерно 65:35.
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июля 27, 2014, 21:30
Milchar
Огромная Вам благодарность от меня.
Я не только знаком, но и первоначальную выборку для обучения алгоритма взял с социофорума. 
Возможно, ваша версия объясняет некоторые моменты которые мне до сегодняшнего дня были не ясны.
Только вот встает вопрос каким образом возник переход с измерения гендера на признаки логики-этики...
Название: Определение пола автора текста
Отправлено: Milchar от июля 27, 2014, 21:43
A.kornilov1

Видимо, какие-то стереотипные образы мужчины и женщины показывают мужчину логиком, а женщину этиком.
А вы не пробовали сравнивать тексты, написанные мужчиной и женщиной, относящимися к одному социотипу?
Название: Определение пола автора текста
Отправлено: A.kornilov1 от июля 27, 2014, 21:55
Milchar
Нет. Перекрестные проверки будут как только отточу анализ социотипов. А до этого нужно кончить с темпераментом.
Странно то, что выборку я делал то только по м/ж хоть и с социофорума. Теперь буду думать как повлиял на эту выборку социотип. А так как это статистический анализ то стереотипы не должны были повлиять на результаты.


Я соционику не брал раньше в расчет из-за её статуса "недонауки". Как видно, я недооценил оную.
Название: Определение пола автора текста
Отправлено: Milchar от июля 27, 2014, 22:16
A.kornilov1

Соционика -- это просто классификация по наиболее бросающимся в глаза признакам.
Ещё, наверно, стоит пообщаться с лингвистами, занимающимися смежными темами -- например: анализ особенностей речи на предмет выявления эмоциональной вовлечённости говорящего в ситуацию, отношения говорящего к предмету разговора, лжи, и т.п. Этим занимается, например, Анна Коростелёва в МГУ.
Но вообще -- очень сложное дело вы затеяли. Удачи вам!
Название: Определение пола автора текста
Отправлено: Alone Coder от октября 14, 2015, 18:23
Сообщите, если не сложно, результат теста по произведениям "Кавалерист-девица": http://az.lib.ru/d/durowa_n_a/text_0080.shtml и "Капитанская дочка" http://rvb.ru/pushkin/01text/06prose/01prose/0869.htm
Название: Определение пола автора текста
Отправлено: bvs от октября 14, 2015, 19:04
Цитата: A.kornilov1 от июня 29, 2014, 19:11
snn - Мужчина сильно выражено
Мне всегда казалось, что snn - женщина. А для транссексуалов вроде Даны и Александры нужен отдельный алгоритм.
Название: Определение пола автора текста
Отправлено: Ыняша от октября 14, 2015, 19:28
Тащемта задача классификации - нейронная сеть должна хорошо справляться.
Название: Определение пола автора текста
Отправлено: Алcy от ноября 10, 2015, 11:27
Пол легко определяется по даже самым кондовым алгоритмам с использованием марковских цепей, даже безо всякой фонематической записи или журавлёвских "звукобукв".
Название: Определение пола автора текста
Отправлено: Alone Coder от ноября 10, 2015, 13:11
У вас есть такая программа? Каковы ошибки такого определения (М вместо Ж и Ж вместо М) по классам текстов?
Название: Определение пола автора текста
Отправлено: Алcy от ноября 11, 2015, 15:16
Цитата: Alone Coder от ноября 10, 2015, 13:11
У вас есть такая программа? Каковы ошибки такого определения (М вместо Ж и Ж вместо М) по классам текстов?

Зависит от языка. "Я сходила" невольно вырвется в речи женщины.
Для каждого языка надо настраивать отдельно. Часто эффективность зависит от морфологии исследуемого языка.
Название: Определение пола автора текста
Отправлено: злой от ноября 11, 2015, 16:46
А еще женщины реже ругаются матом. Так что добавьте в текст про новую тоналку и блеск для губ парочку "б@я" и он автоматически станет мужским ;D
Название: Определение пола автора текста
Отправлено: Ыняша от ноября 11, 2015, 16:53
Цитата: Алcy от ноября 11, 2015, 15:16
Зависит от языка. "Я сходила" невольно вырвется в речи женщины.
Для каждого языка надо настраивать отдельно. Часто эффективность зависит от морфологии исследуемого языка.
Я потому и предлагаю сети - им всё равно на каком языке и что там вообще происходит. Научить на выборке побольше и будут приемлемо классифицировать.
Название: Определение пола автора текста
Отправлено: Алcy от ноября 11, 2015, 18:58
Цитата: Ыняша от ноября 11, 2015, 16:53
Цитата: Алcy от ноября 11, 2015, 15:16
Зависит от языка. "Я сходила" невольно вырвется в речи женщины.
Для каждого языка надо настраивать отдельно. Часто эффективность зависит от морфологии исследуемого языка.
Я потому и предлагаю сети - им всё равно на каком языке и что там вообще происходит. Научить на выборке побольше и будут приемлемо классифицировать.

Вот именно. Научить. Конечные ключевые особенности отличаются для разных языков.