Stanislav V. Mikov ([info]stanislav_mikov) wrote,
@ 2009-10-24 03:18:00
Previous Entry  Add to memories!  Tell a Friend  Next Entry
Current music:Ногу Свело - [Хару-Мамбуру #02] You Are Big
Entry tags:тесты

Загадочное

Сегодня утром мне пришла в голову мысль дополнить частотный анализ текста построением кластеров частых слов, выделенных по минимальной дистанции между словами.
В кластер попадают частые слова из текста, которые к тому же часто встречаются рядом (относительно рядом).
Текст берётся из последних 25 публичных записей дневника [жж].
Пока в массовое пользование запустить не готов, но кому интересно, отписывайтесь, сгенерю чудесный граф для вас.
Спасибо яндексу за чудесный mystem.

Под кат я запихал результаты обработки своих стихов за последние 12 лет. Тоже занятно.


Парсер - лох. Вместо "душ", конечно же, "душа".


UPD: При желании можете теперь попробовать сами потестить свой журнал, только пока с ограничениями.


Page 1 of 2
<<[1] [2] >>

(99 comments) - (Post a new comment)


[info]anti_nlp
2009-10-23 11:29 pm UTC (link)
Где-то в сети видел "Визуальную энциклопедию".
Похоже..

(Reply to this) (Thread)

[info]stanislav_mikov
2009-10-23 11:40 pm UTC (link)
Сразу видно политический журнал:

(Reply to this) (Parent)(Thread)(Expand)
(no subject) - [info]anti_nlp, 2009-10-24 12:43 am UTC (Expand)

[info]the_reverse
2009-10-23 11:30 pm UTC (link)
на днях думал о такой штуке)
сможешь для меня сделать?))

(Reply to this) (Thread)

[info]stanislav_mikov
2009-10-23 11:36 pm UTC (link)

(Reply to this) (Parent)(Thread)(Expand)
(no subject) - [info]the_reverse, 2009-10-23 11:47 pm UTC (Expand)

[info]in_kant
2009-10-23 11:33 pm UTC (link)
Я человеком быть не мог,
Я весь - лишь сон души.
Ты солнцем быть не можешь -
Я же был в пути,
Где сон, и ночь, и мира нет.
Мне в душ пора идти.

(Reply to this) (Thread)(Expand)

[info]stanislav_mikov
2009-10-23 11:37 pm UTC (link)
Это ужасно, что вместо "душа" получилось "душ". У меня ни разу оно не встречалось.

(Reply to this) (Parent)(Thread)(Expand)
(no subject) - [info]fish_gaff, 2009-11-03 08:30 pm UTC (Expand)
(no subject) - [info]stanislav_mikov, 2009-10-23 11:39 pm UTC (Expand)
(no subject) - [info]in_kant, 2009-10-23 11:50 pm UTC (Expand)
(no subject) - [info]in_kant, 2009-10-23 11:52 pm UTC (Expand)

[info]shiko_1st
2009-10-23 11:58 pm UTC (link)
Так-так...

(Reply to this) (Thread)

[info]stanislav_mikov
2009-10-24 08:36 am UTC (link)
Да-да? =)

(Reply to this) (Parent)

[info]fedor_svolotch
2009-10-24 12:03 am UTC (link)
Ого интересная штука. :) а мой ЖЖ можешь проанализировать так? :))

(Reply to this) (Thread)

[info]stanislav_mikov
2009-10-24 08:39 am UTC (link)

(Reply to this) (Parent)(Thread)(Expand)
(no subject) - [info]fedor_svolotch, 2009-10-24 11:37 am UTC (Expand)

[info]p_ab
2009-10-24 12:24 am UTC (link)
Задумался как это можно реализовать. Даже наверно не в таком виде, но мысль пока окончательно не оформилась.

(Reply to this) (Thread)

[info]stanislav_mikov
2009-10-24 08:55 am UTC (link)
http://stanislav-mikov.livejournal.com/408470.html?thread=5589398#t5589398

(Reply to this) (Parent)(Thread)(Expand)
(no subject) - [info]p_ab, 2009-10-24 11:46 am UTC (Expand)

[info]salieri_spb
2009-10-24 01:10 am UTC (link)
ого какая штуковинка

(Reply to this) (Thread)

[info]stanislav_mikov
2009-10-24 08:40 am UTC (link)
у тебя вообще странно получилось:

(Reply to this) (Parent)(Thread)(Expand)
(no subject) - [info]salieri_spb, 2009-10-24 03:06 pm UTC (Expand)

[info]varyushka_s
2009-10-24 05:13 am UTC (link)
мне интересно )

(Reply to this) (Thread)

[info]stanislav_mikov
2009-10-24 08:41 am UTC (link)

(Reply to this) (Parent)

[info]cdan
2009-10-24 05:25 am UTC (link)
когда будет сервис? :)

(Reply to this) (Thread)

[info]stanislav_mikov
2009-10-24 08:43 am UTC (link)
Не знаю пока. Попробую завтра вечером оформить. Побаиваюсь, что мне сервер просто положат. Но я обязательно что-нибудь придумаю, не зря ж я её делал.

(Reply to this) (Parent)

[info]kate_eburg
2009-10-24 06:02 am UTC (link)
Очень интересная штука)

(Reply to this) (Thread)

[info]stanislav_mikov
2009-10-24 08:44 am UTC (link)

(Reply to this) (Parent)

[info]liyaiovich
2009-10-24 06:24 am UTC (link)
Здорово!
Я о своем, наболевшем: это можно использовать для анализа текста в ученических исследовательских работах. Где методику взять (заискивающе)?

(Reply to this) (Thread)

[info]stanislav_mikov
2009-10-24 08:54 am UTC (link)
Не уверен, что это стоит использовать для реального анализа, так как тут есть несколько неестественных мест. К примеру, оно не смотрит на границы предложений - воспринимает весь текст как одно большое предложение.
А алгоритм примерно такой:
1. Для каждого слова берём морфологическую лемму (существительные - в им. пад. ед. ч., глаголы - в н.ф. и т.д.)
2. Считаем частоту каждого слова
3. Отбираем N наиболее часто встречающихся слов
4. Сравниваем все слова попарно и запоминаем среднюю дистанцию между этими словами в тексте
5. Сортируем список парных слов по дистанции
6. Отбираем M пар с минимальной дистаницаей
7. Пихаем этот список в качестве вершин графа в библиотеку для рисования графов
8. Радуемся жизни.

(Reply to this) (Parent)(Thread)(Expand)
(no subject) - [info]liyaiovich, 2009-10-24 02:51 pm UTC (Expand)
(no subject) - [info]stanislav_mikov, 2009-10-25 04:47 pm UTC (Expand)
(no subject) - [info]liyaiovich, 2009-10-25 05:04 pm UTC (Expand)
(no subject) - [info]stanislav_mikov, 2009-10-25 07:26 pm UTC (Expand)
(no subject) - [info]liyaiovich, 2009-10-25 07:46 pm UTC (Expand)
(no subject) - [info]liyaiovich, 2009-10-25 07:50 pm UTC (Expand)
(no subject) - [info]stanislav_mikov, 2009-10-25 07:58 pm UTC (Expand)
(no subject) - [info]liyaiovich, 2009-10-25 08:04 pm UTC (Expand)
(no subject) - [info]stanislav_mikov, 2009-10-25 08:34 pm UTC (Expand)
(no subject) - [info]liyaiovich, 2009-10-25 08:56 pm UTC (Expand)

[info]formazon
2009-10-24 07:26 am UTC (link)
О! мне с точки зрения дизайна нравится! очень красиво эти штуки выглядят - даже как плакат уже круто, ты стал дизайнером))
А еще можно не только размером но и прозрачностью частоту отображать...

(Reply to this) (Thread)

[info]stanislav_mikov
2009-10-24 08:45 am UTC (link)
Да какой из меня дизайнер. Взял готовую библиотеку, она всё красиво рисует. Можно и красивее, только я не придумал, как чего раскрасить.

(Reply to this) (Parent)

[info]kotanka
2009-10-24 07:37 am UTC (link)
О, Стас, а можешь для меня такое сделать? =)

(Reply to this) (Thread)

[info]stanislav_mikov
2009-10-24 08:56 am UTC (link)

(Reply to this) (Parent)(Thread)(Expand)
(no subject) - [info]kotanka, 2009-10-24 09:01 am UTC (Expand)

[info]barbudaso
2009-10-24 08:21 am UTC (link)
А можно про меня посмотреть?)

(Reply to this) (Thread)

[info]stanislav_mikov
2009-10-24 08:56 am UTC (link)

(Reply to this) (Parent)

[info]freakywashere
2009-10-24 08:28 am UTC (link)
ух ты! *тянет руку изо всех сил* :]

(Reply to this) (Thread)

[info]stanislav_mikov
2009-10-24 08:57 am UTC (link)

(Reply to this) (Parent)(Thread)(Expand)
(no subject) - [info]freakywashere, 2009-10-24 09:50 am UTC (Expand)
(no subject) - [info]stanislav_mikov, 2009-10-24 10:30 am UTC (Expand)
(no subject) - [info]freakywashere, 2009-10-24 10:37 am UTC (Expand)

[info]tagry
2009-10-24 10:57 am UTC (link)
нет, не нужно красить, так хорошо )
а размер слов что значит? а пунктирные линии?

(Reply to this) (Thread)

[info]stanislav_mikov
2009-10-24 11:08 am UTC (link)
Размер пропорционален частоте. Пунктирные линии - если слова довольно далеко друг от друга. Жирные линии - если близко.

А насчёт красить... Субъективно. Может, надо красить, но по-другому?

(Reply to this) (Parent)

[info]3jia5l_ca6aka
2009-10-24 11:17 am UTC (link)
Почти у всех гигантское Я :)

(Reply to this) (Thread)

[info]stanislav_mikov
2009-10-24 11:20 am UTC (link)
Так и должно, в общем-то, быть. Русский язык же.

(Reply to this) (Parent)

[info]_lynxx
2009-10-24 11:36 am UTC (link)
Любопытная штука. Можно мне тоже такую?

(Reply to this) (Thread)

[info]stanislav_mikov
2009-10-24 11:43 am UTC (link)

(Reply to this) (Parent)(Thread)(Expand)
(no subject) - [info]_lynxx, 2009-10-24 12:21 pm UTC (Expand)

[info]4ch
2009-10-24 11:55 am UTC (link)
25 публичных - не очень интересно, у меня, напрмер, там бред всякий. Конечно хотелось бы по всем записям :)

(Reply to this) (Thread)

[info]stanislav_mikov
2009-10-24 12:02 pm UTC (link)
Тогда, во-первых, придётся пароль спрашивать, а во-вторых, боюсь, мне сервер положат напрочь =)

(Reply to this) (Parent)(Thread)(Expand)
(no subject) - [info]4ch, 2009-10-24 12:55 pm UTC (Expand)

[info]dsomoon
2009-10-24 12:03 pm UTC (link)
таки да... любопытно и интерсно))

(Reply to this) (Thread)

[info]stanislav_mikov
2009-10-24 12:06 pm UTC (link)

(Reply to this) (Parent)(Thread)(Expand)
(no subject) - [info]dsomoon, 2009-10-24 12:50 pm UTC (Expand)

[info]asya_kareva
2009-10-24 01:09 pm UTC (link)
Спасибо, занятно ))
И верно так..

(Reply to this) (Thread)

[info]asya_kareva
2009-10-24 01:11 pm UTC (link)
Вы пишете, что можете сгененировать граф без ограничений?
Прошу Вас, пожалуйста )

(Reply to this) (Parent)

[info]dr_shinigami
2009-10-24 01:36 pm UTC (link)
Странные вещи ограничитель говорит... вроде давно читаю, ан запрет, мол, в друзья не добавила... О_о
Можно мой потестить?

(Reply to this) (Thread)

[info]stanislav_mikov
2009-10-25 04:42 pm UTC (link)

(Reply to this) (Parent)(Thread)(Expand)
(no subject) - [info]dr_shinigami, 2009-10-25 04:53 pm UTC (Expand)

[info]orangenatka
2009-10-24 01:46 pm UTC (link)
Как необычно и интересно! Мммм?

(Reply to this) (Thread)

[info]stanislav_mikov
2009-10-25 04:44 pm UTC (link)

(Reply to this) (Parent)

[info]roxichka
2009-10-24 02:12 pm UTC (link)
а для меня? *робко* :)

(Reply to this) (Thread)

[info]stanislav_mikov
2009-10-25 04:45 pm UTC (link)

(Reply to this) (Parent)(Thread)(Expand)
(no subject) - [info]roxichka, 2009-10-25 05:36 pm UTC (Expand)

[info]kisvadim
2009-10-24 07:05 pm UTC (link)
Идея очень интересная. Какие-нибудь известные речи известных людей посмотреть бы в таком виде. Или целую книгу какую-нибудь...

(Reply to this) (Thread)

[info]stanislav_mikov
2009-10-24 08:46 pm UTC (link)
для больших текстов не oчень алгоритм подходит

(Reply to this) (Parent)

(99 comments) - (Post a new comment)

Page 1 of 2
<<[1] [2] >>

Create an Account
Forgot your login or password?
Login w/ OpenID
English • Español • Deutsch • Русский…