Visual mapping of text collections using an approximation of Kolmogorov complexity.
| dc.contributor | Instituto de Ciências Matemáticas e de Computação – ICMC/USP | pt_BR |
| dc.contributor.author | Telles, Guilllerme P. | |
| dc.contributor.author | Minghim, Rosane | |
| dc.contributor.author | Paulovich, Fernando Vieira | |
| dc.date.accessioned | 2018-08-29T15:07:40Z | |
| dc.date.available | 2018-08-29T15:07:40Z | |
| dc.date.issued | 2005-06 | |
| dc.description.abstract | The generation of content-based text maps is an important issue to support exploration of information and to help find relevant reading material in increasingly complex document databases. Most techniques that help relate or visualize texts rely on a vector representation that is, at its best, ad-hoc as to its parameterization. This paper presents a novel approach capable of generating a map of documents without the painstaking pre-processing steps, by comparing text against text through an approximation of the Kolmogorov complexity. The similarity measure taken from that analysis is then used to map data in 2D by applying fast multidimensional projection techniques (instead of dimensionality reduction or random initial point placement). The resulting maps show a high degree of content separation and good grouping of similar documents. The approach can be used to map text collections in a variety of applications and the map can be interacted with to further explore text groups. By avoiding vector representation our technique decreases the bias characteristic of that approach and the need for user knowledge of the process. The approach also lends itself to incremental processing for reduction of computational costs. | pt_BR |
| dc.description.notes | Relatórios Técnicos do ICMC; 262 | pt_BR |
| dc.format | 21 p. | pt_BR |
| dc.identifier.uri | http://repositorio.icmc.usp.br//handle/RIICMC/6831 | |
| dc.language.iso | eng | pt_BR |
| dc.publisher.city | São Carlos, SP, Brasil. | pt_BR |
| dc.subject | Engenharia de software | pt_BR |
| dc.title | Visual mapping of text collections using an approximation of Kolmogorov complexity. | pt_BR |
| dc.title.alternative | Mapeamento visual de coleções de texto usando uma aproximação da complexidade de Kolmogorov. | pt_BR |
| dc.type.category | Relatórios técnicos | pt_BR |
| usp.description.abstracttranslated | A geração de mapas de texto baseados em conteúdo é uma questão importante para apoiar a exploração de informações e para ajudar a encontrar material de leitura relevante em bancos de dados de documentos cada vez mais complexos. A maioria das técnicas que ajudam a relacionar ou visualizar textos depende de uma representação vetorial que é, na melhor das hipóteses, ad-hoc quanto à sua parametrização. Este artigo apresenta uma nova abordagem capaz de gerar um mapa de documentos sem as meticulosas etapas de pré-processamento, comparando texto contra texto através de uma aproximação da complexidade de Kolmogorov. A medida de similaridade obtida a partir dessa análise é então usada para mapear dados em 2D aplicando técnicas de projeção multidimensional rápidas (em vez de redução de dimensionalidade ou posicionamento de ponto inicial aleatório). Os mapas resultantes mostram um alto grau de separação de conteúdo e bom agrupamento de documentos semelhantes. A abordagem pode ser usada para mapear coleções de texto em uma variedade de aplicativos e o mapa pode ser interagido para explorar mais os grupos de texto. Ao evitar a representação vetorial, nossa técnica diminui o viés característico dessa abordagem e a necessidade de conhecimento do usuário sobre o processo. A abordagem também se presta ao processamento incremental para redução de custos computacionais. | pt_BR |