Semantometrics

semantic metrics to calculate the value of a publication by its full text

Authors

DOI:

https://doi.org/10.36517/2525-3468.ip.v8i0.2023.83267.1-16

Keywords:

Semantometry, Alternative metrics, Scientific publications - Quality, Scientific publications - Fulltext

Abstract

Introduction: The application and use of alternative metrics can be considered as a strategy to be adopted to complement the conventional methods of evaluating scientific production that consider only the citation count. Unlike other metrics that are based on measuring the number of interactions in the scientific communication network, semantometry, the object of study of this research, assumes that the full text is necessary to assess the value of a publication. Given this approach, this article aims to discuss this class of metric, exposing its origin in Herrmannova and Knoth (2014), its analysis methodology and its application formula by means of literature research. Method: this is an exploratory research, in which the preliminary bibliographic survey was conducted adopting seven of the ten initial steps of Query Representation, proposed by Cendón (2018). A narrative literature review was used, with analysis of the recovered documents as a whole. Results: the research on the subject was considered relevant, since there is a great concern with demonstrating the quality of research results to society and it was found that there are few publications on the subject, materialized by the results of searches in databases: Dimensions, Gale, Scopus and Web of Science. Conclusions: it is concluded that, although semantometry has advantages in its application, it is necessary to continue studying this field to better understand which facets of research quality they can capture and how they can best be applied. It was also observed its association with the mining and analysis of textual data and its relationship with techniques and tools of textual similarities, as well as with research involving altmetrics.

Downloads

Download data is not yet available.

Author Biographies

Nivaldo Calixto Ribeiro, Universidade Federal de Lavras (UFLA) / Universidade Federal de Minas Gerais (UFMG) - Brasil

Doutor em Gestão e Organização do Conhecimento pela Universidade Federal de Minas Gerais. Mestre em Administração. Graduação em Biblioteconomia e Especialista em Gestão do Conhecimento e Tecnologia da Informação pelo Centro Universitário de Formiga (2006). Estuda Comunicação científica aberta / Ciência Aberta. Atualmente é bibliotecário-documentalista na Universidade Federal de Lavras.

Dalgiza Andrade Oliveira, Universidade Federal de Minas Gerais (UFMG) - Brasil

Professora Associada da Escola de Ciência da Informação (ECI)/Programa de Pós-Graduação em Gestão da Organização e do Conhecimento (PPGGOC) da Universidade Federal de Minas Gerais (UFMG). Doutora em Ciência da Informação pelo Programa de Pós-Graduação em Ciência da Informação (PPGCI) da UFMG (2011). Mestre em Ciência da Informação (PPGCI/UFMG-2005).

Jonas Aron Cardoso Diniz, Universidade Federal de Minas Gerais (UFMG) - Brasil

Mestrando do Programa de Pós-Graduação em Gestão & Organização do Conhecimento da Universidade Federal de Minas Gerais (PPG-GOC/UFMG). Graduando do curso de Biblioteconomia na Universidade Federal de Minas Gerais (UFMG).

References

BARROS, M. Altmetrics: métricas alternativas de impacto científico com base em redes sociais. Perspectivas em Ciência da Informação, Belo Horizonte, v. 20, n. 2, p. 19-37, jun. 2015. Disponível em: http://portaldeperiodicos.eci.ufmg.br/index.php/pci/article/view/1782. Acesso em: 30 jun. 2022.

BRIERLEY, L. et al. Tracking changes between preprint posting and journal publication during a pandemic. PLoS Biology, San Francisco, v. 20, n. 2, e3001285, 2022. Disponível em: https://doi.org/10.1371/journal.pbio.3001285. Acesso em: 30 jun. 2022.

BURLAND, T.; GROUT, C. Standards and Interoperability: how Jisc's Work Supports Reporting, Communicating and Measuring Research in the UK. Procedia Computer Science, Amsterdam, v. 106, p. 276-282, 2017. Disponível em: https://doi.org/10.1016/j.procs.2017. 03.026. Acesso em: 2 jul. 2022.

CENDON, B. V. Exercícios: passos na busca. Disciplina Metodologia da Pesquisa. Escola de Ciência da Informação da Universidade Federal de Minas Gerais, 2018.

ERDT, M. et al. Altmetrics: an analysis of the state-of-the-art in measuring research impact on social media. Scientometrics, Amsterdam, v. 109, p. 1117-1166, 10 aug. 2016. Disponível em: https://doi.org/10.1007/s11192-016-2077-0. Acesso em: 30 jun. 2022.

FERREIRA, S. A. Produção Científica sobre Biblioteca Pública nos Programa de Pós-Graduação em Ciência da Informação no Brasil. 2017. Dissertação (Mestrado em Ciência da Informação) – Escola de Ciência da Informação, Universidade Federal de Minas Gerais, Belo Horizonte, 2017.

GARCIA, L. S. Interação humano-computador: espaços cognitivos no uso de sistemas computacionais. Curitiba: UFPR, 2016. Disponível em: https://www.inf.ufpr.br/laura/IHC-2016-2/Material%20anterior/IHC-Engenharia-Cognitiva-26-09-16.pdf. Acesso em: 30 jun. 2022.

HERRMANNOVA, D. [Curriculum vitae]. Bethel Valley Road, 10 set. 2021. Disponível em: https://dasha.tech/documents/dasha_herrmannova_cv.pdf. Acesso em: 30 jun. 2022.

HERRMANNOVA, D. Mining scholarly publications for research evaluation. 2018. 428p. Thesis (PhD) - The Open University. Disponível em: http://oro.open.ac.uk/55421/7/dissertation_final.pdf. Acesso em: 30 jun. 2022.

HERRMANNOVA, D.; KNOTH, P. An analysis of the microsoft academic graph. D-Lib Magazine, Restom, v. 22, n. 9/10, 2016. Disponível em: https://www.dlib.org/dlib/september16/herrmannova/09herrmannova.html. Acesso em: 30 jun. 2022.

HERRMANNOVA, D.; KNOTH, P. Semantometrics in coauthorship networks: Fulltext-based approach for analysing patterns of research collaboration. D-Lib Magazine, Restom, v. 21, n. 11-12, 2015. Disponível em: https://doi.org/10.1045/november2015-herrmannova. Acesso em: 30 jun. 2022.

HERRMANNOVA, D.; KNOTH, P. Towards semantometrics: a new semantic similarity based measure for assessing a research publication's contribution. D-Lib Magazine, Restom, v. 20, n. 11/12, 2014. Disponível em: http://www.dlib.org/dlib/november14/knoth/11knoth.html. Acesso em: 30 jun. 2022.

HILL, S. A. Making the future of scholarly communications. Learned Publishing, Hatfield, v. 29, n. 1, p. 366-370, oct. 2016. Disponível em: https://onlinelibrary.wiley.com/doi/full/10.1002/leap.1052. Acesso em: 30 jun. 2022.

JURAFSKY, D.; MARTIN, J. H. Speech and language processing: an introduction tonatural language processing, computational linguistics, and speech recognition. 3. New Jersey: Prentice Hall. 2019.

KNOTH, P.; HERRMANNOVA, D. Semantometrics: fulltext-based measures for analyzing research collaboration. In: INTERNATIONAL CONFERENCE OF THE INTERNATIONAL SOCIETY FOR SCIENTOMETRICS AND INFORMETRICS,15, 2015, Istanbul, TURKEY. Anais… Istanbul: ISSIS, 2015. Disponível em: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.698.159&rep=rep1&type=pdf. Acesso em: 30 jun. 2022.

KREUTZ, C. K.; SAHITAJ, P.; SCHENKEL, R. Revaluating Semantometrics from Computer Science Publications. In: INTERNATIONAL CONFERENCE ON RESEARCH AND DEVELOPMENT IN INFORMATION RETRIEVAL (SIGIR) 42., 2019, Paris, France. Anais… Paris: SIGIR, 2019. p. 42-55. Disponível em: http://ceur-ws.org/Vol-2414/paper5.pdf. Acesso em: 30 jun. 2022.

PARINOV, S. Citation contexts as a data source for evaluation of scholarly consumption. Scientometrics, Amsterdam, v. 126, n. 1, p. 9249-9265, sep. 2021. https://doi.org/10.1007/s11192-021-04165-w. Acesso em: 30 jun. 2022.

PARINOV, S.; BAKAROV, A.; VODOLAZSKY, D. Layout logical labelling and finding the semantic relationships between citing and cited paper content. International Journal of Metadata Semantics and Ontologies, London, v. 14, n. 1, p. 54-62, jun. 2020. Disponível em: https://www.inderscienceonline.com/doi/abs/10.1504/IJMSO.2020.107796. Acesso em: 30 jun. 2022.

PONTIKA, N. et al. Fostering open science to research using taxonomy and an elearning portal. In: INTERNATIONAL CONFERENCE ON KNOWLEDGE TECHNOLOGIES AND DATA-DRIVEN BUSINESS, 15., 2015. Proceedings... Graz, Áustria: Association for Computing Machinery, 2015. Disponível em: http://oro.open.ac.uk/44719/. Acesso em: 30 jun. 2022.

RAUPP, F. M.; BEUREN, I. M. Metodologia da Pesquisa Aplicável às Ciências Sociais. In: BEUREN, I. M. (Org.). Como elaborar trabalhos monográficos em contabilidade: teoria e prática. 3. ed. São Paulo: Atlas, 2013, p. 76-97.

RODRIGUES, M. P. L. Citações nas dissertações de mestrado em Ciência da Informação. Ciência da Informação, Brasília, v. 11, n. 1, p. 35-61, 1982. Disponível em: https://revista.ibict.br/ciinf/article/view/177. Acesso em: 08 out. 2022.

ROEMER, R. C.; BORCHARDT, R. Altmetrics. Library Technology Reports, Chicago, v. 51, n. 5, jul. 2015. Disponível em: link.gale.com/apps/doc/A433686573/AONE?u=capes&sid=bookmark-AONE&xid=97f13838. Acesso em: 30 jun. 2022.

SANTOS, R. N. M. D.; KOBASHI, N. Y. Bibliometria, cientometria, infometria: conceitos e aplicações. Encontros Bibli: Revista Eletrônica de Biblioteconomia e Ciência da Informação, Florianópolis, v. 2, n. 1, 2009. Disponível em: https://repositorio.ufpe.br/handle/123456789/10089. Acesso em: 08 out. 2022.

SEMANTOMETRICS. Contribution measure. Milton Keynes: Knowledge Media Institute, The Open University, 2017. http://semantometrics.org/contact.html. Acesso em: 30 jun. 2022.

SILVA, D. F. Estudo de funções de similaridade semântica de termos aplicadas a um domínio. 2008. 45p. Trabalho de Conclusão de Curso (Graduação) - Ciência da Computação do Centro de Informática, Universidade Federal de Pernambuco, Recife, 2008.

SILVEIRA, L. et al. Ciência aberta na perspectiva de especialistas brasileiros: proposta de taxonomia. Encontros Bibli: Revista eletrônica de Biblioteconomia e Ciência da Informação, Florianópolis, v. 26, n. 1, p. 1-27, 2021. DOI 10.5007/1518-2924.2021.e79646. Disponível em: https://periodicos.ufsc.br/index.php/eb/article/view/79646. Acesso em: 30 jun. 2022.

SOUZA, I. V. P. Altmetria ou métricas alternativas: conceitos e principais características. AtoZ: novas práticas em informação e conhecimento, Curitiba, v. 4, n. 2, p. 58-60, 2015. Disponível em: http://dx.doi.org/10.5380/atoz.v4i2.44554. Acesso em: 30 jun. 2022.

VANTI, N. Os links e os estudos webométricos. Ciência da Informação, Brasília, v. 34, n. 1, 2005. Disponível em: https://revista.ibict.br/ciinf/article/view/1104. Acesso em: 08 out. 2022.

VANTI, N.; SANZ-CASADO, E. Altmetria: a métrica social a serviço de uma ciência mais democrática. Transinformação, Campinas, v. 28, n. 3, p. 349-358, 2016. Disponível em: https://www.scielo.br/j/tinf/a/KsKpZZrfp3nZWF3pLZVy7cP/abstract/?lang=pt. Acesso em: 08 out. 2022.

ZHANG, Z.; TAM, W.; COX, A.; Towards automated analysis of research methods in library and information science. Quantitative Science Studies, Cambridge, v. 2, n. 2,p. 698-732, Jul. 2021. Disponível em: https://doi.org/10.1162/qss_a_00123. Acesso em: 30 jul. 2022.

Published

2023-10-12

How to Cite

RIBEIRO, Nivaldo Calixto; OLIVEIRA, Dalgiza Andrade; DINIZ, Jonas Aron Cardoso. Semantometrics: semantic metrics to calculate the value of a publication by its full text. Informação em Pauta, [S. l.], v. 8, p. 1–16, 2023. DOI: 10.36517/2525-3468.ip.v8i0.2023.83267.1-16. Disponível em: http://www.periodicos.ufc.br/informacaoempauta/article/view/83267. Acesso em: 11 may. 2024.