Most of the attempts to develop and validate tools for the automatic assessment of Critical Thinking (CT) related-skills applied Natural Language Processing techniques (NLP) to English written texts, with a few applications in other languages. Therefore, this research was aimed at understanding which NLP features correlates with six CT sub- dimensions in essays written in Italian language. 206 Master Degree students’ pre-post essays were assessed both by human evaluators and by an algorithm which automatically calculates different kinds of NLP features. We found a positive internal reliability and a medium to high inter-coder agreement of the human evaluators. Three NLP indicators significantly correlate with CT total score: Corpus Length, Syntax Complexity, and an adapted measure of Term Frequency-Inverse Document Frequency.

La maggior parte dei tentativi di sviluppare e validare strumenti per la valutazione automatica delle competenze di Pensiero Critico (CT) ha applicato tecniche di elaborazione del linguaggio naturale (NLP) a testi scritti in inglese, con poche applicazioni in altre lingue. Pertanto, questa ricerca mira a comprendere quali indicatori NLP, estratti da saggi scritti in italiano, correlino con sei sotto-dimensioni del CT. 206 saggi pre-post di studenti di laurea magistrale sono stati valutati sia da esperti umani che da un algoritmo che calcola automaticamente alcuni indicatori NLP. È stata riscontrata una buona attendibilità interna e un accordo inter-giudice medio-alto. Tre indicatori NLP correlano in modo significativo al punteggio di CT totale: lunghezza del testo, complessità della sintassi e una versione adattata del Term Frequency-Inverse Document Frequency.

Poce, A., Amenduni, F., Re, M.R., De Medio, C., Norgini, A. (2020). Correlations among natural language processing indicators and critical thinking sub-dimensions in HiEd students. FORM@RE, 20(3), 43-67 [10.13128/form-9902].

Correlations among natural language processing indicators and critical thinking sub-dimensions in HiEd students

Poce, Antonella
;
Amenduni, Francesca;Re, Maria Rosaria;De Medio, Carlo;Norgini, Alessandra
2020

Abstract

La maggior parte dei tentativi di sviluppare e validare strumenti per la valutazione automatica delle competenze di Pensiero Critico (CT) ha applicato tecniche di elaborazione del linguaggio naturale (NLP) a testi scritti in inglese, con poche applicazioni in altre lingue. Pertanto, questa ricerca mira a comprendere quali indicatori NLP, estratti da saggi scritti in italiano, correlino con sei sotto-dimensioni del CT. 206 saggi pre-post di studenti di laurea magistrale sono stati valutati sia da esperti umani che da un algoritmo che calcola automaticamente alcuni indicatori NLP. È stata riscontrata una buona attendibilità interna e un accordo inter-giudice medio-alto. Tre indicatori NLP correlano in modo significativo al punteggio di CT totale: lunghezza del testo, complessità della sintassi e una versione adattata del Term Frequency-Inverse Document Frequency.
Most of the attempts to develop and validate tools for the automatic assessment of Critical Thinking (CT) related-skills applied Natural Language Processing techniques (NLP) to English written texts, with a few applications in other languages. Therefore, this research was aimed at understanding which NLP features correlates with six CT sub- dimensions in essays written in Italian language. 206 Master Degree students’ pre-post essays were assessed both by human evaluators and by an algorithm which automatically calculates different kinds of NLP features. We found a positive internal reliability and a medium to high inter-coder agreement of the human evaluators. Three NLP indicators significantly correlate with CT total score: Corpus Length, Syntax Complexity, and an adapted measure of Term Frequency-Inverse Document Frequency.
Poce, A., Amenduni, F., Re, M.R., De Medio, C., Norgini, A. (2020). Correlations among natural language processing indicators and critical thinking sub-dimensions in HiEd students. FORM@RE, 20(3), 43-67 [10.13128/form-9902].
File in questo prodotto:
Non ci sono file associati a questo prodotto.

I documenti in IRIS sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/11590/376547
Citazioni
  • ???jsp.display-item.citation.pmc??? ND
  • Scopus ND
  • ???jsp.display-item.citation.isi??? ND
social impact