Design and application of an instrument to evaluate argumentative academic essays
DOI:
https://doi.org/10.24197/ogigia.36.2024.257-288Keywords:
writing evaluation, rubric validation, argumentative academic essay, academic community, higher educationAbstract
This study addresses the complexity of academic writing, highlighting the lack of attention to the assessment of writing. The aim is to develop and empirically validate an analytical rubric for assessing the quality of academic essays. The research design included construct definition, expert validation and application to 67 essays of first-year university students. The results show the validity and reliability of the instrument, suggesting its usefulness for the assessment of argumentative essays in academic settings. This approach provides a valuable tool for the academic community seeking to improve the assessment of writing in university contexts.Downloads
References
Anguiano, María y Velasco, Virginia (2013). “La construcción y evidencias de validez de una rúbrica analítica para la evaluación de ensayos”. Revista de Evaluación Educativa,1(2). Disponible en http://revalue.mx/revista/index.php/revalue/issue/current [28/03/24]
Adam, Jean Michel (1992). Los textos: tipos y prototipos. Relato, descripción, argumentación, explicación, diálogo. Paris: Nathan.
Álvarez, Gerardo (2006). “Un enfoque discursivo/textual para la enseñanza de idiomas”. Onomázein, 14, pp. 163–169. DOI: https://doi.org/10.7764/onomazein.14.05
Bañales, Gerardo; Vega, Norma; Reyna, Antonio; Pérez, Elsa y Rodríguez, Brianda (2014). “La argumentación escrita en las disciplinas: retos de alfabetización de los estudiantes universitarios”. Revista Internacional de Ciencias Sociales y Humanidades, SOCIOTAM, 24(2), pp. 29-52.
Beltrán, Liliana y Burdiles, Gina (2021). “Modos semióticos del discurso profesional de la filosofía”. Alpha (Osorno), (53), pp. 263-274. DOI: https://dx.doi.org/10.32735/s0718-2201202100053954
Burdiles, Gina (2011). Descripción de la organización retórica del género Caso Clínico de la medicina a partir del Corpus CCM-2009. Tesis doctoral. Valparaíso, Chile: Pontificia Universidad Católica de Valparaíso.
Calle-Álvarez, Gerzon (2020). “La rúbrica de autoevaluación como estrategia didáctica de revisión de la escritura”. Revista de Investigación, Desarrollo e Innovación, 10(2), pp. 323-335. DOI: https://doi.org/10.19053/20278306.v10.n2.2020.10628
Cancino-Santizo, Juan; Vásquez, José y Chávez, David (2023). “Escala de Estimación Socioformativa (EES): validez de contenido y constructo para valorar ensayos académicos en Educación Normal”. Revista Fuentes, 25(3), pp.1-11. DOI: https://doi.org/10.12795/revistafuentes.2023.21776
Castelló, Montserrat; Corcelles, Mariona; Iñesta, Anna; Vega, Norma y Bañales, Gerardo (2011). “La voz del autor en la escritura académica: Una propuesta para su análisis”. Revista signos, 44(76), pp.105-117. DOI: https://dx.doi.org/10.4067/S0718-09342011000200001
Castro, Eleine; Venegas, René; Puma, Giovana y Cuba, Stephany (2021). “Propuesta de un modelo retórico-discursivo del género ensayo argumentativo”. Nueva Revista del Pacífico, 75, pp. 128-157.
Carvajal, Ana; Centeno, Carlos; Watson, Roger; Martínez, Marina y Sanz, Ángeles (2011). “¿Cómo validar un instrumento de medida de la salud?”. Anales del Sistema Sanitario de Navarra, 34(1), pp. 63-72.
Charaudeau, Patrick (1992). Grammaire du sens et de l’expression. Paris: Hachette.
De la Peña, Alicia y Núñez, Juan (2018). “Aproximación al uso de rúbricas para la evaluación escritos en la universidad. Voletín Virtual”, 7(8), pp. 71-88. DOI: https://revista.redipe.org/index.php/1/article/view/543
Errázuriz, María Constanza (2019). “Desempeño escrito de estudiantes de programas de formación inicial docente: ¿Cómo es la calidad del proceso de escritura de sus ensayos?”. Lengua y habla, 1(23), pp. 224-242.
Figueroa, Javiera; Chandía, Eugenio y Meneses, Alejandra (2020). “Perfiles de escritores: calidad y recursos de lenguaje académico en ensayos escritos por estudiantes de 8.º básico”. Cognit Universidad Diego Portales, 12(1), pp. 105-133. DOI: https://doi.org/10.32995/cogency.v12i1.336
Figueroa, Javiera; Chandía, Eugenio y Meneses, Alejandra (2018). “Calidad de la escritura en explicaciones y argumentaciones: validación estructural de una rúbrica para medir desempeños”. Boletín de Lingüística, 30, pp. 43-67.
Fleiss, Joseph (1981). Statistical methods for rates and proportions (2nd ed.), Nueva York: Wiley.
Gardner, Shina y Nesi, Hilary (2013). “A Classification of Genre Families in University Student Writing”. Applied Linguistics, (34), pp. 25-52. DOI: https://doi.org/10.1093/applin/ams024
García, Marisol y Bustamante, Jenny (2006). “El ensayo periodístico y sus concepciones: algunas implicaciones pedagógicas”. Anàlisi, 33, pp. 17-30.
García, Marisol (2004). “Análisis discursivo de ensayos estudiantiles”. Letras, 47(71), pp. 33-62. Disponible en http://ve.scielo.org/scielo.php?script=sci_arttext&pid=S0459-12832005000200002&lng=es&tlng=es [28/03/24]
Ghanbari, Nasim y Barati, Hossein (2020). “Development and validation of a rating scale for Iranian EFL academic writing assessment: a mixed-methods study”. Language Testing in Asia, 10(17), pp.1-21. DOI: https://doi.org/10.1186/s40468-020-00112-3
Gimenez, Julio (2008). “Beyond the academic essay: Discipline-specific writing in nursing and midwifery”. Journal of English for Academic Purposes, 7(30), pp. 151-164. DOI: https://doi.org/10.1016/j.jeap.2008.03.005
González-Anguieta, Alondra (2022). “Rúbrica de evaluación interdisciplinaria: un instrumento de verificación de resultados de aprendizaje”. Prometeo Conocimiento Científico, 2(1), pp.1-17. DOI: https://doi.org/10.55204/pcc.v2i1.7
Hyland, Ken (2005). “Stance and engagement: A model of interaction in academic discourse”. Discourse Studies, 7(2), pp. 173-192. DOI: https://doi.org/10.1177/1461445605050365
Huamán, Ludencio; Hilario, Mario y Franco, Yancileide (2021). “Validación de las rúbricas como instrumento de evaluación en estudiantes universitarios de la Facultad de Educación de la Universidad Nacional del Centro del Perú - UNCP”. Horizonte de la Ciencia, 11(20), pp. 255-276. DOI: https://doi.org/10.26490/uncp.horizonteciencia.2021.20.782
Jurado, Martha y Oropeza, Elsa (2015). “Pautas de corrección para ensayos argumentativos. Iztapalapa”. Revista de ciencias sociales y humanidades, 36(78), pp. 145-166. DOI: 10.28928/revistaiztapalapa/782015/aot1/juradosalinasm/oropezagraciaev
Kloss, Steffanie y Quintanilla, Angie (2023). “Protocolos de pensamiento en voz alta: una técnica para acceder a la comprensión de la retroalimentación”. Formación universitaria, 16(6), pp.1-12. DOI: https://dx.doi.org/10.4067/S0718-50062023000600001
Koller, Ingrid; Levenson, Michael y Glück, Judith (2017). “What do you think you are measuring? A mixed-methods procedure for assessing the content validity of test items and theory-based scaling”, Frontiers in psychology, 8, pp. 1-20. DOI: http://dx.doi.org/10.3389/fpsyg.2017.00126
Landis, Richard y Koch, Gary (1977). “The Measurement of Observer Agreement for Categorical Data”, Biometrics, 33, pp. 159-174.
Louwerse, Max (2004). “Un modelo conciso de cohesión en el texto y coherencia en la comprensión”, Revista Signos, 37, pp. 41-58.
Marin-Garcia, Juan y Santandreu-Mascarell, Cristina (2015). ¿“What do we know about rubrics used in higher education?”, Intangible Capital, 11(1), pp. 118-145. DOI: https://doi.org/10.3926/ic.538
Martínez-Huamán, Edgard; Bellido, Aníbal; Félix, Edwin y Rivas-Plata, Cecilia (2022). “Elaboración y validación de una rúbrica para medir competencias de comunicación escrita”, Revista Universidad y Sociedad, 14(5), pp. 490-505.
Martínez, Martín y Juárez, Luis (2020). “Análisis de validez de constructo y confiabilidad de un instrumento para evaluar la formación en sostenibilidad en educación superior”. Entreciencias: diálogos en la sociedad del conocimiento, 8(22), e22.70323. DOI: https://doi.org/10.22201/enesl.20078064e.2020.22.70323
Mendoza, Arturo y Knoch, Ute (2018). “Examining the validity of an analytic rating scale for a Spanish test for academic purposes using the argument-based approach to validation”, Assessing Writing, 35(July 2016), pp. 41-55. DOI: https://doi.org/10.1016/j.asw.2017.12.003
Merma-Molina, Gladys; Peña-Alfaro, Hirma y Peña-Alfaro, Silvia (2017). “Diseño y validación de una rúbrica para evaluar la adecuación de artículos científicos al estilo de la American Psychological Association”, Journal of New Approaches in Educational Research, 6(1), pp. 78-86. DOI: https://doi.org/10.7821/naer.2017.1.220
Meza, Paulina y Catalán, Felipe (2021). “Un instrumento para evaluar la calidad lingüístico-discursiva de textos disciplinares producidos por estudiantes de Derecho”, Onomazein, 51, pp. 163-184. DOI: https://doi.org/10.7764/onomazein.51.08
Meza, Paulina y González, Mauricio (2020). “Construction and validation of the self-efficacy scale for disciplinary academic writing. Cogent Education”, 7(1), pp. 1-31- DOI: https://doi.org/10.1080/2331186X.2020.1830464
Montero, Ignacio y León, Orfelio (2002). “Clasificación y descripción de las metodologías de investigación en Psicología”. International Journal of Clinical and Health Psychology, 2(3), pp. 503-508. Disponible en http://www.aepc.es/ijchp/articulos_pdf/ijchp-53.pdf [26/03/24]
Montolío, Estrella (2015). Conectores de la lengua escrita. Barcelona: Ariel.
Muñoz, Carla y Valenzuela, Jorge (2015). “Características psicométricas de una rúbrica para evaluar expresión escrita a nivel universitario”. Formación universitaria, 8(6), pp. 75-84. DOI: https://doi.org/10.4067/S0718-50062015000600010
Nakkaew, Nattawut (2018). Developing a Valid and Reliable Analytic Rubric To Assess Critical Thinking in English Argumentative Essays of EFL University Students. Tesis de Maestría, Thammasat University, Tailandia.
Nakkaew, Nattawut y Adunyarittigun, Dumrong (2019). “An initial development of an analytic rubric for assessing critical thinking in english argumentative essays of EFL college students”. REFLections, 26(2), pp. 51-74. DOI: https://doi.org/10.61508/refl.v26i2.241755
Parodi, Giovanni y Gramajo, Aída (2003). “Los tipos textuales del corpus técnico-profesional PUCV 2003: una aproximación multiniveles”. Revista Signos, 36(54), pp. 207-223. DOI: https://dx.doi.org/10.4067/S0718-09342003005400006
Perelman, Flor (2001). “Textos argumentativos: su producción en el aula”. Lectura y Vida, 22 (2), pp. 32-45.
Portolés, José (2014). Marcadores del discurso. Barcelona: Ariel.
Razi, Salim (2015). “Development of a Rubric to Assess Academic Writing Incorporating Plagiarism Detectors”. Sage, 2, pp. 1-13. DOI: https://doi.org/10.1177/2158244015590162
Reddy, Malini y Andrade, Heidi (2010). “A review of rubric use in higher education”. Assessment & Evaluation in Higher Education, 35(4), pp. 435-448. DOI: https://doi.org/10.1080/02602930902862859
Rey-Castillo, Marisol y Gómez-Zermeño, Marcela (2021). “Dificultades en la escritura académica de estudiantes de maestría”. Revista Electrónica Educare, 25(2), pp. 71-89. DOI: https://dx.doi.org/10.15359/ree.25-2.4
Sánchez-Jiménez, David y Meza, Paulina (2022). “Posicionamiento y dialogicidad en la escritura académica y profesional”. Círculo de Lingüística Aplicada a la Comunicación, 90, pp. 1-4. DOI: https://doi.org/10.5209/clac.75958
Swales, Jhon (1990). Genre Analysis English in Academic and Research Settings. Cambridge: Cambridge University Press.
Tam, Cheung On (2018). “Evaluating Students’ Performance in Responding to Art: The Development and Validation of an Art Criticism Assessment Rubric”. International Journal of Art and Design Education, 37(3), pp. 519-529. DOI: https://doi.org/10.1111/jade.12154
Teng, Lin Sophie y Zhang, Lawrence Jung (2016). “Fostering Strategic Learning: The Development and Validation of the Writing Strategies for Motivational Regulation Questionnaire (WSMRQ)”. Asia-Pacific Education Researcher, 25(1), pp. 123-134. DOI: https://doi.org/10.1007/s40299-015-0243-4
Toulmin, Stephen (1958). The uses of argument. Cambridge: Cambridge University Press.
Uludag, Pakise y McDonough, Kim (2022). “Validating a rubric for assessing integrated writing in an EAP context”. Assessing Writing, 52(4), pp. 1-5. DOI: https://doi.org/10.1016/j.asw.2022.100609
Varier, Divya; Kitsantas, Anastasia; Zhang, Xiaorong y Saroughi, Maryam (2021). “Self-efficacy for self-assessment: Development and validation of the SEESA-AW scale for argumentative writing”. International Journal of Educational Research, 110, pp. 1-11. DOI: https://doi.org/10.1016/j.ijer.2021.101885
Velasco, Leticia (2018). Análisis y valoración de las rúbricas para la evaluación de las competencias en la educación superior. Tesis doctoral, Universidad de Málaga, España.
Vidal, Margarita (2020). “Aproximación al ensayo académico como género de formación en Ciencias sociales: el caso de Sociología. DELTA: Documentação de Estudos em Lingüística Teórica e Aplicada, 36(4), pp. 1-26. DOI: https://doi.org/10.1590/1678-460x2020360405
Zhao, Cecilia (2013). “Measuring authorial voice strength in L2 argumentative writing: The development and validation of an analytic rubric”. Language Testing, 30(2), pp. 201-230. DOI: https://doi.org/10.1177/0265532212456965
Downloads
Published
Issue
Section
License
Copyright (c) 2024 Steffanie Kloss, Gina Burdiles Fernández
This work is licensed under a Creative Commons Attribution 4.0 International License.
This journal enables free and immediate access to its content to foster global knowledge.
The articles published at Ogigia. Revista Electrónica de Estudios Hispánicos will have a Creative Commons Attribution 4.0 International License (CC BY 4.0).
The authors continue as owners of their works, and can republish their articles in another medium without having to request authorization, as long as they indicate that the work was originally published in COgigia. Revista Electrónica de Estudios Hispánicos.