Diseño y aplicación de un instrumento para evaluar ensayos académicos argumentativos
DOI:
https://doi.org/10.24197/ogigia.36.2024.257-288Palabras clave:
Evaluación de la escritura, Validación rúbrica, Ensayo académico argumentativo, Comunidad académica, Educación superiorResumen
Este estudio aborda el proceso de evaluación de un escrito, atendiendo a la complejidad de la escritura académica. El objetivo es desarrollar y validar empíricamente una rúbrica analítica para evaluar la calidad de ensayos académicos. El diseño de la investigación incluyó la definición del constructo, la validación por expertos y la aplicación a 67 ensayos de estudiantes universitarios de primer año. Los resultados muestran la validez y confiabilidad del instrumento, sugiriendo su utilidad para la evaluación de ensayos argumentativos en entornos académicos. Esta rúbrica puede ser una herramienta valiosa para la comunidad académica que busca mejorar la evaluación de la escritura en contextos universitarios.
Descargas
Citas
Anguiano, María y Velasco, Virginia (2013). “La construcción y evidencias de validez de una rúbrica analítica para la evaluación de ensayos”. Revista de Evaluación Educativa,1(2). Disponible en http://revalue.mx/revista/index.php/revalue/issue/current [28/03/24]
Adam, Jean Michel (1992). Los textos: tipos y prototipos. Relato, descripción, argumentación, explicación, diálogo. Paris: Nathan.
Álvarez, Gerardo (2006). “Un enfoque discursivo/textual para la enseñanza de idiomas”. Onomázein, 14, pp. 163–169. DOI: https://doi.org/10.7764/onomazein.14.05
Bañales, Gerardo; Vega, Norma; Reyna, Antonio; Pérez, Elsa y Rodríguez, Brianda (2014). “La argumentación escrita en las disciplinas: retos de alfabetización de los estudiantes universitarios”. Revista Internacional de Ciencias Sociales y Humanidades, SOCIOTAM, 24(2), pp. 29-52.
Beltrán, Liliana y Burdiles, Gina (2021). “Modos semióticos del discurso profesional de la filosofía”. Alpha (Osorno), (53), pp. 263-274. DOI: https://dx.doi.org/10.32735/s0718-2201202100053954
Burdiles, Gina (2011). Descripción de la organización retórica del género Caso Clínico de la medicina a partir del Corpus CCM-2009. Tesis doctoral. Valparaíso, Chile: Pontificia Universidad Católica de Valparaíso.
Calle-Álvarez, Gerzon (2020). “La rúbrica de autoevaluación como estrategia didáctica de revisión de la escritura”. Revista de Investigación, Desarrollo e Innovación, 10(2), pp. 323-335. DOI: https://doi.org/10.19053/20278306.v10.n2.2020.10628
Cancino-Santizo, Juan; Vásquez, José y Chávez, David (2023). “Escala de Estimación Socioformativa (EES): validez de contenido y constructo para valorar ensayos académicos en Educación Normal”. Revista Fuentes, 25(3), pp.1-11. DOI: https://doi.org/10.12795/revistafuentes.2023.21776
Castelló, Montserrat; Corcelles, Mariona; Iñesta, Anna; Vega, Norma y Bañales, Gerardo (2011). “La voz del autor en la escritura académica: Una propuesta para su análisis”. Revista signos, 44(76), pp.105-117. DOI: https://dx.doi.org/10.4067/S0718-09342011000200001
Castro, Eleine; Venegas, René; Puma, Giovana y Cuba, Stephany (2021). “Propuesta de un modelo retórico-discursivo del género ensayo argumentativo”. Nueva Revista del Pacífico, 75, pp. 128-157.
Carvajal, Ana; Centeno, Carlos; Watson, Roger; Martínez, Marina y Sanz, Ángeles (2011). “¿Cómo validar un instrumento de medida de la salud?”. Anales del Sistema Sanitario de Navarra, 34(1), pp. 63-72.
Charaudeau, Patrick (1992). Grammaire du sens et de l’expression. Paris: Hachette.
De la Peña, Alicia y Núñez, Juan (2018). “Aproximación al uso de rúbricas para la evaluación escritos en la universidad. Voletín Virtual”, 7(8), pp. 71-88. DOI: https://revista.redipe.org/index.php/1/article/view/543
Errázuriz, María Constanza (2019). “Desempeño escrito de estudiantes de programas de formación inicial docente: ¿Cómo es la calidad del proceso de escritura de sus ensayos?”. Lengua y habla, 1(23), pp. 224-242.
Figueroa, Javiera; Chandía, Eugenio y Meneses, Alejandra (2020). “Perfiles de escritores: calidad y recursos de lenguaje académico en ensayos escritos por estudiantes de 8.º básico”. Cognit Universidad Diego Portales, 12(1), pp. 105-133. DOI: https://doi.org/10.32995/cogency.v12i1.336
Figueroa, Javiera; Chandía, Eugenio y Meneses, Alejandra (2018). “Calidad de la escritura en explicaciones y argumentaciones: validación estructural de una rúbrica para medir desempeños”. Boletín de Lingüística, 30, pp. 43-67.
Fleiss, Joseph (1981). Statistical methods for rates and proportions (2nd ed.), Nueva York: Wiley.
Gardner, Shina y Nesi, Hilary (2013). “A Classification of Genre Families in University Student Writing”. Applied Linguistics, (34), pp. 25-52. DOI: https://doi.org/10.1093/applin/ams024
García, Marisol y Bustamante, Jenny (2006). “El ensayo periodístico y sus concepciones: algunas implicaciones pedagógicas”. Anàlisi, 33, pp. 17-30.
García, Marisol (2004). “Análisis discursivo de ensayos estudiantiles”. Letras, 47(71), pp. 33-62. Disponible en http://ve.scielo.org/scielo.php?script=sci_arttext&pid=S0459-12832005000200002&lng=es&tlng=es [28/03/24]
Ghanbari, Nasim y Barati, Hossein (2020). “Development and validation of a rating scale for Iranian EFL academic writing assessment: a mixed-methods study”. Language Testing in Asia, 10(17), pp.1-21. DOI: https://doi.org/10.1186/s40468-020-00112-3
Gimenez, Julio (2008). “Beyond the academic essay: Discipline-specific writing in nursing and midwifery”. Journal of English for Academic Purposes, 7(30), pp. 151-164. DOI: https://doi.org/10.1016/j.jeap.2008.03.005
González-Anguieta, Alondra (2022). “Rúbrica de evaluación interdisciplinaria: un instrumento de verificación de resultados de aprendizaje”. Prometeo Conocimiento Científico, 2(1), pp.1-17. DOI: https://doi.org/10.55204/pcc.v2i1.7
Hyland, Ken (2005). “Stance and engagement: A model of interaction in academic discourse”. Discourse Studies, 7(2), pp. 173-192. DOI: https://doi.org/10.1177/1461445605050365
Huamán, Ludencio; Hilario, Mario y Franco, Yancileide (2021). “Validación de las rúbricas como instrumento de evaluación en estudiantes universitarios de la Facultad de Educación de la Universidad Nacional del Centro del Perú - UNCP”. Horizonte de la Ciencia, 11(20), pp. 255-276. DOI: https://doi.org/10.26490/uncp.horizonteciencia.2021.20.782
Jurado, Martha y Oropeza, Elsa (2015). “Pautas de corrección para ensayos argumentativos. Iztapalapa”. Revista de ciencias sociales y humanidades, 36(78), pp. 145-166. DOI: 10.28928/revistaiztapalapa/782015/aot1/juradosalinasm/oropezagraciaev
Kloss, Steffanie y Quintanilla, Angie (2023). “Protocolos de pensamiento en voz alta: una técnica para acceder a la comprensión de la retroalimentación”. Formación universitaria, 16(6), pp.1-12. DOI: https://dx.doi.org/10.4067/S0718-50062023000600001
Koller, Ingrid; Levenson, Michael y Glück, Judith (2017). “What do you think you are measuring? A mixed-methods procedure for assessing the content validity of test items and theory-based scaling”, Frontiers in psychology, 8, pp. 1-20. DOI: http://dx.doi.org/10.3389/fpsyg.2017.00126
Landis, Richard y Koch, Gary (1977). “The Measurement of Observer Agreement for Categorical Data”, Biometrics, 33, pp. 159-174.
Louwerse, Max (2004). “Un modelo conciso de cohesión en el texto y coherencia en la comprensión”, Revista Signos, 37, pp. 41-58.
Marin-Garcia, Juan y Santandreu-Mascarell, Cristina (2015). ¿“What do we know about rubrics used in higher education?”, Intangible Capital, 11(1), pp. 118-145. DOI: https://doi.org/10.3926/ic.538
Martínez-Huamán, Edgard; Bellido, Aníbal; Félix, Edwin y Rivas-Plata, Cecilia (2022). “Elaboración y validación de una rúbrica para medir competencias de comunicación escrita”, Revista Universidad y Sociedad, 14(5), pp. 490-505.
Martínez, Martín y Juárez, Luis (2020). “Análisis de validez de constructo y confiabilidad de un instrumento para evaluar la formación en sostenibilidad en educación superior”. Entreciencias: diálogos en la sociedad del conocimiento, 8(22), e22.70323. DOI: https://doi.org/10.22201/enesl.20078064e.2020.22.70323
Mendoza, Arturo y Knoch, Ute (2018). “Examining the validity of an analytic rating scale for a Spanish test for academic purposes using the argument-based approach to validation”, Assessing Writing, 35(July 2016), pp. 41-55. DOI: https://doi.org/10.1016/j.asw.2017.12.003
Merma-Molina, Gladys; Peña-Alfaro, Hirma y Peña-Alfaro, Silvia (2017). “Diseño y validación de una rúbrica para evaluar la adecuación de artículos científicos al estilo de la American Psychological Association”, Journal of New Approaches in Educational Research, 6(1), pp. 78-86. DOI: https://doi.org/10.7821/naer.2017.1.220
Meza, Paulina y Catalán, Felipe (2021). “Un instrumento para evaluar la calidad lingüístico-discursiva de textos disciplinares producidos por estudiantes de Derecho”, Onomazein, 51, pp. 163-184. DOI: https://doi.org/10.7764/onomazein.51.08
Meza, Paulina y González, Mauricio (2020). “Construction and validation of the self-efficacy scale for disciplinary academic writing. Cogent Education”, 7(1), pp. 1-31- DOI: https://doi.org/10.1080/2331186X.2020.1830464
Montero, Ignacio y León, Orfelio (2002). “Clasificación y descripción de las metodologías de investigación en Psicología”. International Journal of Clinical and Health Psychology, 2(3), pp. 503-508. Disponible en http://www.aepc.es/ijchp/articulos_pdf/ijchp-53.pdf [26/03/24]
Montolío, Estrella (2015). Conectores de la lengua escrita. Barcelona: Ariel.
Muñoz, Carla y Valenzuela, Jorge (2015). “Características psicométricas de una rúbrica para evaluar expresión escrita a nivel universitario”. Formación universitaria, 8(6), pp. 75-84. DOI: https://doi.org/10.4067/S0718-50062015000600010
Nakkaew, Nattawut (2018). Developing a Valid and Reliable Analytic Rubric To Assess Critical Thinking in English Argumentative Essays of EFL University Students. Tesis de Maestría, Thammasat University, Tailandia.
Nakkaew, Nattawut y Adunyarittigun, Dumrong (2019). “An initial development of an analytic rubric for assessing critical thinking in english argumentative essays of EFL college students”. REFLections, 26(2), pp. 51-74. DOI: https://doi.org/10.61508/refl.v26i2.241755
Parodi, Giovanni y Gramajo, Aída (2003). “Los tipos textuales del corpus técnico-profesional PUCV 2003: una aproximación multiniveles”. Revista Signos, 36(54), pp. 207-223. DOI: https://dx.doi.org/10.4067/S0718-09342003005400006
Perelman, Flor (2001). “Textos argumentativos: su producción en el aula”. Lectura y Vida, 22 (2), pp. 32-45.
Portolés, José (2014). Marcadores del discurso. Barcelona: Ariel.
Razi, Salim (2015). “Development of a Rubric to Assess Academic Writing Incorporating Plagiarism Detectors”. Sage, 2, pp. 1-13. DOI: https://doi.org/10.1177/2158244015590162
Reddy, Malini y Andrade, Heidi (2010). “A review of rubric use in higher education”. Assessment & Evaluation in Higher Education, 35(4), pp. 435-448. DOI: https://doi.org/10.1080/02602930902862859
Rey-Castillo, Marisol y Gómez-Zermeño, Marcela (2021). “Dificultades en la escritura académica de estudiantes de maestría”. Revista Electrónica Educare, 25(2), pp. 71-89. DOI: https://dx.doi.org/10.15359/ree.25-2.4
Sánchez-Jiménez, David y Meza, Paulina (2022). “Posicionamiento y dialogicidad en la escritura académica y profesional”. Círculo de Lingüística Aplicada a la Comunicación, 90, pp. 1-4. DOI: https://doi.org/10.5209/clac.75958
Swales, Jhon (1990). Genre Analysis English in Academic and Research Settings. Cambridge: Cambridge University Press.
Tam, Cheung On (2018). “Evaluating Students’ Performance in Responding to Art: The Development and Validation of an Art Criticism Assessment Rubric”. International Journal of Art and Design Education, 37(3), pp. 519-529. DOI: https://doi.org/10.1111/jade.12154
Teng, Lin Sophie y Zhang, Lawrence Jung (2016). “Fostering Strategic Learning: The Development and Validation of the Writing Strategies for Motivational Regulation Questionnaire (WSMRQ)”. Asia-Pacific Education Researcher, 25(1), pp. 123-134. DOI: https://doi.org/10.1007/s40299-015-0243-4
Toulmin, Stephen (1958). The uses of argument. Cambridge: Cambridge University Press.
Uludag, Pakise y McDonough, Kim (2022). “Validating a rubric for assessing integrated writing in an EAP context”. Assessing Writing, 52(4), pp. 1-5. DOI: https://doi.org/10.1016/j.asw.2022.100609
Varier, Divya; Kitsantas, Anastasia; Zhang, Xiaorong y Saroughi, Maryam (2021). “Self-efficacy for self-assessment: Development and validation of the SEESA-AW scale for argumentative writing”. International Journal of Educational Research, 110, pp. 1-11. DOI: https://doi.org/10.1016/j.ijer.2021.101885
Velasco, Leticia (2018). Análisis y valoración de las rúbricas para la evaluación de las competencias en la educación superior. Tesis doctoral, Universidad de Málaga, España.
Vidal, Margarita (2020). “Aproximación al ensayo académico como género de formación en Ciencias sociales: el caso de Sociología. DELTA: Documentação de Estudos em Lingüística Teórica e Aplicada, 36(4), pp. 1-26. DOI: https://doi.org/10.1590/1678-460x2020360405
Zhao, Cecilia (2013). “Measuring authorial voice strength in L2 argumentative writing: The development and validation of an analytic rubric”. Language Testing, 30(2), pp. 201-230. DOI: https://doi.org/10.1177/0265532212456965
Descargas
Publicado
Cómo citar
Número
Sección
Licencia
Derechos de autor 2024 Steffanie Kloss, Gina Burdiles Fernández
Esta obra está bajo una licencia internacional Creative Commons Atribución 4.0.
Esta revista provee acceso libre inmediato a su contenido bajo el principio de hacer disponible gratuitamente la investigación al público, lo cual fomenta un mayor intercambio del conocimiento global.
Todos los trabajos de la revista Ogigia. Revista Electrónica de Estudios Hispánicos se publican bajo una licencia Creative Commons Atribución 4.0 Internacional (CC BY 4.0).
Los autores y autoras continúan como propietarios de sus trabajos, y pueden volver a publicar sus artículos en otro medio sin tener que solicitar autorización, siempre y cuando indiquen que el trabajo fue publicado originariamente en la revista Ogigia. Revista Electrónica de Estudios Hispánicos.
