Titulo:
Validación de una prueba estandarizada de desempeño para la selección de estudiantes de Arquitectura con el Modelo de Rasch de Facetas Múltiples
.
Sumario:
En una evaluación del desempeño se crea un producto o se desarrolla un proceso, que es evaluado por varios calificadores. El Modelo de Rasch de Facetas Múltiples (MRFM), extensión del modelo de Rasch, cuantifica diversos atributos asociados a la calidad de la medición en tales evaluaciones, incluyendo la concordancia entre calificadores, cualidad esencial para la validez. Los datos provienen de una prueba de desempeño aplicada con propósitos de selección en la Escuela de Arquitectura de la Universidad de Costa Rica (UCR). Se analizaron las aplicaciones de la prueba del 2015 al 2018, cada una tenía entre 600 y 800 examinados. Cada producto fue evaluado por tres calificadores, y los equipos de calificadores tenían entre 12 y 15 miembros. Los... Ver más
Guardado en:
1657-0308
2357-626X
25
2023-01-16
3
11
Olman Hernández-Ureña, Eiliana Montero-Rojas - 2023
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial 4.0.
info:eu-repo/semantics/openAccess
http://purl.org/coar/access_right/c_abf2
| id |
metarevistapublica_ucatolica_revistadearquitectura_bogota__22_article_4040 |
|---|---|
| record_format |
ojs |
| spelling |
Validación de una prueba estandarizada de desempeño para la selección de estudiantes de Arquitectura con el Modelo de Rasch de Facetas Múltiples Validation of a standardized performance test for selection of Architecture students with the Many-Facet Rasch Measurement Model En una evaluación del desempeño se crea un producto o se desarrolla un proceso, que es evaluado por varios calificadores. El Modelo de Rasch de Facetas Múltiples (MRFM), extensión del modelo de Rasch, cuantifica diversos atributos asociados a la calidad de la medición en tales evaluaciones, incluyendo la concordancia entre calificadores, cualidad esencial para la validez. Los datos provienen de una prueba de desempeño aplicada con propósitos de selección en la Escuela de Arquitectura de la Universidad de Costa Rica (UCR). Se analizaron las aplicaciones de la prueba del 2015 al 2018, cada una tenía entre 600 y 800 examinados. Cada producto fue evaluado por tres calificadores, y los equipos de calificadores tenían entre 12 y 15 miembros. Los tres primeros años mostraron alto grado de variabilidad entre las severidades de los calificadores, dispersándose más de 2 logits, en la escala de Rasch. En 2018 se introdujeron modificaciones para mejorar la concordancia entre los calificadores, y los análisis correspondientes mostraron una disminución relevante en la dispersión de las severidades, con un rango de 1.09 logits. El estudio ilustra los beneficios de este modelo para analizar y mejorar la calidad técnica de una evaluación del desempeño de alto impacto. A performance assessment involves examinees creating a product or developing a process, which is evaluated by several raters. The Multi-faceted Rasch Measurement Model (MFRM), an extension of the Rasch Model, allows quantifying diverse attributes associated with measurement quality in this type of assessments, including the degree of inter-rater agreement (inter-rater reliability), which is an essential requirement for validity. Data from a performance test, currently applied for selection purposes in the undergraduate program of the School of Architecture at the University of Costa Rica (UCR), were analyzed with MFRM. Four data sets were used, from 2015 to 2018 test administrations, each one having between 600 and 800 applicants. Each examinee’s product was evaluated by three raters. The rater teams had between 12 and 15 members. The first three years showed a high degree of variability between raters’ severities, extending over 2 logits on the Rasch Scale. Modifications were introduced in the 2018 application, aiming to improve inter-rater reliability. The corresponding analyses showed a relevant decrease in the dispersions of raters’ severities, with a range of 1.09 logits. The study illustrates the benefits of the MFRM Model for analyzing rater data and improving the technical quality of a high- stakes performance assessment. Hernández-Ureña, Olman Montero-Rojas, Eiliana architecture aptitude test calibration evaluation measurement methods Rasch measurement performance appraisal arquitectura calibración evaluación evaluación de desempeño método de evaluación modelo de Rasch prueba de aptitud 25 1 Núm. 1 , Año 2023 :enero - junio Artículo de revista Journal article 2023-01-16T00:00:00Z 2023-01-16T00:00:00Z 2023-01-16 text/html application/pdf text/xml Bogotá: Universidad Católica de Colombia, 1999- Revista de arquitectura 1657-0308 2357-626X https://revistadearquitectura.ucatolica.edu.co/article/view/4040 10.14718/RevArq.2023.25.4040 https://doi.org/10.14718/RevArq.2023.25.4040 spa https://creativecommons.org/licenses/by-nc/4.0 Olman Hernández-Ureña, Eiliana Montero-Rojas - 2023 Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial 4.0. 3 11 Andrich, D. (1978). A rating formulation for ordered response categories. Psychometrika, 43(4), 561-573. https://www.springer.com/journal/11336 Eckes, T. (2011). Many- Facet Rash Measurement. In Grotjahn, R and Sigott, G (Eds.), Introduction to Many-Facet Rasch Measurement (2nd ed.). Peter Lang. https://www.researchgate.net/publication/228465956_Many-facet_Rasch_measurement Hernández, O. (2015). Informe PH, Prueba de Habilidad 2014 - ingreso 2015. Escuela de Arquitectura-UCR. [2014 Skills Test Report for 2015 admission. Architecture School. University of Costa Rica]. https://issuu.com/olmanarq/docs/informe_ph-2014_arquis Hernández, O. (2018). Informe PH, Prueba de Habilidad 2017 - ingreso 2018. Escuela de Arquitectura-UCR. [2017 Skills Test Report for 2018 admission. Architecture School. University of Costa Rica]. https://issuu.com/olmanarq/docs/informe_ph-2017 Lane, S. & Stone, C.A. (2006). Performance Assessment. In R. L. Brennan (Ed.), Educational Measurement (pp. 387-431). Praeger. Linacre, J. M. (1989). Many-facet Rasch measurement. MESA Press. Linacre, J. M. & Wright, B. D. (2002). Construction of measures from many-facet data. Journal of Applied Measurement, 3(4), 486-512. http://jampress.org/ Linacre, J. M. (2010). A user’s guide to Facets: Rasch model computer programs. Winsteps. Linacre, J. M. (2015). Facet Rasch Measurement computer program (Version 3.71.3). Winsteps. Martínez, R. (2010). La evaluación del desempeño. [Performance assessment]. Papeles del Psicólogo, 31(1), 85-96. http://www.papelesdelpsicologo.es/pdf/1799.pdf Masters, G. N. (1982). A Rasch model for partial credit scoring. Psychometrika, 47, 149-174. https://doi.org/10.1007/BF02296272 Myford, C. M. & Wolfe, E. W. (2004). Detecting and Measuring Rater Effects Using Many-Facet Rasch Measurement: Part I. In E. V. Smith & R. M. Smith (Eds.), Introduction to Rasch Measurement (pp. 460-517). JAM Press. Prieto, G. (2015). Análisis de un test de desempeño en expresión escrita mediante el modelo de MFRM. [Analysis of a performance test in written expression using the MFRM model]. Actualidades en Psicología, 29(119), 03-19. http://dx.doi.org/10.15517/ap.v29i119.19822 Prieto, G. & Nieto, E. (2014). Analysis of rater severity on written expression exam using Many Faceted Rasch Measurement. Psicológica, 35(2), 385-397. https://www.researchgate.net/publication/288462542_Analysis_of_rater_severity_on_written_expression_exam_using_Many_Faceted_Rasch_Measurement Rasch, G. (1960). Probabilistic models for some intelligence and attainment tests. MESA Press. https://doi.org/10.1177/014662168100500413 https://revistadearquitectura.ucatolica.edu.co/article/download/4040/4475 https://revistadearquitectura.ucatolica.edu.co/article/download/4040/4576 https://revistadearquitectura.ucatolica.edu.co/article/download/4040/4685 info:eu-repo/semantics/article http://purl.org/coar/resource_type/c_6501 http://purl.org/redcol/resource_type/ARTREF info:eu-repo/semantics/publishedVersion http://purl.org/coar/version/c_970fb48d4fbd8a85 info:eu-repo/semantics/openAccess http://purl.org/coar/access_right/c_abf2 Text Publication |
| institution |
UNIVERSIDAD CATÓLICA DE COLOMBIA |
| thumbnail |
https://nuevo.metarevistas.org/UNIVERSIDADCATOLICADECOLOMBIA/logo.png |
| country_str |
Colombia |
| collection |
Revista de Arquitectura (Bogotá) |
| title |
Validación de una prueba estandarizada de desempeño para la selección de estudiantes de Arquitectura con el Modelo de Rasch de Facetas Múltiples |
| spellingShingle |
Validación de una prueba estandarizada de desempeño para la selección de estudiantes de Arquitectura con el Modelo de Rasch de Facetas Múltiples Hernández-Ureña, Olman Montero-Rojas, Eiliana architecture aptitude test calibration evaluation measurement methods Rasch measurement performance appraisal arquitectura calibración evaluación evaluación de desempeño método de evaluación modelo de Rasch prueba de aptitud |
| title_short |
Validación de una prueba estandarizada de desempeño para la selección de estudiantes de Arquitectura con el Modelo de Rasch de Facetas Múltiples |
| title_full |
Validación de una prueba estandarizada de desempeño para la selección de estudiantes de Arquitectura con el Modelo de Rasch de Facetas Múltiples |
| title_fullStr |
Validación de una prueba estandarizada de desempeño para la selección de estudiantes de Arquitectura con el Modelo de Rasch de Facetas Múltiples |
| title_full_unstemmed |
Validación de una prueba estandarizada de desempeño para la selección de estudiantes de Arquitectura con el Modelo de Rasch de Facetas Múltiples |
| title_sort |
validación de una prueba estandarizada de desempeño para la selección de estudiantes de arquitectura con el modelo de rasch de facetas múltiples |
| title_eng |
Validation of a standardized performance test for selection of Architecture students with the Many-Facet Rasch Measurement Model |
| description |
En una evaluación del desempeño se crea un producto o se desarrolla un proceso, que es evaluado por varios calificadores. El Modelo de Rasch de Facetas Múltiples (MRFM), extensión del modelo de Rasch, cuantifica diversos atributos asociados a la calidad de la medición en tales evaluaciones, incluyendo la concordancia entre calificadores, cualidad esencial para la validez. Los datos provienen de una prueba de desempeño aplicada con propósitos de selección en la Escuela de Arquitectura de la Universidad de Costa Rica (UCR). Se analizaron las aplicaciones de la prueba del 2015 al 2018, cada una tenía entre 600 y 800 examinados. Cada producto fue evaluado por tres calificadores, y los equipos de calificadores tenían entre 12 y 15 miembros. Los tres primeros años mostraron alto grado de variabilidad entre las severidades de los calificadores, dispersándose más de 2 logits, en la escala de Rasch. En 2018 se introdujeron modificaciones para mejorar la concordancia entre los calificadores, y los análisis correspondientes mostraron una disminución relevante en la dispersión de las severidades, con un rango de 1.09 logits. El estudio ilustra los beneficios de este modelo para analizar y mejorar la calidad técnica de una evaluación del desempeño de alto impacto.
|
| description_eng |
A performance assessment involves examinees creating a product or developing a process, which is evaluated by several raters. The Multi-faceted Rasch Measurement Model (MFRM), an extension of the Rasch Model, allows quantifying diverse attributes associated with measurement quality in this type of assessments, including the degree of inter-rater agreement (inter-rater reliability), which is an essential requirement for validity. Data from a performance test, currently applied for selection purposes in the undergraduate program of the School of Architecture at the University of Costa Rica (UCR), were analyzed with MFRM. Four data sets were used, from 2015 to 2018 test administrations, each one having between 600 and 800 applicants. Each examinee’s product was evaluated by three raters. The rater teams had between 12 and 15 members. The first three years showed a high degree of variability between raters’ severities, extending over 2 logits on the Rasch Scale. Modifications were introduced in the 2018 application, aiming to improve inter-rater reliability. The corresponding analyses showed a relevant decrease in the dispersions of raters’ severities, with a range of 1.09 logits. The study illustrates the benefits of the MFRM Model for analyzing rater data and improving the technical quality of a high- stakes performance assessment.
|
| author |
Hernández-Ureña, Olman Montero-Rojas, Eiliana |
| author_facet |
Hernández-Ureña, Olman Montero-Rojas, Eiliana |
| topic |
architecture aptitude test calibration evaluation measurement methods Rasch measurement performance appraisal arquitectura calibración evaluación evaluación de desempeño método de evaluación modelo de Rasch prueba de aptitud |
| topic_facet |
architecture aptitude test calibration evaluation measurement methods Rasch measurement performance appraisal arquitectura calibración evaluación evaluación de desempeño método de evaluación modelo de Rasch prueba de aptitud |
| topicspa_str_mv |
arquitectura calibración evaluación evaluación de desempeño método de evaluación modelo de Rasch prueba de aptitud |
| citationvolume |
25 |
| citationissue |
1 |
| citationedition |
Núm. 1 , Año 2023 :enero - junio |
| publisher |
Bogotá: Universidad Católica de Colombia, 1999- |
| ispartofjournal |
Revista de arquitectura |
| source |
https://revistadearquitectura.ucatolica.edu.co/article/view/4040 |
| language |
spa |
| format |
Article |
| rights |
https://creativecommons.org/licenses/by-nc/4.0 Olman Hernández-Ureña, Eiliana Montero-Rojas - 2023 Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial 4.0. info:eu-repo/semantics/openAccess http://purl.org/coar/access_right/c_abf2 |
| references |
Andrich, D. (1978). A rating formulation for ordered response categories. Psychometrika, 43(4), 561-573. https://www.springer.com/journal/11336 Eckes, T. (2011). Many- Facet Rash Measurement. In Grotjahn, R and Sigott, G (Eds.), Introduction to Many-Facet Rasch Measurement (2nd ed.). Peter Lang. https://www.researchgate.net/publication/228465956_Many-facet_Rasch_measurement Hernández, O. (2015). Informe PH, Prueba de Habilidad 2014 - ingreso 2015. Escuela de Arquitectura-UCR. [2014 Skills Test Report for 2015 admission. Architecture School. University of Costa Rica]. https://issuu.com/olmanarq/docs/informe_ph-2014_arquis Hernández, O. (2018). Informe PH, Prueba de Habilidad 2017 - ingreso 2018. Escuela de Arquitectura-UCR. [2017 Skills Test Report for 2018 admission. Architecture School. University of Costa Rica]. https://issuu.com/olmanarq/docs/informe_ph-2017 Lane, S. & Stone, C.A. (2006). Performance Assessment. In R. L. Brennan (Ed.), Educational Measurement (pp. 387-431). Praeger. Linacre, J. M. (1989). Many-facet Rasch measurement. MESA Press. Linacre, J. M. & Wright, B. D. (2002). Construction of measures from many-facet data. Journal of Applied Measurement, 3(4), 486-512. http://jampress.org/ Linacre, J. M. (2010). A user’s guide to Facets: Rasch model computer programs. Winsteps. Linacre, J. M. (2015). Facet Rasch Measurement computer program (Version 3.71.3). Winsteps. Martínez, R. (2010). La evaluación del desempeño. [Performance assessment]. Papeles del Psicólogo, 31(1), 85-96. http://www.papelesdelpsicologo.es/pdf/1799.pdf Masters, G. N. (1982). A Rasch model for partial credit scoring. Psychometrika, 47, 149-174. https://doi.org/10.1007/BF02296272 Myford, C. M. & Wolfe, E. W. (2004). Detecting and Measuring Rater Effects Using Many-Facet Rasch Measurement: Part I. In E. V. Smith & R. M. Smith (Eds.), Introduction to Rasch Measurement (pp. 460-517). JAM Press. Prieto, G. (2015). Análisis de un test de desempeño en expresión escrita mediante el modelo de MFRM. [Analysis of a performance test in written expression using the MFRM model]. Actualidades en Psicología, 29(119), 03-19. http://dx.doi.org/10.15517/ap.v29i119.19822 Prieto, G. & Nieto, E. (2014). Analysis of rater severity on written expression exam using Many Faceted Rasch Measurement. Psicológica, 35(2), 385-397. https://www.researchgate.net/publication/288462542_Analysis_of_rater_severity_on_written_expression_exam_using_Many_Faceted_Rasch_Measurement Rasch, G. (1960). Probabilistic models for some intelligence and attainment tests. MESA Press. https://doi.org/10.1177/014662168100500413 |
| type_driver |
info:eu-repo/semantics/article |
| type_coar |
http://purl.org/coar/resource_type/c_6501 |
| type_version |
info:eu-repo/semantics/publishedVersion |
| type_coarversion |
http://purl.org/coar/version/c_970fb48d4fbd8a85 |
| type_content |
Text |
| publishDate |
2023-01-16 |
| date_accessioned |
2023-01-16T00:00:00Z |
| date_available |
2023-01-16T00:00:00Z |
| url |
https://revistadearquitectura.ucatolica.edu.co/article/view/4040 |
| url_doi |
https://doi.org/10.14718/RevArq.2023.25.4040 |
| issn |
1657-0308 |
| eissn |
2357-626X |
| doi |
10.14718/RevArq.2023.25.4040 |
| citationstartpage |
3 |
| citationendpage |
11 |
| url3_str_mv |
https://revistadearquitectura.ucatolica.edu.co/article/download/4040/4475 |
| url2_str_mv |
https://revistadearquitectura.ucatolica.edu.co/article/download/4040/4576 |
| url4_str_mv |
https://revistadearquitectura.ucatolica.edu.co/article/download/4040/4685 |
| _version_ |
1811200518343622656 |