Titulo:
Validación de Pruebas de Inglés EFL de Bajo Riesgo
.
Sumario:
Ya sea que un candidato esté presentando una prueba de “alto” riesgo como el TOEFL o una de “bajo” riesgo, como el examen de final de un nivel, las repercusiones de una calificación errada siempre tienen un impacto importante. Es por eso que las pruebas de alto riesgo son constantemente sometidas a procesos de validación, mientras que sus contrapartes de bajo riesgo rara vez lo son. Este trabajo de investigación ha dirigido su atención a un curso de inglés EFL de una institución panameña con el objetivo de determinar la validez de las pruebas utilizadas en el programa, consideradas de “bajo” riesgo. El tipo de investigación realizado es aplicada, descriptiva, mixta, no experimental y transversal. Se evaluó: la validez basada en el contexto,... Ver más
Guardado en:
2644-4038
2644-4038
1
2020-01-06
31
62
Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0.
info:eu-repo/semantics/openAccess
http://purl.org/coar/access_right/c_abf2
| id |
metarevistapublica_qlu_latitude_5_article_107 |
|---|---|
| record_format |
ojs |
| spelling |
Validación de Pruebas de Inglés EFL de Bajo Riesgo Validación de Pruebas de Inglés EFL de Bajo Riesgo Ya sea que un candidato esté presentando una prueba de “alto” riesgo como el TOEFL o una de “bajo” riesgo, como el examen de final de un nivel, las repercusiones de una calificación errada siempre tienen un impacto importante. Es por eso que las pruebas de alto riesgo son constantemente sometidas a procesos de validación, mientras que sus contrapartes de bajo riesgo rara vez lo son. Este trabajo de investigación ha dirigido su atención a un curso de inglés EFL de una institución panameña con el objetivo de determinar la validez de las pruebas utilizadas en el programa, consideradas de “bajo” riesgo. El tipo de investigación realizado es aplicada, descriptiva, mixta, no experimental y transversal. Se evaluó: la validez basada en el contexto, la validez basada en la teoría, la confiabilidad de los resultados y las características de los candidatos. Se estudiaron las pruebas institucionales del curso de inglés EFL de una institución panameña. En la misma, la mayoría de los profesores utilizan la plataforma LMS Schoology para aplicar sus exámenes de fin de curso. Se tomó una muestra en junio de 2018 que contenía el registro de las pruebas finales de los niveles 1, 2, 3, 4, 5, 6, 7, 9, 11, 12, 13 y 15; ya que estos son los niveles cuyos profesores utilizaron la plataforma en ese período. La muestra contenía un total de 340 aplicaciones. Se encontraron importantes deficiencias en la evaluación de validez basada en el contexto y en la confiabilidad de los resultados; mientras que en la evaluación de validez basada en teoría y la de las características de los candidatos se obtuvieron resultados muy positivos. Se aportaron una serie de recomendaciones entre las cuales se encuentran: la creación de pruebas orales institucionales, la creación de una sección de evaluación auditiva y la profundización de los estudios de confiabilidad, entre otras. Whether a candidate is taking a "high stakes" test such as the TOEFL or a "low stakes" test such as an end-of-level test, the repercussions of a wrong score always have a significant impact. That's why high-stake tests are constantly subjected to validation processes, while their low-stakes counterparts rarely are. This research has focused its attention on an EFL program of a Panamanian institution with the objective of determining the validity of the tests used, which are considered to be "low" stakes. The type of research carried out is applied, descriptive, mixed, non-experimental, and transversal. The following types of validity were evaluated: validity based on the context, validity based on the theory, reliability of test results, and characteristics of the candidates. The institutional tests of the EFL courses of a Panamanian institution were studied. In this institution, most of the teachers use the Schoology LMS platform to administer their end-of-course exams. A sample was taken in June 2018 that contained the record of the final tests of levels 1, 2, 3, 4, 5, 6, 7, 9, 11, 12, 13, and 15; since only the teachers of these levels used the platform in that period. The sample contained a total of 340 administrations. Important deficiencies were found in regards to context-based validity and score reliability, while the results of the evaluation of theory-based validity and the characteristics of the candidates were rather positive. A series of recommendations were provided, among which are the creation of institutional oral tests, the inclusion of a section to evaluate listening comprehension, and the application of greater reliability studies, among others. Garcés , Pablo Validez Validación Instrumentos de evaluación Pruebas de inglés EFL Pruebas de bajo riesgo Pruebas de alto riesgo Validity Validation Evaluation instruments English tests EFL Low stakes test High stake tests 1 13 Núm. 13 , Año 2020 : Latitude: Multidisciplinary Research Journal Artículo de revista Journal article 2020-01-06T00:00:00Z 2020-01-06T00:00:00Z 2020-01-06 application/pdf QLU Latitude 2644-4038 2644-4038 https://revistas.qlu.ac.pa/index.php/latitude/article/view/107 10.55946/latitude.v1i13.107 https://doi.org/10.55946/latitude.v1i13.107 spa https://creativecommons.org/licenses/by-nc-sa/4.0/deed.es Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0. 31 62 Alderson, J.C. (1991). Dis-sporting Life. Response to Alistair Pollit’s paper. In Alderson and North American Educational Research Association, American Psychological Association, and National Council on Measurement in Education (1974, 1985, 1999). Standards for Educational and Psychological Testing. Washington, DC: Author. Anastasi, A. (1988). Psychological Testing (6th edition). New York: Macmillan. Bachman, L.F. (1990). Fundamental Considerations in Language Testing. Oxford: Oxford University Press. Bachman, L. and Palmer, A. (1996). Language Testing in Practice. Oxford: Oxford University Press. Brown, J. D. (1996). Testing in language programs. Upper Saddle River, NJ: Prentice Hall Regents. Chapelle C., Jamieson J. y Hegelheimer V. (2003); Validation of a web-based EFL test Kokhan K.(2013); An argument against using standardized test scores for placement of international undergraduate students in (ESL) courses. Kuder, G.F. y Richardson, M.W. Psychometrika (1937) The theory of the estimation of test reliability 2: 151. https://doi-org.echo.louisville.edu/10.1007/BF02288391 O’Sullivan, B. (2000). Towards a Model of Performance in Oral Language Testing. Unpublished PhD Dissertation. University of Reading. Pennington, D. (2003). Essential Personality. Arnold. p. 37. ISBN 0-340-76118-0. Weir, C. (2005); Language Testing and Validation: An Evidence-Based Approach. Springer https://revistas.qlu.ac.pa/index.php/latitude/article/download/107/83 info:eu-repo/semantics/article http://purl.org/coar/resource_type/c_6501 http://purl.org/redcol/resource_type/ARTREF info:eu-repo/semantics/publishedVersion http://purl.org/coar/version/c_970fb48d4fbd8a85 info:eu-repo/semantics/openAccess http://purl.org/coar/access_right/c_abf2 Text Publication |
| institution |
QUALITY LEADERSHIP UNIVERSITY |
| thumbnail |
https://nuevo.metarevistas.org/QUALITYLEADERSHIPUNIVERSITY/logo.png |
| country_str |
Panamá |
| collection |
Latitude |
| title |
Validación de Pruebas de Inglés EFL de Bajo Riesgo |
| spellingShingle |
Validación de Pruebas de Inglés EFL de Bajo Riesgo Garcés , Pablo Validez Validación Instrumentos de evaluación Pruebas de inglés Pruebas de bajo riesgo Pruebas de alto riesgo Validity Validation Evaluation instruments English tests Low stakes test High stake tests |
| title_short |
Validación de Pruebas de Inglés EFL de Bajo Riesgo |
| title_full |
Validación de Pruebas de Inglés EFL de Bajo Riesgo |
| title_fullStr |
Validación de Pruebas de Inglés EFL de Bajo Riesgo |
| title_full_unstemmed |
Validación de Pruebas de Inglés EFL de Bajo Riesgo |
| title_sort |
validación de pruebas de inglés efl de bajo riesgo |
| title_eng |
Validación de Pruebas de Inglés EFL de Bajo Riesgo |
| description |
Ya sea que un candidato esté presentando una prueba de “alto” riesgo como el TOEFL o una de “bajo” riesgo, como el examen de final de un nivel, las repercusiones de una calificación errada siempre tienen un impacto importante. Es por eso que las pruebas de alto riesgo son constantemente sometidas a procesos de validación, mientras que sus contrapartes de bajo riesgo rara vez lo son. Este trabajo de investigación ha dirigido su atención a un curso de inglés EFL de una institución panameña con el objetivo de determinar la validez de las pruebas utilizadas en el programa, consideradas de “bajo” riesgo. El tipo de investigación realizado es aplicada, descriptiva, mixta, no experimental y transversal. Se evaluó: la validez basada en el contexto, la validez basada en la teoría, la confiabilidad de los resultados y las características de los candidatos. Se estudiaron las pruebas institucionales del curso de inglés EFL de una institución panameña. En la misma, la mayoría de los profesores utilizan la plataforma LMS Schoology para aplicar sus exámenes de fin de curso. Se tomó una muestra en junio de 2018 que contenía el registro de las pruebas finales de los niveles 1, 2, 3, 4, 5, 6, 7, 9, 11, 12, 13 y 15; ya que estos son los niveles cuyos profesores utilizaron la plataforma en ese período. La muestra contenía un total de 340 aplicaciones. Se encontraron importantes deficiencias en la evaluación de validez basada en el contexto y en la confiabilidad de los resultados; mientras que en la evaluación de validez basada en teoría y la de las características de los candidatos se obtuvieron resultados muy positivos. Se aportaron una serie de recomendaciones entre las cuales se encuentran: la creación de pruebas orales institucionales, la creación de una sección de evaluación auditiva y la profundización de los estudios de confiabilidad, entre otras.
|
| description_eng |
Whether a candidate is taking a "high stakes" test such as the TOEFL or a "low stakes" test such as an end-of-level test, the repercussions of a wrong score always have a significant impact. That's why high-stake tests are constantly subjected to validation processes, while their low-stakes counterparts rarely are. This research has focused its attention on an EFL program of a Panamanian institution with the objective of determining the validity of the tests used, which are considered to be "low" stakes. The type of research carried out is applied, descriptive, mixed, non-experimental, and transversal. The following types of validity were evaluated: validity based on the context, validity based on the theory, reliability of test results, and characteristics of the candidates. The institutional tests of the EFL courses of a Panamanian institution were studied. In this institution, most of the teachers use the Schoology LMS platform to administer their end-of-course exams. A sample was taken in June 2018 that contained the record of the final tests of levels 1, 2, 3, 4, 5, 6, 7, 9, 11, 12, 13, and 15; since only the teachers of these levels used the platform in that period. The sample contained a total of 340 administrations. Important deficiencies were found in regards to context-based validity and score reliability, while the results of the evaluation of theory-based validity and the characteristics of the candidates were rather positive. A series of recommendations were provided, among which are the creation of institutional oral tests, the inclusion of a section to evaluate listening comprehension, and the application of greater reliability studies, among others.
|
| author |
Garcés , Pablo |
| author_facet |
Garcés , Pablo |
| topicspa_str_mv |
Validez Validación Instrumentos de evaluación Pruebas de inglés Pruebas de bajo riesgo Pruebas de alto riesgo |
| topic |
Validez Validación Instrumentos de evaluación Pruebas de inglés Pruebas de bajo riesgo Pruebas de alto riesgo Validity Validation Evaluation instruments English tests Low stakes test High stake tests |
| topic_facet |
Validez Validación Instrumentos de evaluación Pruebas de inglés Pruebas de bajo riesgo Pruebas de alto riesgo Validity Validation Evaluation instruments English tests Low stakes test High stake tests |
| citationvolume |
1 |
| citationissue |
13 |
| citationedition |
Núm. 13 , Año 2020 : Latitude: Multidisciplinary Research Journal |
| publisher |
QLU |
| ispartofjournal |
Latitude |
| source |
https://revistas.qlu.ac.pa/index.php/latitude/article/view/107 |
| language |
spa |
| format |
Article |
| rights |
https://creativecommons.org/licenses/by-nc-sa/4.0/deed.es Esta obra está bajo una licencia internacional Creative Commons Atribución-NoComercial-CompartirIgual 4.0. info:eu-repo/semantics/openAccess http://purl.org/coar/access_right/c_abf2 |
| references |
Alderson, J.C. (1991). Dis-sporting Life. Response to Alistair Pollit’s paper. In Alderson and North American Educational Research Association, American Psychological Association, and National Council on Measurement in Education (1974, 1985, 1999). Standards for Educational and Psychological Testing. Washington, DC: Author. Anastasi, A. (1988). Psychological Testing (6th edition). New York: Macmillan. Bachman, L.F. (1990). Fundamental Considerations in Language Testing. Oxford: Oxford University Press. Bachman, L. and Palmer, A. (1996). Language Testing in Practice. Oxford: Oxford University Press. Brown, J. D. (1996). Testing in language programs. Upper Saddle River, NJ: Prentice Hall Regents. Chapelle C., Jamieson J. y Hegelheimer V. (2003); Validation of a web-based EFL test Kokhan K.(2013); An argument against using standardized test scores for placement of international undergraduate students in (ESL) courses. Kuder, G.F. y Richardson, M.W. Psychometrika (1937) The theory of the estimation of test reliability 2: 151. https://doi-org.echo.louisville.edu/10.1007/BF02288391 O’Sullivan, B. (2000). Towards a Model of Performance in Oral Language Testing. Unpublished PhD Dissertation. University of Reading. Pennington, D. (2003). Essential Personality. Arnold. p. 37. ISBN 0-340-76118-0. Weir, C. (2005); Language Testing and Validation: An Evidence-Based Approach. Springer |
| type_driver |
info:eu-repo/semantics/article |
| type_coar |
http://purl.org/coar/resource_type/c_6501 |
| type_version |
info:eu-repo/semantics/publishedVersion |
| type_coarversion |
http://purl.org/coar/version/c_970fb48d4fbd8a85 |
| type_content |
Text |
| publishDate |
2020-01-06 |
| date_accessioned |
2020-01-06T00:00:00Z |
| date_available |
2020-01-06T00:00:00Z |
| url |
https://revistas.qlu.ac.pa/index.php/latitude/article/view/107 |
| url_doi |
https://doi.org/10.55946/latitude.v1i13.107 |
| issn |
2644-4038 |
| eissn |
2644-4038 |
| doi |
10.55946/latitude.v1i13.107 |
| citationstartpage |
31 |
| citationendpage |
62 |
| url2_str_mv |
https://revistas.qlu.ac.pa/index.php/latitude/article/download/107/83 |
| _version_ |
1811200689773215744 |