Cepeda Silva, Armando. “Diseño centrado en evidencias (ECD)”. México: CEAAMER, 2022. 10 hojas

-Los estratos del diseño basados en evidencias son : 1- Dominio: Identifica los
conocimientos, habilidades y competencias que se quieren evaluar 2-
Formulación de afirmaciones: Estos son los enunciados que se hacen acerca
de los conocimientos. Habilidades y competencias que se quieren medir. 3-
Construcción de evidencias : Son las acciones o productos observables que
hacen posible verificar los desempeños a los que se refieren las afirmaciones.
4- Elaboración de tareas: son los enunciados que dan pautas para la
construccion de las preguntas o items de una prueba, proveen las evidencias
requeridas para verificar el alcance de competencias.

   

-Los trabajos de Mislevy, Almond y Steniberg (2003) fueron pioneros en el desarrollo del DCE, sin embargo varios de los conceptos centrales se pueden encontrarse en las obras de Toulmin (1958) y Messick (1989).

-Según los planteamientos del DCE, una prueba funciona como un argumento evidencial, en el sentido que, cualquier afirmación que se quiera defender exitosamente debe estar basada en datos.

-Para el DCE, una evaluación permite construir un argumento que posibilita defender un conjunto de afirmaciones (sobre la habilidad o rasgo latente que se quieran medir) de un estudiante a partir de datos específicos, estos datos y las afirmaciones sobre el estudiante deben estar conectados apropiadamente por suficientes garantías, de tal forma que se evidencie cómo las respuestas a las tareas dependen de la habilidad que se quiere medir.

-Los estratos definidos por el DCE pueden verse como los pasos en una larga cadena de razonamiento (Zieky, 2014, p. 80). Entre estos pasos se encuentran: a) El análisis y modelado del dominio de conocimientos, habilidades u otras destrezas (denominados a partir de ahora como CHD) de interés, que incluye una descripción de los
CHD que se quieren medir (también llamada modelo de estudiante) y una especificación de la perspectiva psicológica que se asume para la evaluación.

b) La especificación de las afirmaciones acerca de los CHD de los estudiantes que se harán a partir de los resultados de la prueba. c) La definición de las evidencias que se requieren para soportar las afirmaciones sobre los
estudiantes. d) El desarrollo de las tareas que proveerán las evidencias requeridas, dadas las limitaciones de la aplicación de la prueba. e) El ensamble de las tareas en la prueba, de tal manera que la puntuación o
resultados de la prueba respalden las afirmaciones con suficiente evidencia. f) La definición de las reglas que determinen la puntuación de las tareas. g) Por último, la estimación del nivel del estudiante en el dominio evaluado para realizar las afirmaciones o inferencias, definidas en b).
-Los rasgos principales que determinan la calidad de un instrumento de evaluación son dos; a saber, la confiabilidad y la validez. El primero es un indicador de la consistencia con que una prueba mide un rasgo a través de un periodo de tiempo y diferentes participantes. La validez, como se explicó en la primera sección, hace referencia al grado en el que el instrumento mide los CHD, o rasgos latentes para los que fue diseñado.

-La formación por competencias es una exigencia actual de la sociedad contemporánea, a cuyo proceso debe articularse una evaluación que abandone la práctica cognoscitivista para dar énfasis al desempeño, a la demostración de evidencias y productos como una nueva forma de evaluación basada en resultados.
-La propuesta didáctica de evaluación basada en desempeños considera cambios sustantivos en la evaluación como son: la determinación de los niveles de dominio de la competencia, lo cual permite establecer de antemano los niveles de desempeño receptivo a un desempeño creativo, innovador y estratégico.
El segundo aporte es la articulación entre los indicadores de evaluación, con los instrumentos de evaluación basados en desempeños como rúbricas, evaluación por portafolios, en pruebas tipo saber, etc., incorporando las evidencias del saber, evidencias del hacer, evidencias del ser o evidencias de producto, con sus respectivos pesos académicos
-Tablas de técnicas e instrumentos para evaluar competencias.

-El Diseño Centrado en la Evidencia (DCE) concibe la evaluación como un proceso de razonamiento que parte de la información –necesariamente limitada– acerca de lo que hacen los estudiantes en la situación de evaluación para llegar a afirmaciones acerca de lo que saben y pueden hacer en el mundo real.

-el DCE constituye una manera de formalizar, documentar y ampliar las mejores prácticas de la construcción tradicional de pruebas o tests y contribuye de manera decisiva al argumento de validez del test, al requerir un vínculo explícito y documentado entre
el objetivo del test, las afirmaciones que se desea realizar sobre los examinados, la evidencia que hace posible tales afirmaciones y las respuestas de los sujetos a las tareas que proporcionan dicha evidencia.

-El DCE concibe el proceso global de diseñar, construir y utilizar tests como un proceso organizado en cinco grupos de actividades denominadas ‘capas’, con límites más bien porosos: 1) análisis del dominio, 2) modelado del dominio, 3) marco conceptual de la evaluación, 4) implementación de la evaluación y 5) administración de la evaluación.
-En la fase de modelado del dominio se seleccionan determinados aspectos del mismo para construir el argumento de evaluación del test. Se trata básicamente de contestar a la pregunta ‘¿qué quieren decir las personas que van a utilizar el test en cuestión acerca de las personas que lo han respondido?’ y de obtener los datos y la justificación necesaria para poder afirmar justamente lo que se quiere decir sobre ellos.

-El marco conceptual de la evaluación contiene cuatro importantes herramientas: 1-los modelos de estudiante, 2-evidencia, 3-tarea y 4-ensamblaje. El modelo de estudiante es una representación simplificada del sujeto examinado que muestra los conocimientos/destrezas/habilidades que constituyen el foco de la evaluación, junto a otras características que puede tener cada persona y que podrían influir en su actuación en el test. El modelo
de evidencia sirve para responder a la pregunta ‘¿qué tendría que hacer un examinado –o qué debería mostrarnos– en respuesta a esta tarea para poder realizar la afirmación deseada?’: el modelo ha de proporcionar evidencia de
que los examinados tienen esos conocimientos, destrezas o habilidades que son objeto de medición. El modelo de tarea describe , situaciones que elicitan las conductas (o productos) observables que se desea generar, describiendo las características de dichas tareas así como el formato de las preguntas que
pueden ayudar a ponerlas de manifiesto e incluyendo varios ejemplos. El modelo de ensamblaje describe cómo será el test y contiene la información necesaria para construir formas paralelas del mismo, incluyendo información sobre sus características psicométricas y sobre qué conocimientos/destrezas/habilidades y afirmaciones proporciona evidencia cada tarea.

-En la etapa de implementación de la evaluación, las principales actividades son la redacción de preguntas o ítems y su ensamblaje en las distintas formas del test. Una herramienta útil es la caja de tareas, que trabaja sobre una estructura fija con elementos variables (para los que se proporcionan listas de términos posibles) con el fin de generar preguntas potencialmente paralelas.

-En la última etapa del proceso se realizan las siguientes actividades, conocidas como arquitectura de cuatro procesos: (1) selección de las tareas con arreglo al modelo de ensamblaje formulado en la tercera etapa, (2) administración de las preguntas seleccionadas al examinado y registro de sus respuestas, (3) procesamiento de las respuestas con el fin de asignar una puntuación a cada una de las preguntas realizadas y (4) en base a las puntuaciones obtenidas en dichas preguntas, estimación del nivel del examinado en el dominio evaluado para poder realizar las afirmaciones o inferencias previstas. Para ello, se necesita un modelo estadístico que relacione las puntuaciones en las preguntas con el conocimiento/destreza/habilidad evaluado con la prueba (e.g., basado en la teoría clásica, en la teoría de respuesta al ítem, en un modelo de diagnóstico cognitivo), teniendo en cuenta el tipo de afirmaciones que se desea hacer sobre los examinados y el modelo de evidencia definido en la tercera etapa.

-el DCE constituye un medio para construir una cadena de argumentos y evidencia en apoyo de las afirmaciones que se desea hacer acerca de los sujetos que responden al test. Este trabajo encadenado implica: (1) analizar el dominio de interés, (2) especificar las afirmaciones que se desea realizar acerca de características relevantes de los sujetos, (3) decidir qué evidencia se necesita para poder realizar dichas inferencias, (4) desarrollar las tareas que proporcionarán la evidencia deseada teniendo en cuenta las limitaciones propias de cada programa de evaluación, (5) ensamblar las tareas en las distintas formas del test, (6) puntuar las respuestas a dichas tareas y combinar esas puntuaciones para obtener la evidencia requerida para poder realizar las inferencias previstas y (7) describir de manera explícita y lógica los vínculos que existen entre todos los pasos anteriores.

 

-Robert Mislevy es especialista en estadística y medición educativa.
-Mislevy et al. (2003) desarrollaron el modelo de evaluación conocido como evidence-centered design por la necesidad de establecer un argumento que permitiera relacionar lo que los estudiantes dicen o hacen en un examen con lo que hacen en con textos más amplios.
-Según Mislev los pasos para el diseño de exámenes son equivalentes a los que se deben seguir en el proceso de validación de los mismos. Los autores incluyen cuatro pasos fundamentales, cada uno de los cuales está compuesto, a su vez, por diversos componentes: el análisis del dominio, el modelado del dominio, el marco conceptual de evaluación y la arquitectura de la prueba, la cual engloba la aplicación y puntuación de la tarea
-De manera sucinta se describe cada uno de los componentes del diseño centrado en la evidencia (evidence-centered design): en primer lugar, es importante hacer un análisis del dominio, en otras palabras, de aquellas situaciones de la “vida real” en las cuales deseamos realizar la evaluación. En segundo término, los autores describen el modelado del dominio, el cual se conforma de las tareas y de todos los instrumentos que se requerirán para evaluarlas; por ejemplo, las rúbricas. En tercer lugar está el marco conceptual de evaluación, en donde se encuentran todos los procesos necesarios para determinar la confiabilidad de una prueba, llámense especificaciones, requerimientos operativos, modelos estadísticos o detalles de rúbricas, entre otros. Generalmente, aunque no siempre, dentro de este marco se encuentran todos los análisis estadísticos que se requieren y que son indispensables para determinar si los instrumentos que han sido diseñados, así como los mecanismos para medirlos, cumplen con la función para la cual fueron creados. Finalmente, la cuarta sección es la arquitectura del examen, misma que incluye la evaluación operativa; en ésta se considera el resultado de los exámenes y las partes involucradas: examinadores, administradores, examinandos, así como aquellos que toman las decisiones.
-El modelo de Mislevy ha sido reelaborado por el autor (2006; 2009); en la actualidad, dicho modelo es conocido como model-based reasoning, o modelo basado en el razonamiento.
-Mislevy concibe su modelo en tres planos; en la parte inferior se muestran diversas manifestaciones del mundo real; en el plano intermedio o semántico es decir, la serie de argumentos que tendrían que llevarse a cabo —a manera de filtro— para hacer inferencias y tomar decisiones respecto de las habilidades de un estudiante. Se trata, entonces, de un modelo basado en la teoría y la experiencia. La tercera capa o superficial es el “mundo estadístico” que se emplea para validar exámenes.
-Es un examen concebido dentro del mundo real y el objetivo final es, justamente, la inferencia de lo que un sustentante será capaz de realizar en un contexto determinado para el cual está siendo examinado

 

-Específicamente, este modelo posee dos funciones principales: la primera de ellas, razonar sobre el diseño de la evaluación; y, la segunda, realizar evaluaciones analíticas más avanzadas en comparación con otros modelos tradicionales.
-el modelo se sustenta en tres premisas: (a) una evaluación debe construir todo el conocimiento importante en el dominio de interés y una comprensión de cómo se adquiere ese conocimiento y el uso que se le da; (b) la cadena de razonamiento de los participantes en relación a sus evaluaciones o inferencias debe basarse en los principios de evidencia de razonamiento; y (c) el propósito debe ser la fuerza impulsora detrás de las decisiones de diseño que reflejan las limitaciones, los recursos y las condiciones de uso.
-el modelo divide el proceso de diseño, desarrollo y uso de pruebas en cinco
actividades:
a. Análisis de dominio: donde se recopila la información sobre el tema de interés que tendrá implicación en la evaluación y la forma en que esta se obtuvo y se comunica; particularmente, incluye el contenido, conceptos, terminología, herramientas y formas de representación que las personas tienen, y es la base sustantiva de los argumentos de evaluación.
b. Modelado del dominio: tiene que ver con la organización de la información de análisis de dominio a lo largo de las líneas de argumentos de evaluación; así, el argumento tiene forma narrativa con descripciones coherentes de competencias de interés que evidencian las capacidades y las formas de organización de las situaciones.
c. Marco de evaluación conceptual: el argumento se comienza a articular en patrones de diseño en términos de tipos de elementos y procesos necesarios para la evaluación; en esta se tienen en cuenta variables, esquemas de tareas y mecanismos de puntuación, y se genera una estructura que coordine aspectos sustantivos estadísticos y operativos. Acá también se toman decisiones de diseño, como el modelo estadístico, materiales y procedimientos para calificar el trabajo con el fin de generar una familia de tareas y procesos auxiliares.
d. Evaluación de la instrumentación: que incluye la presentación de las tareas, la recolección y el análisis de las respuestas.
e. Evaluación de entrega: donde se coordina las interacciones de los evaluados y las tareas.

 

-a evaluación más que una acción punitiva, es la toma de decisiones para la mejora, basada en evidencias confiables. Estas evidencias de aprendizaje, no solo le ayudan al docente a realizar las modificaciones necesarias en sus planes de clase para alcanzar sus objetivos de aprendizaje. Sino también, la educación basada en evidencias ayuda a trazar las políticas públicas en materia educativa.
-El diseño de las evidencias son lo fundamental de la educación en línea, ya que estas deben reflejar los aprendizajes que el estudiante va obteniendo a través del desarrollo y construcción de los productos. Pero, sobre todo fomentar la interacción entre los estudiantes y el propio docente, ya que esta, es la critica y desventaja más grande de la educación en línea

 

-con el fin de conocer la eficiencia del programa de enseñanza del inglés como lengua adicional y de diagnosticar el grado de dominio de los estudiantes al ingreso, durante y al final del programa, adicionalmente aportaría conocimiento útil para mejorar la instrucción y el desempeño.
-Mislevy declara que la validez surge desde el diseño de la prueba indicando cuatro pasos fundamentales en el proceso: el análisis del dominio, el modelado del dominio, el marco conceptual de evaluación y la arquitectura de la prueba.
-Se puede concluir que se lograron cabalmente los objetivos del diseño y validación de la prueba, sin embargo, es importante aplicar un piloteo con una muestra lo suficientemente grande como para realizar análisis más sofisticados que aporten a las evidencias de la calidad técnica de la prueba

 

-“Los criterios son todas aquellas herramientas, reglas o principios que utilizamos para construir los juicios, para juzgar frente a una situación o hecho específico. Las razones bajo las cuales valoramos o clasificamos son criterios, guías que determinan y nos ayudan en el acto deliberativo. Así, los estándares, leyes, estatutos, reglas, preceptos, requisitos, límites, convenciones, normas, fines, propósitos, objetivos, métodos, programas, medidas, etc., son parte del aparato racional (…) funcionan en el proceso de indagación de forma dinámica y crítica.”(Zapata Maya, 2010)
-El buen juicio se sustenta en el criterio que utiliza, por lo que la selección y evaluación del criterio requiere de una explicitación clara y precisa del criterio a evaluar.
-La evaluación es una inferencia válida a partir de datos para hacer una afirmación
-Para la selección y diseño de los instrumentos para la evaluación del aprendizaje es necesario hacer el análisis del modelo de cognición o aprendizajes, el modelo de observación y el modelo de interpretación (Mislevy, 2003). El modelo centrado en evidencias (ECD) considera:
•Partir de un aprendizaje/ dominio (constructo)
•Resolver una tarea que produzca datos y evidencias
•Inferir con las evidencias el nivel del logro del aprendizaje/ dominio.
-El modelo de evaluación del aprendizaje se integra por tres componentes: modelo de cognición, modelo de observación y modelo de interpretación.
-El modelo de cognición describe los aprendizajes: sus dimensiones, tipo de conocimiento y competencias, y las evidencias que darán cuenta de estos; El modelo de observación describe las tareas o estímulos que producirán las evidencias de los aprendizajes, que determinan los instrumentos o pruebas que se utilizarán para la medición de los aprendizajes; El modelo de interpretación describe los criterios para la valoración de las evidencias, que pueden ser las evidencias que se requiere observar y los estándares de calidad previamente determinados o rúbricas que describen los niveles de valoración para los elementos que se observan en las pruebas abiertas.
– Presenta múltiples ejemplos de como aplicar el modelo en diferentes tipos de pruebas.