Оценка качества результатов обучения при аттестации (компетентностный подход)
Покупка
Основная коллекция
Тематика:
Организация образования
Издательство:
Логос
Год издания: 2020
Кол-во страниц: 280
Дополнительно
Вид издания:
Учебное пособие
Уровень образования:
ВО - Бакалавриат
ISBN: 978-5-98704-623-4
Артикул: 613131.02.99
Доступ онлайн
300 ₽
В корзину
Дана краткая теоретическая и методическая информация о трактовке качества результатов образования в рамках компетентностного подхода, о измерениях в образовании и практических подходах к оцениванию компетенций. Представлены методики разработки аттестационных педагогических тестов, сопровождаемые примерами. Содержатся обзор возможностей различных видов инновационных измерителей и требования к их характеристикам. Описаны методики обработки, анализа и интерпретации данных о качестве образования. Приведены методики определения пороговых баллов для выделения уровней освоения компетенций.
Для преподавателей и сотрудников системы профессионального образования. Может использоваться преподавателями школ, в системе повышения квалификации работников образования и в процессе обучения студентов педагогических вузов по курсу «Современные средства оценивания результатов обучения».
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов.
Для полноценной работы с документом, пожалуйста, перейдите в
ридер.
В.И. Звонников, М.Б. Челышкова ОЦЕНКА КАЧЕСТВА РЕЗУЛЬТАТОВ ОБУЧЕНИЯ ПРИ АТТЕСТАЦИИ КОМПЕТЕНТНОСТНЫЙ ПОДХОД Издание 2-е, переработанное и дополненное Рекомендовано Советом Учебно-методического объединения по образованию в области менеджмента в качестве учебного пособия по дисциплине специализации специальности «Менеджмент организации» Москва ● Логос ● 2020
УДК 37.0:005.7 ББК 74.58 З44 Р е ц е н з е н т Н.Ф. Ефремова, доктор педагогических наук, профессор Звонников В.И. З44 Оценка качества результатов обучения при аттестации (компетентностный подход): учеб. пособие / В.И. Звонников, М.Б. Челышкова. – Изд. 2-е, перераб. и доп. – М.: Логос, 2020. – 280 с. ISBN 978-5-98704-623-4 Дана краткая теоретическая и методическая информация о трактов ке качества результатов образования в рамках компетентностного подхода, о измерениях в образовании и практических подходах к оцениванию компетенций. Представлены методики разработки аттестационных педагогических тестов, сопровождаемые примерами. Содержатся обзор возможностей различных видов инновационных измерителей и требования к их характеристикам. Описаны методики обработки, анализа и интерпретации данных о качестве образования. Приведены методики определения пороговых баллов для выделения уровней освоения компетенций. Для преподавателей и сотрудников системы профессионального об разования. Может использоваться преподавателями школ, в системе повышения квалификации работников образования и в процессе обучения студентов педагогических вузов по курсу «Современные средства оценивания результатов обучения». УДК 37.0:005.7 ББК 74.58 ISBN 978-5-98704-623-4 © Звонников В.И., Челышкова М.Б., 2020 © Логос, 2020
ОГЛАВЛЕНИЕ Предисловие ..........................................................................................9 Глава 1. Компетентностный подход с позиций оценивания качества результатов обучения ......12 1.1. Качество образования, эволюция понятия, компетентностный подход в федеральных государственных образовательных стандартах ................ 12 1.2. Компетентность и компетенции, понятийный аппарат ........................................................ 15 1.3. Кластеризация компетенций ............................................. 20 1.4. Паспортизация компетенций ............................................ 27 1.5. Компетенции как цели освоения дисциплины ................. 29 1.6. Задачи изучения дисциплины в рамках компетентностного подхода .............................................. 35 1.7. Обучение и оценка в рамках компетентностного подхода ............................................. 41 Выводы ...................................................................................... 45 Глава 2. Основные положения теории педагогических измерений ............................................................................47 2.1. Понятийный аппарат теории педагогических измерений .......................................................................... 47 2.2. Переменные и компоненты измерений в образовании, надежность и валидность результатов измерения .......................................................................... 50
Оглавление 2.3. Объективность педагогических измерений ...................... 55 2.4. Размерность пространства измерений, одномерные и многомерные конструкты ......................... 57 2.5. Уровни измерений и шкалы ............................................... 64 2.6. Надежность педагогических тестов, ее виды и оценка ..... 72 2.7. Валидность педагогических тестов, ее виды и оценка ...... 82 Выводы ...................................................................................... 85 Практические задания и вопросы для обсуждения ..................86 Глава 3. Основные подходы к разработке измерителей, их виды и этапы разработки ................................................89 3.1. Два подхода к интерпретации результатов педагогических измерений ............................................... 89 3.2. Нормативно-ориентированный подход и стандартизация тестов .................................................... 90 3.3. Критериально-ориентированный подход в педагогических измерениях ........................................... 94 3.4. Задачи тестирования и виды тестов ................................. 100 3.5. Компетентностные тесты, основные этапы разработки тестов для аттестации ................................... 103 3.6. Портфолио ........................................................................ 112 3.7. Кейс-измерители.............................................................. 118 3.8. Анкеты и интервью .......................................................... 129 Выводы .................................................................................... 131 Практические задания и вопросы для обсуждения ............... 133 Глава 4. Содержание компетентностных тестов, планирование, отбор и экспертиза качества ....................135 4.1. Целеполагание и планирование содержания аттестационного теста .................................................... 135 4.2. Общие принципы отбора содержания аттестационных тестов .................................................... 141 4. 3. Экспертиза качества содержания аттестационных тестов и оценочных рубрик.................. 141
Оглавление Выводы .................................................................................... 144 Практические задания и вопросы для обсуждения .............. 145 Глава 5. Формы тестовых заданий ..................................................147 5.1. Общие требования к заданиям и классификация форм ................................................................................. 147 5.2. Задания с выбором одного или нескольких правильных ответов ......................................................... 149 5.3. Задания с конструируемым ответом ................................ 161 5.4. Компетентностно-ориентированные задания ................ 168 5.5. Задания на установление соответствия ........................... 180 5.6. Задания на установление правильной последовательности ......................................................... 182 5.7. Сравнительная характеристика форм заданий .............. 183 Выводы ................................................................................... 184 Практические задания и вопросы для обсуждения ............... 186 Глава 6. Статистический анализ качества тестовых заданий и теста ...................................................................188 6.1. Классическая и современная теории конструирования тестов ................................................. 188 6.2. Математико-статистический анализ качества тестовых заданий на основе классической теории тестов ............................................................................... 189 6.3. Использование факторного анализа и многомерного шкалирования для разработки компетентностных тестов ............................................... 210 Выводы ................................................................................... 219 Практические задания и вопросы для обсуждения ............... 220 Глава 7. Шкалирование результатов оценивания .........................221 7.1. Общие сведения ............................................................... 221 7.2. Шкала перцентильных рангов ......................................... 222 7.3. Стандартные показатели. Z-шкала .................................. 225
Оглавление 7.4. Шкалы стандартных оценок, полученных на основе линейных преобразования Z-шкалы ................... 228 7.5. Шкалирование результатов выполнения компетентностных тестов ............................................... 231 Выводы ................................................................................... 234 Вопросы и задания для самопроверки ................................... 234 Глава 8. Стандарты выполнения компетентностных тестов .........235 8.1. Задача установления стандартов ..................................... 235 8.2. Общие подходы к установлению стандартов .................. 236 8.3. Ошибки классификации ................................................. 240 8.4. Общие шаги в установлении стандартов выполнения тестов .......................................................... 242 8.5. Выбор метода установления стандарта ........................... 245 8.6. Метод Недельски ............................................................. 246 8.7. Метод Эбеля .................................................................... 251 8.8. Метод Ангоффа и его модификации ............................. 255 8.9. Метод контрастных групп .............................................. 263 Заключение ........................................................................................267 Словарь терминов ..............................................................................269 Литература .........................................................................................277
Предисловие На содержание этой книги повлияли два фактора, которые вместе с тем послужили побудительным мотивом к ее появлению. Первый – это введение нового поколения федеральных государственных образовательных стандартов для системы высшего профессионального образования. Второй – отсутствие должного уровня развития аппарата педагогических измерений в отечественном образовании. Хотя статистическая теория обоснования качества тестовых оценок очень хорошо развита за рубежом, а в России вышло несколько учебных пособий на эту тему, создание тестов в нашей стране по-прежнему ведется интуитивно, без опоры на научные методы теории измерений. Преподаватели посвящают свое время разработке многочисленных проверочных заданий, имитирующих по форме тестовые, но не имеющих никаких количественных оценок своих характеристик. В первую очередь речь идет о количественных оценках валидности задания, числа оцениваемых переменных (размерности задания) и вклада ошибочного компонента по отдельным заданиям в общую ошибку измерения. Именно этим характеристикам и их оценкам на основе развернутого статистического анализа данных измерения в пособии уделяется большое внимание. Важность анализа усиливается благодаря трудностям создания измерителей, используемых при оценивании компетенций в аттестации. Разработка любого аттестационного теста требует обязательного обоснования релевантности его содержания переменной или переменным измерения, исполь зования математико-статистических методов для проверки соответствия теста определенным критериям качества и анализа точности обеспечиваемых им оценок. Необходимость такого обоснования резко возрастает в связи с введением в высшем профессиональном образовании стандартов третьего поколения, в которых требования к качеству результатов образования формулируются в виде набора общекультурных (общенаучных, инструментальных, социально-личностных и т.д.), а также профессиональных компетенций.
Неизбежная сложность контрольно-оценочных процессов, связанная с латентной природой результатов обучения, усугубляется специфическими характеристиками компетенций, к которым следует отнести многомерность, междисциплинарность, связь с индивидуальными задатками обучаемых и отсроченный характер проявления в основном после окончания обучения. Таким образом, сам компетентностный подход требует актуализации методов оценивания конструктной, прогностической и содержательной валидности, надежности и размерности результатов оценочных процессов с учетом различных факторов, влияющих на качество результатов образования. В отличие от первого издания, бывшего довольно фрагментарным, эта книга содержит всю необходимую информацию о корректных подходах к оценке качества результатов образования в рамках компетентностного подхода при аттестации. Она включает краткие теоретические и методические сведения о компетентностном подходе и измерениях в образовании, дополненные детализированными алгоритмами действий разработчиков компетентностных аттестационных тестов. В ней содержится обзор возможностей других инновационных измерителей и требования к их характеристикам, методики обработки и анализа данных измерения. Включен новый раздел, посвященный методикам выбора пороговых (критериальных) баллов для определения уровней сформированности компетенций у обучаемых и представляющий значительный интерес при стандартизации и использовании компетентностных тестов. Для краткости изложения и доступности материала в книге сознательно опущены темы, посвященные разработке междисциплинарных тестов и многомерному шкалированию. Достаточно кратко приведена методика использования факторного анализа для оценки учебных достижений в рамках компетентностного подхода. Отсутствует информация по современной теории тестов (Item Response Theory) и т.д. Словом, многие сложные методики аппарата педагогических измерений, которые используются профессионалами и должны быть задействованы для полноценной реализации компетентностного подхода к оценке качества результатов обучения, не нашли своего отражения в данном пособии. Поэтому представленную в книге информацию можно рассматривать как необходимый минимум, без которого немыслима реализация компетентностного подхода при аттестации обучаемых. В целом, эта книга предназначена для всех тех преподавателей, кто склонен к введению инноваций в традиционный контрольнооценочный процесс и использованию современных средств оценивания качества результатов обучения для подготовки своих студентов к аттестации на основе образовательных стандартов третьего поколения. Однако было бы ошибкой считать, что пособие адресовано читателю, обладающему специальной математической подготовкой. Также не Предисловие
Предисловие верно думать, что разработка тестов – удел исключительно профессионалов, поскольку одни специалисты никогда не смогут обеспечить измерителями все направления подготовки высшего профессионального образования. Во многих странах тесты для аттестации выпускников и студентов разрабатывают сами учебные заведения с привлечением специалистов в области педагогических измерений и психодиагностики в качестве консультантов. Поэтому материал пособия будет полезен любому преподавателю вуза.
Глава 1 КОМПЕТЕНТНОСТНЫЙ ПОДХОД С ПОЗИЦИЙ ОЦЕНИВАНИЯ КАЧЕСТВА РЕЗУЛЬТАТОВ ОБУЧЕНИЯ 1.1. Качество образования, эволюция понятия, компетентностный подход в федеральных государственных образовательных стандартах С начала XXI века в России, как и во всем мире, наметились политические и социальные тенденции, которые привели к резкому возрастанию актуальности проблем качества профессионального образования и поиску новых подходов к повышению эффективности управления образовательными системами. В наши дни высшая школа России подвергается той же модернизации и переживает те же трудности, что и образование во многих зарубежных странах. Происходит интенсивный рост числа специальностей и специализаций из-за появления новых профессий и «демаркации» прежних на рынке труда. Повышается мобильность студентов и выпускников вузов, что приводит к стиранию граней между классическими академическими и прикладными профессиями. Возникает феномен массового высшего образования. Происходит глобализация профессий на фоне развития децентрализации ответственности за качество работы. Растет ориентация результатов профессионального образования на требования работодателей. Повышаются прозрачность процедур аттестации и аккредитации, а также интерес к проведению сравнительных исследований качества образования, в том числе на национальном уровне, в условиях сопоставимости оценок результатов образования. Наблюдаются усиление роли непрерывного образования, усложнение задач личностного развития на фоне внедрения рыночных механизмов в высшее профессиональное образование и т.д.
1.1. Качество образования, эволюция понятия, компетентностный подход... Трудности модернизации образования сопровождаются изменением самих представлений о качестве его результатов. В самом общем случае под качеством образования понимается интегральная характеристика системы образования, отражающая степень соответствия реально достигаемых образовательных результатов нормативным требованиям, социальным и личностным ожиданиям обучаемых. Компоненты интегральной характеристики меняются в соответствии с целями образовательного этапа, а их совокупность раскрывается в сочетании различных показателей, определяющих качество образования в зависимости от его трактовки, социальных и политических контекстов. В частности, когда в системе профессионального образования на первый план выносятся требования рынка труда, выступающего в роли потребителя, то совокупность показателей обретает вполне конкретный вид множества профессиональных компетенций и раскрывается по-разному, в зависимости от направлений и профилей подготовки профессионального образования. Такие совокупности компетенций представлены в новых федеральных государственных образовательных стандартах системы высшего профессионального образования. По замыслу разработчиков этих стандартов, компетенции студентов и выпускников вузов должны быть коррелированы с профессиональными стандартами и потребностями рынка труда. Однако на деле этот замысел был реализован не в полной мере в силу существования объективных трудностей, препятствовавших формированию требуемой совокупности компетенций в стандартах по двум причинам. Во-первых, на сегодняшний день в нашей стране большая, если не основная, часть сообщества работодателей не имеет профессиональных стандартов. Во-вторых, как правило, работодатели, топ-менеджеры и собственники бизнес-организаций не испытывают особого интереса к взаимодействию с вузами, полагая, что, получив молодых специалистов с хорошей фундаментальной подготовкой, они смогут самостоятельно их доучить, обеспечив нужную профилизацию в рамках различных корпоративных университетов и системы повышения квалификации. Так как ожидания и работодателей, и представителей высшей школы сбываются далеко не всегда, это дает основания для возникновения взаимных претензий – как со стороны системы профессионального образования, так и со стороны рынка труда. В целом, можно сделать вывод о том, что представления о качестве не только варьируют по группам участников образовательного процесса, но и изменяются с течением времени по мере развития общества, экономики и науки. Современные требования общества к развитию личности выпускника вуза претерпели значительные изменения даже по сравнению с недавним прошлым – девяностыми годами прошлого века. Приоритеты при трактовке качества результатов образования сместились на характеристику компетенций выпускника учебного заведе
Глава 1. Компетентностный подход с позиций оценивания качества результатов обучения ния, его способностей к адаптации в профессиональном сообществе, развитие его когнитивных и креативных способностей, формирование гражданской ответственности и правового самосознания, духовности и культуры. Поэтому в наши дни при оценке качества учебных достижений выпускников вузов на первый план выходит не объем усвоенных знаний или алгоритмы их воспроизведения, а ключевые компетенции, творческий подход к решению учебных и жизненных проблем, умения самостоятельно приобретать знания и применять их в ситуациях, близких к будущей профессиональной деятельности. Соответственно, на фоне этих изменений качество результатов высшего профессионального образования можно трактовать как совокупность характеристик, определяющих результаты последовательного, эффективного формирования компетентности выпускника вуза, его профессионального сознания, организационной культуры и способности к самообразованию. Совокупность таких характеристик на уровне целеполагания должна отражать способность выпускника вуза успешно осуществлять профессиональную деятельность в соответствии с требованиями современного этапа развития эко номики, в условиях высокой эффективности и в сочетании с социальной ответственностью за результаты профессиональной деятельности. Стремление образовательного сообщества к получению информации о динамике изменения результатов образования, эффективности процесса обучения и последствиях тех или иных инноваций привели к появлению динамической трактовки качества. В ней качество рассматривается как позитивные изменения в процессах и результатах образования, обусловленные развитием науки и производства и отражающие тенденции в изменении целей образования, запросов обучающихся, общества и рынка труда. В отличие от целевой парадигмы, в которой оценка качества результатов образования связана с ответом на вопросы: «Получили ли то, что ожидалось?» и «Можно ли, следовательно, говорить о наличии определенного уровня качества?», динамическая парадигма позволяет оценить прирост по совокупности показателей качества, способствуя тем самым эффективному и оперативному решению задач управления качеством образования. Хотя идея введения временного фактора в практику аттестации студентов не согласуется с целевой парадигмой, закладываемой на протяжении десятков лет во все поколения стандартов профессионального образования, динамический подход прочно вошел в деятельность структур, занимающихся оценкой качества результатов обучения в ряде стран, обладающих высокоразвитыми системами образования. Для его применения при оценке качества результатов обучения необходимо накапливать данные о приросте познавательной активности студентов, уровня сформированности у них компетенций или других учебных достижений на протяжении всего периода обучения, затем фиксировать
1.2. Компетентность и компетенции, понятийный аппарат эти данные в виде дескриптивной (описательной) статистики и различных документов на количественном и качественном уровнях измерения. Таким образом, в динамическом подходе оценка качества результатов обучения строится на проведении многофакторного анализа изменений по ряду показателей качества. Вследствие несоответствия результатов образования современным запросам общества и потребностям рынка труда возник компетентностный подход к трактовке качества, отражающий стремления участников образовательного процесса к повышению его эффективности на фоне приоритета прагматизма без ущерба для фундаментальности результатов образования. Обращаясь к проблеме оценки качества результатов образования, наиболее плодотворным в наши дни можно считать тот подход, в котором идут по пути соединения компетентностной трактовки качества и динамического анализа на основе аппарата теории педагогических измерений, позволяющего получить надежные и валидные оценки тех позитивных изменений в процессах и результатах образования, которые адекватны принятой инновационной трактовке показателей качества образования. 1.2. Компетентность и компетенции, понятийный аппарат Считается, что термин «компетенция» ввел в обращение в 1959 г. Уайт (White) для описания тех способностей личности выпускника учебного заведения, которые наиболее тесно связаны с его превосходной работой на основе полученной подготовки и сформированной в процессе обучения высокой мотивацией к ее выполнению. Постулируя взаимосвязь между когнитивными компетенциями и мотивационными тенденциями, Уайт определил компетентность как «…эффективное взаимодействие человека с окружающей средой…» и утверждал, что в числе личностных характеристик выпускника должно существовать специальное новообразование – «компетентностная мотивация» – в дополнение к компетенции, которую можно трактовать как сформированную способность. Следуя этому теоретическому подходу, в США и ряде других зарубежных стран с середины 80-х годов ХХ века стали разрабатывать компетентностные тесты, позволяющие предсказывать эффективность в деятельности и жизненные успехи после окончания обучения с высокой прогностической валидностью. Компетентностный подход в силу многих трудностей, связанных с его введением в систему образования, далеко не всегда приветствуется участниками образовательного процесса во всех странах. В частности, он вызывает многочисленную критику и в нашей стране, в первую очередь со стороны преподавательского состава школ и вузов. Иногда противники компетентностного подхода считают его следствием
Доступ онлайн
300 ₽
В корзину