Введение в классическую и современную теорию тестов
Покупка
Основная коллекция
Тематика:
Теория текста. Стилистика
Издательство:
Логос
Год издания: 2020
Кол-во страниц: 668
Дополнительно
Вид издания:
Учебник
Уровень образования:
ВО - Бакалавриат
ISBN: 978-5-98704-437-5
Артикул: 619947.02.99
Доступ онлайн
В корзину
Раскрыта сущность теории тестов, показаны преемственность и отличия ее классической и современной версий. Изложено введение в теорию измерений. Представлены статистические концепции в теории тестирования. Дано введение в шкалирование, показан процесс конструирования тестов. Раскрыто понятие надежности в контексте классической концепции истинной оценки и разработки процедур оценивания справедливости тестов. Освещена проблема валидности тестов и изложены пути ее решения. Охарактеризованы тестовые оценки и методы их интерпретации. Каждая глава содержит краткие выводы и упражнения на закрепление полученного материала и проверку знаний. Для студентов высших учебных заведений, получающих образование по педагогическим специальностям и направлениям, а также для слушателей учреждений повышения квалификации и переподготовки учителей и преподавателей. Может использоваться в учебном процессе вузов при подготовке социологов, психологов, экономистов, представителей других областей социально-гуманитарных наук, знания, применяющих тесты для измерения и оценки человеческих способностей, знаний и качеств, а также явлений и процессов общественной и культурной жизни. Представляет особый интерес для ученых и специалистов, занимающихся проблемами измерений.
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов.
Для полноценной работы с документом, пожалуйста, перейдите в
ридер.
Введение в классическую и современную теорию тестов
Linda Croker , James Algina Introduction to Classical and Modern Test Theory
Линда Крокер , Джеймс Алгина Введение в классическую и современную теорию тестов Перевод на русский язык под общей редакцией В.И. Звонникова и М.Б. Челышковой Москва Логос 2020
Перевод и издание на русском языке книги Л. Крокер и Дж. Алгины «Введение в классическую и современную теорию тестов» осуществлены при поддержке Американских советов по международному образованию УДК 159.9.07 ББК 74.26в6 К83 К83 Крокер Л. Введение в классическую и современную теорию тестов: учебник / Л. Крокер, Дж. Алгина; под общей ред. В.И. Звонникова и М.Б. Челышковой. – М.: Логос, 2020. – 668 с. ISBN 978-5-98704-437-5 Раскрыта сущность теории тестов, показаны преемственность и отличия ее классической и современной версий. Изложено введение в теорию измерений. Представлены статистические концепции в теории тестирования. Дано введение в шкалирование, показан процесс конструирования тестов. Раскрыто понятие надежности в контексте классической концепции истинной оценки и разработки процедур оценивания справедливости тестов. Освещена проблема валидности тестов и изложены пути ее решения. Охарактеризованы тестовые оценки и методы их интерпретации. Каждая глава содержит краткие выводы и упражнения на закрепление полученного материала и проверку знаний. Для студентов высших учебных заведений, получающих образование по педагогическим специальностям и направлениям, а также для слушателей учреждений повышения квалификации и переподготовки учителей и препо- давателей. Может использоваться в учебном процессе вузов при подготовке социологов, психологов, экономистов, представителей других областей социально-гуманитарных наук, знания, применяющих тесты для измерения и оценки чело- веческих способностей, знаний и качеств, а также явлений и процессов обще- ственной и культурной жизни. Представляет особый интерес для ученых и специалистов, занимающихся проблемами измерений. УДК 159.9.07 ББК 74.26в6 ISBN 978-5-98704-437-5 © Cengage Learning, 2020 © Найденова Н.Н., Симкин В.Н., Челышкова М.Б., перевод, 2020 © Звонников В.И., Челышкова М.Б., предисловие к русск. изд., 2020 © Логос, 2020
ОгЛАВЛение ОгЛАВЛение Предисловие к русскому изданию ...........................................................................11 Предисловие ..................................................................................................................................17 Раздел I. Введение в теорию измерений ................................................21 глава 1. Что такое теория тестов? ............................................................................23 Проблемы измерений психологических конструктов .........................................................26 Теория тестов как дисциплина .......................................................................................................28 Структура данного учебника ..........................................................................................................34 Выводы ......................................................................................................................................................36 Упражнения .............................................................................................................................................36 глава 2. Статистические концепции в теории тестов ............................38 Тестовые оценки как дискретные переменные для конечных популяций .................38 Описание индивидуальных результатов с помощью z-оценок ........................................46 Бесконечные популяции и непрерывные переменные .......................................................47 Нормальное распределение ............................................................................................................48 Описание связи между двумя переменными ...........................................................................54 Предсказание индивидуальных возможностей выполнения теста ................................64 Выводы ......................................................................................................................................................71 Упражнения .............................................................................................................................................73 глава 3. Введение в шкалирование .........................................................................77 Вещественные числа и шкалы измерения ................................................................................77 Уровни измерительных шкал .........................................................................................................79 Подходы к шкалированию в разработке тестов .....................................................................83 Уровни шкал для субъектно-центрированных измерений ................................................97 Выводы ....................................................................................................................................................101 Упражнения ...........................................................................................................................................102
Оглавление 6 глава 4. Процесс конструирования теста ........................................................105 Определение целей применения тестовой оценки .............................................................106 Определение характеристик поведения для отображения конструкта ......................107 Построение выборки содержания ..............................................................................................108 Подготовка спецификаций тестов .............................................................................................113 Конструирование заданий .............................................................................................................117 Рецензирование ..................................................................................................................................125 Предварительная апробация заданий .......................................................................................127 Следующие шаги................................................................................................................................128 Выводы ....................................................................................................................................................128 Упражнения ...........................................................................................................................................130 глава 5. Тестовые оценки как составные .........................................................133 Схемы оценивания заданий ..........................................................................................................134 Дескриптивная (описательная) статистика для недихотомических переменных ..........................................................................................................................................135 Дескриптивная статистика для дихотомических переменных ......................................137 Дисперсия составной оценки .......................................................................................................141 Практические приложения для конструирования теста ..................................................145 Выводы ....................................................................................................................................................148 Упражнения ...........................................................................................................................................149 Раздел II. надежность ...................................................................................................151 глава 6. надежность и классическая модель истинной оценки .................................................................................................................................................153 Классическая модель истинной оценки ..................................................................................155 Показатель надежности и коэффициент надежности .......................................................164 Надежность составных тестовых оценок.................................................................................168 Стандартная ошибка измерения .................................................................................................174 Альтернативные определения истинной оценки и ошибки ...........................................177 Выводы ....................................................................................................................................................181 Упражнения ...........................................................................................................................................183 глава 7. Процедуры для оценивания надежности ..................................186 Процедуры, требующие двух предъявлений теста ..............................................................187 Методы, требующие одноразового предъявления теста ...................................................191 Межрейтерная надежность............................................................................................................203 Факторы, которые влияют на коэффициенты надежности ............................................204
Оглавление 7 Приближенное вычисление истинных оценок ....................................................................208 Надежность разности оценок .......................................................................................................210 Использование оценок ошибки в интерпретации тестового балла .............................213 Сообщение данных по надежности ...........................................................................................216 Выводы ....................................................................................................................................................217 Упражнения ...........................................................................................................................................218 глава 8. Введение в теорию генерализации ................................................223 Г-исследование и Р-исследование .............................................................................................224 Введение коэффициентов генерализации для однофасетных дизайнов ...................227 Вложенный однофасетный дизайн Г-исследования (дизайн 4) ...................................241 Генеральные совокупности с фиксированными фасетами..............................................243 Использование теории генерализации с данными, отличающимися от субъективных оценок экспертов ...........................................................................................245 Стандартные ошибки измерения для абсолютных и относительных решений .................................................................................................................................................246 Теория генерализации для двухфасетного дизайна ............................................................251 Выводы ....................................................................................................................................................265 Упражнения ...........................................................................................................................................266 глава 9. Коэффициенты надежности для критериальноориентированных тестов .................................................................................................269 Использование критериально-ориентированных измерений .......................................270 Теория надежности для приближенного оценивания домен-оценок .........................271 Теория надежности для классификаций по категориям мастерства ...........................275 Точность решения .............................................................................................................................292 Выводы ....................................................................................................................................................294 Упражнения ...........................................................................................................................................296 Раздел III. Валидность ..................................................................................................299 глава 10. Введение в валидность ............................................................................301 Содержательная валидность .........................................................................................................302 Критериально-ориентированная валидизация ....................................................................310 Конструктная валидность ..............................................................................................................319 Пересечение подходов к валидизации .....................................................................................326 Коэффициенты валидности для истинных оценок ............................................................327 Выводы ....................................................................................................................................................329 Упражнения ...........................................................................................................................................331
Оглавление 8 глава 11. Статистические процедуры для прогнозирования и классификации .....................................................................................................................335 Частная корреляция .........................................................................................................................336 Множественная регрессия .............................................................................................................339 Дискриминантный анализ .............................................................................................................352 Выводы ....................................................................................................................................................360 Упражнения ...........................................................................................................................................361 глава 12. Систематическая ошибка отбора ..................................................365 Основные концепции и понятия ................................................................................................366 Группы большинства и меньшинства .......................................................................................370 Психометрические определения систематической ошибки ...........................................370 Справедливые процедуры отбора ...............................................................................................374 Критика моделей ...............................................................................................................................379 Подход к отбору, связанный с теорией решений .................................................................380 Выводы ....................................................................................................................................................387 Упражнения ...........................................................................................................................................388 глава 13. Факторный анализ ........................................................................................390 Пример с гипотетическими данными .......................................................................................391 Факторы и факторные нагрузки .................................................................................................391 Вращение ..............................................................................................................................................393 Коррелированные факторы ..........................................................................................................396 Число факторов ..................................................................................................................................398 Модель факторного анализа .........................................................................................................399 Общность и уникальность .............................................................................................................400 Пример с реальными данными ....................................................................................................401 Исследовательский и конфирматорный факторный анализ ..........................................410 Выводы ....................................................................................................................................................412 Упражнения ...........................................................................................................................................412 Раздел IV. Анализ заданий в разработке теста ....................................................................................................................................................415 глава 14. Анализ заданий................................................................................................417 Трудность задания, среднее значение и дисперсия ............................................................418 Дискриминативность (различительная способность) задания .....................................420 Надежность заданий и показатели валидности ....................................................................428 Проведение исследования при анализе заданий .................................................................430
Оглавление 9 Анализ заданий для критериально-ориентированных тестов ........................................441 Выводы ....................................................................................................................................................449 Упражнения ...........................................................................................................................................451 глава 15. Введение в современную теорию тестов ..............................454 Базовые понятия теории IRT .......................................................................................................456 Кривая интегральной функции нормального распределения (нормальная огива) ...........................................................................................................................463 Связь теории IRT с классической теорией тестов ...............................................................468 Логистические модели ....................................................................................................................471 Приближенное оценивание параметров .................................................................................473 Выбор модели ......................................................................................................................................482 Приложения теории IRT ................................................................................................................484 Выводы ....................................................................................................................................................496 Упражнения ...........................................................................................................................................496 глава 16. Обнаружение заданий, приводящих к систематическим ошибкам .......................................................................................502 Методы, основанные на современной теории тестов (IRT) ...........................................504 Методы хи-квадрат ...........................................................................................................................512 Преимущества и неудобства различных методов ................................................................524 Выводы ....................................................................................................................................................525 Упражнения ...........................................................................................................................................526 Раздел V. Тестовые оценки и их интерпретация ..........................529 глава 17. Поправка на угадывание и другие методы оценивания ....................................................................................................................................531 Оценивающая формула ...................................................................................................................532 Поощрение дополнительными вкладами в оценку (кредитами) за частичные знания .........................................................................................................................539 Выводы ....................................................................................................................................................540 Упражнения ...........................................................................................................................................542 глава 18. Установление стандартов .....................................................................544 Подходы к установлению стандартов .......................................................................................546 Эмпирическое исследование методов установления стандартов .................................553 Практические рекомендации по установлению стандартов ...........................................555 Технические соображения в процедуре установления стандартов ...............................558 Выводы ....................................................................................................................................................568 Упражнения ...........................................................................................................................................570
Оглавление 10 глава 19. нормы и стандартные оценки ...........................................................571 Проведение исследования нормирования ..............................................................................572 Вероятностная выборка ..................................................................................................................573 Описание исследования нормирования в руководстве к тесту .....................................580 Виды нормативных оценок ...........................................................................................................582 Выводы ....................................................................................................................................................598 Упражнения ...........................................................................................................................................600 глава 20. Выравнивание оценок по разным тестам ..............................604 Определение выравнивания .........................................................................................................605 Сбор данных для выравнивания .................................................................................................606 Выравнивание по современной теории тестов (IRT) ........................................................616 Выравнивание истинной оценки ................................................................................................622 Вертикальное выравнивание ........................................................................................................624 Равенство в выравнивании ............................................................................................................629 Выводы ....................................................................................................................................................631 Упражнения ...........................................................................................................................................632 Библиография ............................................................................................................................635 Приложение A .............................................................................................................................652 Приложение B .............................................................................................................................653
Предисловие к русскому изданию Предисловие к русскому изданию Выход в свет книги Линды Крокер и Джеймса Алгины «Введение в классическую и современную теорию тестов» в переводе на русский язык представляет собой, несомненно, крупное событие в развитии социальногуманитарных наук в нашей стране. А поскольку книга эта является не только фундаментальным научным трудом, но и представляет собой отлично проработанный в методическом отношении учебник, то она, как можно надеяться, окажет существенное влияние и на подготовку специалистов в области педагогики, психологии, социологии, социальной психологии и в других профессиональных областях, связанных с человеком, обществом и культурой. В свое время Иммануил Кант, живший, как известно, в эпоху расцвета классической механики, высказал мысль, которая в вольном переложении могла бы звучать так: в любой науке ровно столько науки, сколько в ней математики. Стремительное развитие физики и ее технических приложений исчерпывающе подтвердило эту мысль. А вот науки о человеческом поведении, гуманитарные дисциплины, включая педагогику, психологию, социологию, долгое время сопротивлялись вторжению математических методов. Последователи Канта, неокантианцы рубежа XIX–XX веков, подвели под это теоретическое обоснование. По их мнению, естествознание изучает природные (или, что то же, реальные, материальные) явления и объекты, т.е. сферу измеримого и исчислимого, тогда как науки о культуре изучают идеальные явления и объекты, которые интересны науке не тем, что они существуют, а тем, что значат, т.е. ценностями и значениями. Последующее развитие научной мысли не отвергло этот тезис, а привело к появлению методов, позволяющих измерять и представлять в математической форме явления культуры. Это стало возможным благодаря использованию своего рода конструктов – объектов-медиумов, отражающих определенные аспекты человеческого мышления и поведения в формализованном виде, позволяющем использовать для их анализа математический аппарат и получать математические, в том числе численные, характеристики тех или иных человеческих качеств и действий. В широком смысле тесты (но не только тесты) являются именно такими измерительными инструментами, основанными на конструктах. И предлагая научное руководство по разработке, использованию тестов и анализу полученных с их применением результатов, ученые, в том числе и Линда Крокер и Джеймс Алгина, внесли существенный вклад в решение серьезнейшей методологической проблемы научного познания. В конце концов их исследования не просто доказали единство природы и культуры, приро
Предисловие к русскому изданию 12 ды и человека, но и вывели из этого доказательства многочисленные прагматические следствия. Впервые измерения и, соответственно, необходимые для них инструменты – тесты, стали применяться выдающимся немецким психологом Вильгельмом Вундтом еще в 80-е годы XIX века. Сегодня же тестирование особенно широко и плодотворно используется в сфере образования для точной и массовой оценки знаний обучаемых и сопоставления их учебных достижений. Пример, который сразу же приходит на ум, – единый государственный экзамен, проводимый в форме тестов, по результатам выполнения которых осуществляются аттестация выпускников общеобразовательных учебных заведений, отбор и прием студентов в высшие учебные заведения Российской Федерации. Известно, что внедрение единого экзамена шло в нашей стране непросто и потребовало проведения весьма продолжительного социальнопедагогического эксперимента. Почему? Назовем только две причины: во-первых, отсутствие в нашей стране культуры и опыта тестирования и, соответственно, низкое качество тестов и недоверие к ним; во-вторых, вполне обоснованное опасение, что тесты не могут гарантировать исчерпывающих результатов оценки учебных достижений обучаемых. Первая причина носит, если угодно, социально-исторический характер. В России тесты появились в тот же период, что и в Германии, Франции, США и других англоязычных странах, где тестирование пустило особенно глубокие корни. И в советский период тестирование также вроде бы пошло на подъем. Но очень быстро стало ясно, что оно акцентирует внимание на различиях между людьми, а не на их схожести, одинаковости. Догматически настроенные ученые и педагоги не без оснований увидели в этом угрозу основной идее социализма, точнее, восторжествовавшей в жизни огрубленной трактовки социалистического общества как однородного, нивелирующего личность в духе замятинского «Мы». Эти не вполне научные аргументы были восприняты политическим руководством страны, фактически запретившим тестирование в школе и других учреждениях образования. Тем не менее тестирование в СССР все-таки практиковалось. В частности, оно использовалось для определения профессиональной пригодности людей, чья работа требовала очень быстрой и точной реакции на меняющиеся обстоятельства. Тестирование проходили операторы электростанций, пилоты самолетов, диспетчеры и др. Наконец, в форме тестов сдаются экзамены на знание правил дорожного движения. Не были прекращены и научные исследования в области тестирования. Правда, они велись в основном энтузиастами-одиночками и носили вторичный характер по отношению к тем исследованиям, которые выполнялись в США и ряде стран Западной Европы. Кое-что в области тестирования делалось даже в Академии педагогических наук СССР, но эти работы поддержки не находили.
Предисловие к русскому изданию 13 Положение стало меняться вслед за развитием конкретных социологических исследований. Массовое проведение социологических опросов, статистический анализ их результатов, позволявших получать достоверные данные в количественном виде, а также в какой-то мере и успехи психодиагностики подготовили общественность и академические круги к возобновлению научных работ в области тестирования и практическому использованию тестов в сфере образования. В конечном счете это вкупе с изменениями в политическом устройстве страны и позволило совершить тот прорыв, который привел к введению у нас в стране единого государственного экзамена и все более широкому распространению тестов в повседневной практике педагогического контроля успеваемости учащихся и студентов. Другое дело, что аргументы, ставящие под сомнение универсальную применимость и абсолютную надежность результатов тестирования человеческих качеств и учебных достижений обучаемых, своего значения все-таки не утратили. Надо отдавать отчет в том, что любой тест, предусматривающий оценку учебных достижений, основан на ответах самого экзаменуемого на вопросы (задания) теста. Между тем экзаменуемый может прекрасно знать учебную дисциплину, по которой проводится тестирование, но находиться в таком эмоционально-психологическом состоянии, которое ему не позволяет сосредоточиться и дать правильный ответ. Мыслим случай, когда тестируемый может намеренно дать ошибочный ответ, так как по какойлибо причине хочет завалить экзамен. На обычном экзамене, когда экзаменатор и экзаменуемый знают друг друга и между ними уже установлен контакт, подобной ситуации нетрудно избежать. Еще более серьезным аргументом против тестирования служит то обстоятельство, что оно подразумевает оценивание ответов экзаменуемого. Но, безусловно, главной проблемой, которая интересует преподавателя (а также родителей, работодателей и общество в целом), являются не столько правильные ответы, сколько понимание учащимися и выпускниками учебных заведений тех областей знаний, которые они изучали в школе, колледже или вузе. Есть основания считать, что тестирование, равно как и все иные существующие инструменты оценки учебных достижений, не позволяет с необходимой надежностью распознать феномен понимания обучаемым учебного материала. Понимание, если угодно, скрыто в глубинах человеческой психики, и хоть как-то оценить его можно только после длительного личного контакта обучаемого и педагога. Иначе говоря, если между людьми есть взаимопонимание, то они, как правило, интуитивно распознают факт понимания или непонимания другим обсуждаемого предмета. Это один из самых существенных аспектов человеческого общения, побуждающий нас обсуждать серьезные жизненные вопросы глаза в глаза…
Предисловие к русскому изданию 14 В этом смысле тестирование остается во многом формальным инструментом оценки учебных достижений и интеллектуального статуса отдельных людей. Ведь в конечном счете человек может оказаться совсем не таким, как показали тесты. А значит, их нельзя абсолютизировать и тем более наделять силой судебного приговора. Вот почему тестирование должно рассматриваться как исключительно полезный и весьма достоверный инструмент для использования в массовой системе образования, позволяющий оценить и учебные достижения определенной категории обучаемых, и качество учебного процесса в отдельных учебных заведениях. Однако в отношении отдельного человека тестирование должно применяться со всеми высказанными здесь оговорками. Весьма примечательно, что этот общий вывод в последние десятилетия пришлось распространить и на измерения в естественных науках. Исследования в области квантовой механики, а также изучение краевых (фрактальных) процессов в рамках теории хаоса показали, что и физические объекты проявляют нечто подобное индивидуальному поведению. Это дает нам плодотворную аналогию, позволяющую более уверенно распространять общенаучную парадигму познания на изучение тех явлений и процессов, которые связаны с человеком, обществом и культурой. Но вернемся к содержанию книги Линды Крокер и Джеймса Алгины. Как, надеемся, убедится сам читатель, в ней дано исчерпывающее описание научных основ разработки и применения тестов. Главная цель, которую преследовали авторы, – дать основные представления о многообразных подходах ко всей технологии тестирования, начиная с зарождения замысла теста до момента его применения и интерпретации полученных результатов во взаимосвязи с понятиями и аппаратом теории педагогических измерений. В книге представлены основные компоненты теории педагогических измерений, базовые концепции классической и современной теории тестов, модели факторного анализа для выявления размерности пространства измерений и факторной композиции тестов. Рассматривается процесс конструирования тестов в рамках нормативно-ориентированного и критериальноориентированного подходов. Значительное внимание уделяется вопросам анализа заданий, качества результатов педагогических измерений, их валидности и надежности, стандартизации тестов и получению их норм. Часть материала посвящена проблеме систематических ошибок измерения, которые рассматриваются в контексте теории генерализации. Приводятся подходы к выявлению систематической ошибки заданий. Даются методики шкалирования данных педагогических измерений и выравнивания шкал оценок, полученных на основе различных тестов. Весьма примечательны и заслуживают, на наш взгляд, подражания сами подходы к решению проблем, рассматриваемых в книге. Авторы не навязывают свою точку зрения, не отвергают чьи-либо исследования, а мягко
Предисловие к русскому изданию 15 и ненавязчиво приводят позитивные аспекты и указывают на уязвимые места альтернативных решений проблем. Эта научность и беспристрастность, в лучшем смысле этих слов, особенно заметна на фоне наблюдающейся в отечественном тестировании явной тенденции к ангажированности, отражающей вторжение политических, корпоративных и групповых интересов в сферу оценки качества образования. Здесь же авторы нередко полемизируют сами с собой, рассматривая, в том числе, возможные социальные последствия непрофессиональных подходов к разработке и применению тестов. Высокий научный уровень и профессионализм изложения сочетаются в книге с доступностью для весьма широкого круга читателей. В интересах облегчения восприятия материала широко используются таблицы, подробное описание вычис лений, многочисленные примеры и графики. Полнота охвата проблематики теории тестов и ее прикладных аспектов в книге Линды Крокер и Джеймса Алгины значительно расширяет возможную читательскую аудиторию. В ней и ученый, и разработчик теста, и автор заданий, и администратор, выступающий в роли пользователя, найдет полезную информацию, важную для решения многих проблем контрольнооценочной деятельности в сфере образования. Как представляется, все сказанное выше только подчеркивает научное значение книги Линды Крокер и Джеймса Алгины как научного труда, который находится на переднем крае современной исследовательской мысли. На этом основании кратко выскажем свое мнение об областях использования этой книги в наших условиях. Во-первых, книге этой должны уделить самое пристальное внимание ученые, использующие различные технологии измерения и количественные методы анализа и оценки в психологии, педагогике, социологии и, возможно, в других родственных областях наук о человеке, обществе и культуре. Конечно, это призваны решить сами ученые, но мы осмелимся высказать им свой совет. Во-вторых, несомненно, книга Линды Крокер и Джеймса Алгины может и должна стать настольной для всех, кто занимается разработкой педагогических тестов. Собственно говоря, она и выпущена на русском языке в первую очередь в расчете на ставший уже многочисленным корпус специалистов, который занимается у нас единым государственным экзаменом, особенно разработкой контрольно-измерительных материалов. Но одним единым госэкзаменом все дело не ограничивается. В современной массовой системе образования тестирование должно быть органично вплетено во всю ткань учебно-воспитательного процесса. Следовательно, знание его теоретических основ и прикладных методов будет в скором времени требоваться от каждого преподавателя. В-третьих, необходимо предусмотреть изучение теории тестирования на психологических и педагогических направлениях и специальностях. Правда, психологам она преподается, но традиционно, психологи так
Доступ онлайн
В корзину