Использование систем автоматизированного контроля знаний в профессиональной деятельности педагога

Министерство образования и науки Российской Федерации

федеральное государственное бюджетное образовательное учреждение

высшего профессионального образования

«Московский педагогический государственный университет»

Н. М. Саукова, Г. Ю. Соколова, С. А. Моркин

ИСПОЛЬЗОВАНИЕ СИСТЕМ

АВТОМАТИЗИРОВАННОГО КОНТРОЛЯ

ЗНАНИЙ В ПРОФЕССИОНАЛЬНОЙ 
ДЕЯТЕЛЬНОСТИ ПЕДАГОГА

Учебно-методическое пособие

Под редакцией Н. М. Сауковой

Рекомендовано УМО по направлениям педагогического образования в

качестве учебно-методического пособия для студентов высших учебных

заведений (Б.2-Информационные технологии в образовании)

МПГУ

Москва

2013

УДК 373.1
ББК 74.028
        С216

Рецензенты: 
Е. Ю. Панов, заведующий кафедрой математического анализа НовГУ имени

Ярослава Мудрого, доктор физико-математических наук, профессор

А. В. Смирнов, профессор кафедры теории и методики обучения физике

МПГУ, доктор педагогических наук

С216    Саукова Н. М., Соколова Г. Ю., Моркин С. А. Использование систем
автоматизированного контроля знаний в профессиональной деятельности педагога / Под ред. Н. М. Сауковой: Учебно-методич. пособие – М.: МПГУ, 2013.
– 124 с.

Учебно-методическое пособие рекомендовано для студентов высших

учебных заведений, обучающихся по направлениям педагогического образования (Б.2 – Информационные технологии в образовании).

ISBN  978-5-7042-2439-6

© МПГУ, 2013

© Издательство «Прометей», 2013

Оглавление
Введение............................................................................................................6
1.Компьютерный тест и его особенности.......................................................7
1.1. Основные понятия.....................................................................................7
1.2. Виды компьютерного тестирования ........................................................8
1.3. Разработка контрольных заданий для компьютерного 
тестирования..........................................................................................................9
1.3.1. Требования, предъявляемые к контролирующим заданиям...............9
1.4. Контролирующие задания для компьютерного 
контроля/обучения ................................................................................................14
1.4.1. Постановка и типы контролирующих заданий....................................15
1.4.2. Вопросы как форма обучающего задания............................................16
1.4.3. Правила составления задания для компьютерного
тестирования..........................................................................................................20
1.4.4. Вопросы к разделу «Компьютерный тест и его особенности» ..........22
2. Организация тестирования с помощью программы MyTest ....................23
2.1. Разработка тестовых заданий...................................................................24
2.2. Типы заданий .............................................................................................27
2.2.1. Одиночный выбор ..................................................................................27
2.2.2. Множественный выбор..........................................................................28
2.2.3. Указание порядка следования................................................................29
2.2.4. Сопоставление вариантов......................................................................31
2.2.5. Указание истинности или ложности утверждений (MCQ).................32
2.2.6. Ручной ввод числа ..................................................................................33
2.2.7. Ручной ввод текста .................................................................................34
2.2.8. Место на изображении...........................................................................36
2.2.9. Перестановка букв..................................................................................37
2.3. Настройка теста.........................................................................................37
2.4. Работа с модулем тестирования программы MyTest..............................42
2.4.1. Открытие тестов .....................................................................................42
2.5. Прохождение теста....................................................................................43
2.5.1. Окончание тестирования........................................................................45
2.6. Задания для самостоятельной работы .....................................................47
2.7. Вопросы к разделу «Организация тестирования с помощью ...............47
программы MyTest»

3

3. Организация тестирования с помощью программы 
«Система тестирования 2.2».............................................................................................48
3.1. Применение «Системы тестирования 2.2» .............................................48
3.2. Возможности..............................................................................................49
3.3. Опрос с помощью пакета «Система тестирования 2.2» ........................49
3.3.1. Типы вопросов........................................................................................50
3.3.2. Алгоритм постановки оценки ...............................................................51
3.3.3. Создание теста........................................................................................52
3.3.4. Параметры теста.....................................................................................56
3.3.5. Проведение опроса.................................................................................58
3.4. Запуск Системы тестирования 2.2 ...........................................................58
3.5. Тестирование..............................................................................................60
3.6. Просмотр результатов ...............................................................................62
3.7. Экспорт теста в ехе файл ..........................................................................63
3.8. Настройка Системы тестирования 2.2.....................................................64
3.9. Задания для самостоятельного выполнения ...........................................64
3.10. Вопросы к разделу «Организация тестирования 
с помощью программы «Система тестирования 2.2»........................................65
4. Организация тестирования с помощью программы Hot Potatoes............66
4.1. Основные блоки программы.....................................................................66
4.2. Настройка конфигурации..........................................................................68
4.3. Внешний вид заданий ...............................................................................71
4.4. Преобразование заданий и тестов в веб-страницу.................................72
4.5. Сохранение проекта с заданием...............................................................74
4.6. Составление кроссворда ...........................................................................75
4.7. Установление соответствий (JMatch).......................................................78
4.8. Викторина (JQuiz)......................................................................................83
4.9. Восстановление последовательности (JMix)..........................................87
4.10. Заполнение пробелов (JCloze)................................................................90
4.10.1. Ввод задания .........................................................................................91
4.11. Объединение заданий в уроки или тематические блоки......................94
4.12. Задания для самостоятельного выполнения .........................................97
4.13. Вопросы к разделу «Организация тестирования 
с помощью программы HotPotatoes» ..................................................................97

4

5. Создание тестовых материалов в среде Flash с помощью шаблонов......98
5.1. Подготовка тестов (обучающих диалогов) с помощью 
тестового шаблона Quiz........................................................................................99
5.2. Удаление обучающего диалога из временной шкалы ............................104
5.3. Добавление обучающих диалогов в шаблон контрольного опроса...........104
5.4. Добавление и удаление объектов перетаскивания и назначения..........111
5.5. Задания для самостоятельной работы .....................................................113
5.6. Вопросы к разделу «Создание тестовых материалов в среде 
Flash с помощью шаблонов»................................................................................113
6. Онлайн сервисы автоматизированного контроля знаний .........................114
6.1. Интернет проект «Твой Тест» ..................................................................114
6.2. Конструктор тестов Online Test Pad.........................................................115
6.3. Онлайн сервисы для создания опросов...................................................116
6.4. Задания для самостоятельной работы .....................................................117
6.5. Вопросы к разделу «Онлайн сервисы автоматизированного 
контроля знаний» ..................................................................................................118
Литература.........................................................................................................119

5

Введение

Учебно-методическое пособие предназначено для студентов, обучающихся по направлениям педагогического образования изучающих 
информационные технологии (ИТ), обеспечивающие профессионально-образовательную деятельность будущих педагогов необходимым 
формированием общекультурных и профессиональных компетенций в 
творческой деятельности.
Достаточно аргументировано раскрываются основные понятия тестирования, виды тестирования, формы тестовых заданий, правила составления заданий для компьютерного тестирования.
Для проверки приобретаемых знаний, умений и навыков, а также 
приобретения ИКТ-опыта, предложены широко известные в информационно-образовательной среде системы автоматизированного контроля 
знаний, таких как My Test, Hot Potatoes, Система тестирования 2.2, среда 
Flash.
В учебно-методическом пособии подробно раскрываются требования к тестам, основные положения (правила) для подготовки учебных 
материалов для тестового контроля. Поэтому вполне обоснованно раскрывается целесообразность использования методических аспектов 
в соответствии с ФГОС нового поколения. 
Вопросы отличаются определенной структурированностью, последовательностью, логикой.

6

1. Компьютерный тест и его особенности

1.1. Основные понятия

Определение 1. Тестирование – аттестационная процедура, позволяющая максимально объективно оценивать соответствия личностной 
модели знаний ученика экспертной модели знаний. Главная цель тестирования – обнаружение несоответствия этих моделей, оценка уровня их 
несоответствия в количественной форме. Тестирование проводится с помощью специальных тестов, состоящих из заданного набора тестовых 
заданий, в равных для всех испытуемых условиях.
Определение 2. Тест – это инструмент, состоящий из статистически 
выверенной системы заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенных для измерения качеств и свойств личности, 
изменение которых возможно в результате систематического обучения.
Определение 3. Тестовое задание – это четкое и ясное задание по 
предметной области, представленное по определенным правилам и требующее однозначного ответа или выполнения определенного алгоритма 
действий.
Определение 4. Остаточное знание (ОЗ) – совокупность знаний, ко
торые должен показать студент по истечении 1 года после завершения 
изучения дисциплины. Контролирующие задания для оценки ОЗ должны строиться согласно рабочей программе дисциплины и требованиям 
государственного образовательного стандарта. Контролирующие задания можно рассматривать по уровням сложности: 

• первый уровень сложности – проверка ОЗ по тем же заданиям, которые были предложены в качестве итоговых заданий / тестов по завершению изучения дисциплины; 
• второй уровень сложности предполагает проверку основополагаю
щих сведений изучаемой дисциплины без рассмотрения тонкостей вопроса.

7

1.2. Виды компьютерного тестирования

Существуют следующие виды компьютерного тестирования:
• централизованное тестирование по контрольным материалам, 
разработанным в соответствующих УМО, ассигнованных министерством центрах;
• аттестационное тестирование (при самообследовании, подтверждающее государственную лицензию);
• итоговое тестирование по оценке соответствия полученных в 
процессе обучения знаний по конкретной дисциплине требованиям государственного образовательного стандарта;
• рубежное и текущее тестирование по оценке подготовленности в 
процессе изучения дисциплины;
• оценка остаточных знаний обучаемых.
Методом компьютерного контроля / тестирования можно получить 
объективную, оперативную, достоверную информацию о знаниях, полученных в процессе обучения и о готовности обучаемых к восприятию 
нового материала.
Компьютерное тестирование имеет ряд преимуществ:
• обеспечение стандартизации;
• обеспечение индивидуальности процедуры контроля;
• повышение объективности контроля и исключения субъективных факторов (усталость преподавателя и его эмоциональность или плохое настроение, отсутствие или недостаточность времени для личного 
общения с преподавателем и другое);
• оперативность статистической обработки результатов контроля;
• доступность для обучающегося к полной информации о результатах контроля;
• обеспечение возможности преподавателю быстрой проверки знаний большого количества обучаемых по разным темам, выполнению заданий, дисциплине в комплексе;
• освобождение преподавателя от выполнения повторяющейся 

8

трудоемкой и рутинной работы по организации массового контроля, 
высвобождение времени для творческого совершенствования разных 
аспектов его профессиональной деятельности;
• обеспечение всесторонней и полной проверки;
• обеспечение возможности обучающемуся самопроверки освоения материала в том режиме работы как это ему удобно (сетевой режим 
доступа контролирующим системам и измерительным материалам);
• доступности и равноправия всех участников процедуры тестирования.
Компьютерное тестирование имеет ряд недостатков, выделим два основных:
• исключение из процедуры контроля устного речевого компонента;
• снижение потребности выбора главного в прочитанном. Рафинированное представление задания не способствует развитию личности.

1.3. Разработка контрольных заданий

для компьютерного тестирования

Самой сложной задачей для педагога является задача разработки 
тестов, которые позволяют максимально объективно оценить уровень 
соответствия или несоответствия личностной модели знаний ученика и 
экспертной модели знаний. Разработка тестовых материалов для любой 
формы контроля (бланкового или компьютерного) должна удовлетворять определенным принципам, выработанным требованиям, правилам 
оформления и удовлетворять требованиям экспертов по оценке тестовых 
заданий. 

1.3.1. Требования, предъявляемые к контролирующим заданиям

К основным требованиям, предъявляемым к любым контролирую
щим заданиям, в том числе и для компьютерного тестирования, обычно 
относят следующие:

9

• валидность;
• определенность (общепонятность);
• однозначность;
• понятный язык изложения;
• доступность;
• простота;
• краткость заданий;
• обоснованность эталона ответа;
• надежность.

Валидность теста – это адекватность. Различают содержательную и 

функциональную валидность: первая – это соответствие теста содержанию контролируемого учебного материала, вторая – соответствие теста 
оцениваемому уровню деятельности.
Требование определенности теста необходимо для однозначного понимания обучающимся того, что он должен выполнить.
Однозначность следует рассматривать в двух аспектах:
1 – однозначность содержательная, что необходимо для понимания 

теста всеми участниками процесса тестирования именно только так как 
написано;

2 – однозначность оценки качества выполнения теста, то есть единство правил оценки ответов в рамках принятой формы.
Понятный язык изложения. Тестовое задание должно иметь ясный 
смысл, исключающий какие-либо другие толкования или интерпретации. Должны исключаться малопонятные и редко употребляемые слова, 
а также неизвестные символы, иностранные слова, затрудняющие восприятие смысла.
Требование простоты теста означает, что тест должен иметь одно 
задание одного уровня, то есть не должен быть комплексным и состоять 
из нескольких заданий разного уровня.
Краткость заданий. Способ представления теста. Краткость заданий должна обеспечиваться тщательным анализом содержания каждого 

10

слова, символа, их толкования в словарях русского языка и иностранных 
слов, в различных энциклопедиях и т.д.
Обоснованность эталона ответа на тестовое задание.
Эталон ответа на тестовое задание разрабатывается заранее опытным преподавателем и согласовывается с научно-методической комиссией. Эталон ответа – это краткое суждение, связанное как по содержанию, так и по форме с содержанием задания.
Понятие надежности тестирования определяют как вероятность 
правильного измерения величины. Требование надежности заключается 
в обеспечении устойчивости результатов многократного тестирования 
одного и того же испытуемого. Надежность теста или блока тестов растет с увеличением количества осуществляемых операций.
При организации тестирования ни одному испытуемому не дается 
никаких преимуществ перед другими испытуемыми. Все отвечают на 
задания, которые охватывают учебные элементы, составляющие основу 
структуры содержания обучения по различным профилям и направлениям подготовки педагогического образования всем дается одинаковое 
время. Правила оценки выполнения задания определяются заранее и 
абсолютно одинаково должны применяться ко всем испытуемым.
При создании таких тестов возникают вопросы:
1) сколько заданий нужно включить в тест для надежной оценки достижения каждой из конкретных учебных целей?
2) какая доля заданий должна быть выполнена правильно для надежного установления владения предметом?
Оценочные процедуры или анализ субъективных оценок экспертами 
создаваемых контрольно-измерительных материалов более полезны на 
начальном и заключительном этапах конструирования теста.
Тест должен быть снабжен оценочной шкалой, сопровождаемой 
четкой инструкцией для пользователя.
Тесты обладают таким свойством, что по их результатам можно 
сравнивать всех испытуемых в группе. Системы оценивания должны 

11

вытекать из целей тестирования. Для тестов, ориентированных на критерий, считается важным, что испытуемый, превысивший его, считается 
успешным в выполнении тестового задания.
Для нормативно-ориентированных тестов основанием для сравнения тестовых показателей являются статистические нормы. Особенно 
важно подобное сравнение при текущем, итоговом и рубежном контроле. Тестовые оценки, как правило, следует переводить в пятибалльную 
систему. Обычно перевод осуществляется по следующей схеме:
• оценка 5 (отлично) выставляется испытуемым за верные ответы, 
которые составляют 91% от общего количества вопросов;
• оценка 4 соответствует работе, которая содержит от 71% до 90% 
правильных ответов;
• оценка 3 соответственно от 70% до 50% правильных ответов;
• работа, содержащая менее 50% правильных ответов, оценивается 
как неудовлетворительная.
Обычно, трудность задания определяется в процентах (долях) лиц, 
давших на него правильный ответ. Чем легче задание, тем выше процент 
справившихся с ним.
Трудность (сложность) является особенностью не только тестового 
задания, но и теста в целом. Тест может состоять как из простых субъектов, так и из сложных. В общем виде трудность (сложность) может быть 
субъективно-статистической.
Субъективная трудность задания зависит от наличествующего психологического барьера, который может быть обусловлен различными 
факторами. К ним относятся индивидуальные особенности во временных характеристиках выполнения умственных заданий, уровень сформированности мыслительной деятельности, индивидуально-психологического состояния испытуемого, отношения к процедуре тестирования и 
многие другие факторы. 
Понятие интеллектуального индекса трудности задания:
а) тестовые задания, выполнимые в процессе мыслительных опера
12

ций сравнения испытуемых, можно обозначить через низкий интеллектуальный индекс;

б) задания, представленные через мыслительные операции анализа, 

синтеза, обобщения (абстракции) оцениваются через средний интеллектуальный индекс;
в) задание, предполагающие их решение посредством мыслительной 
операции через классификацию, оцениваются через высокий интеллектуальный индекс;
г) творческие задания также подлежат оценке через высший интеллектуальный индекс.
Индивидуальный индекс теста в целом может быть представлен, например, в следующих долях (в соответствии с предложенной классификацией):
• 25% заданий решаются посредством сравнения и выявления соответствия объектов или операций (низкий интеллектуальный индекс);
• 25% заданий решаются посредством мыслительной операции 
обобщения (средний интеллектуальный индекс);
• 25% заданий на систематизацию и классификацию (высокий интеллектуальный индекс);
• 25% заданий творческого характера (высший интеллектуальный 
индекс).
Таким образом, присвоение тестовым заданиям интеллектуального 
индекса сложности позволит представить процессуальную сторону мыслительной деятельности через процедуру тестирования.
Следует стремиться к созданию теста, задания которого обладают 
различительными интеллектуальными индексами.
Для нормативно-ориентированных тестов задания, трудность которых меньше 20% и больше 80%, как правило, отрабатываются и заменяются новыми.
Определение дискриминативности заданий.
В теории тестов присутствуют несколько различных терминов, обозначающих возможность количественного оценивания качества задания. 

13