Хороший тест / плохой тест или как не надо составлять тест для проверки знаний.

Сложно составить хороший тест для проверки знаний. С этим я столкнулся еще в 2003 году. Мы стартовали систему дистанционного обучения (СДО) в Винницком Национальном Техническом Университете и начали накапливать базу тестов по различным курсам. Сказать, что все они были идеальны — нельзя. И опытные преподаватели допускали такие ошибки, которые делали тест неэффективным.

Позже мы создали свою платформу обучения — Collaborator. Это СДО для бизнеса. И сейчас, когда она обслуживает более полусотни компаний в Украине, я снова наблюдаю схожие ошибки в тестовых вопросах.

Может показаться, что составить хороший тест невозможно без основательных методических навыков и педагогического опыта. Но на самом деле достаточно здравого смысла, немного времени и простых приемов. Про них я и расскажу.

Дано:

Надо прояснить условия нашей задачи.

  1. Речь о тесте знаний. Такой тест определяет уровень понимания или подтверждает усвоение информации. Это измерительный инструмент. Его результат — числовая величина, количество набранных баллов.
  2. Рассматриваем только тест с «закрытыми» вопросами. Где надо сделать выбор из предложенных вариантов, а не писать что-то от себя. Эти тесты очень популярны в СДО, потому что ответы на них проверяются алгоритмом, т.е. определение результата не требует участия человека-учителя.
  3. Принимаем, что в тесте достаточно вопросов для статистической достоверности результата (хотя бы больше 100). Сколько вопросов будет достаточно для такой достоверности — это отдельная тема для разговора. Тут мы фокусируемся на качестве вопросов.

Решение:

Про что помним при составлении теста

  1. Любой вопрос теста можно задать по-другому.
  2. Любые проверки знаний можно свести к простым типам вопросов, такие как выбор одного или нескольких вариантов из многих. Усложнение без острой необходимости — это зло.
  3. Для вопросов и вариантов ответов используем инфостиль.
    Если вы еще не знакомы с книгой «Пиши, сокращай: Как создавать сильный текст», то самое время это сделать. Рекомендую знать и применять инфостиль при формировании вопросов. Это сделает их понятными и снизит стресс у тестируемых.

1. Вопрос должен быть вопросом

Не заставляйте сотрудников завершать незаконченные предложения, заполнять оборванные фразы. Не сразу можно понять, что от тебя хотят, смысл и цель такого вопроса в тесте. Приходится перечитывать все варианты ответов, чтобы сформулировать в своей голове вопрос, на который будем отвечать. Почему бы сразу не задать именно его?

Пример:

Неправильно Правильно
Особенностью тонометра модели M2 Eco является:

  • отсутствие разъема для блока питания
  • комплектация веероподобной манжетой
  • корпус из еко-пластика
  • ударопрочный корпус
  • сменная манжета
Какие из указанных характеристик соответствуют тонометру модели M2 Eco?

  • отсутствие разъема для блока питания
  • комплектация веероподобной манжетой
  • корпус из еко-пластика
  • ударопрочный корпус
  • сменная манжета

2. Начинайте вопрос с главного

Сразу направляйте внимание на то, что требуется от пользователя. Начинайте с сути вопроса, с главного. Берите пример с английского языка. Правильно построенное предложение начинается с того кто и что делает. Только потом добавляются все остальные подробности.

Пример:

Неправильно Правильно
При продаже фирменного блюда «Аля-Дофинуа» добавляется фирменная влажная салфетка? Требуется ли добавлять фирменную влажную салфетку продавая фирменное блюдо «Аля-Дофинуа»?
Работник может быть отстранен от работы по решению работодателя, оформленного в виде Приказа, в случае? В каком случае сотрудник может быть отстранен от работы по решению работодателя, оформленного в виде Приказа?

3. Используйте простые и короткие фразы

Длинные предложения как клубок ниток. Приходится распутывать все запятые, местоимения и части речи, чтобы понять смысл вопроса. Упрощайте.

Пример:

Неправильно Правильно
Больной жалуется на боль в горле, повышение температуры, слабость. При осмотре миндалины покрыты обильным светлым налетом. Какой возбудитель вызывает заболевание ангиной? Какой возбудитель вызывает заболевание ангиной (миндалины покрыты обильным светлым налетом)?
Приведите в порядок последовательность действий, чтобы найти информацию о пациенте и перейти к его врачебным назначениям, если у вас есть номер его амбулаторной карты. Установите правильную последовательность поиска данных о врачебных назначениях пациента по номеру его амбулаторной карты.

4. «Детские» и «идиотские» вопросы

Это «бытовая» терминология. Вопросы с очевидным ответом называем «детскими», вопросы с невозможным ответом — «идиотскими». Оба варианта недопустимы в тестах для контроля знаний. Они только искажают результат тестирования, что приводит к неправильной оценке сотрудника.

Нужно сказать, что «детские» вопросы не обязательно являются чем-то плохим. В случае самоконтроля это уместно. Очевидные ответы помогают авторам учебных курсов выделить главную и значимую информацию, акцентировать на ней внимание слушателя. Но если «детский» вопрос не касается существенных аспектов знаний — он бесполезен.

LMS Collaborator статистика вопросов тестов

LMS Collaborator — статистика по вопросам теста

Во многих СДО есть инструменты для обнаружения простых и сложных вопросов. Такие вопросы следует переделывать. Найдите те, на которые все сотрудники правильно отвечают в более чем 95% случаев — это «детские» вопросы. «Идиотскими» можно считать вопросы, на которые мы получаем менее 5% правильных ответов. Помним, что это работает если все выбранные случаи тестирования проводились в одинаковых условиях и их было много — как минимум около сотни и больше.

Пример:

Неправильно Правильно
За счет чего сводиться к минимуму образование известкового налета на стеклах душевых кабинок?

  • Толщины стекла.
  • Опция Anti-plaque.
  • Наличия декора на стекле.

Это детский вопрос, т.к. правильный ответ — опция Anti-plaque — очевиден и легко определим методом исключения.

Что из перечисленного сводит к минимуму образование известкового налета на стеклах душевых кабинок?

  • Отсутствие декора на стекле
  • Обработка по технологии  Anti-plaque
  • Дополнительная полировка стекла
  • Покрытие по технологии AntiCalcium

5. Используйте правдоподобные дистракторы

Неправильные варианты ответов — дистракторы — должны быть правдоподобными. Иначе их моментально распознают. Вопрос с такими ответами бесполезен как для самотестирования, так и в аттестационном тесте.
Кроме того, такие варианты ответов говорят о некомпетентности и поспешности составителя тестов. Они часто вызывают улыбку у тех сотрудников, кто хоть немного в теме.

Разработка правильных дистракторов — отдельная тема для обсуждений. Коротко про это можете почитать в Википедии

Пример:

Неправильно Правильно
Какое действие руководителя должно быть первым при возникновении пожара в помещении с людьми?

  • Эвакуировать людей из помещения
  • Вызвать службу охраны
  • Первым покинуть помещение
Какое действие руководителя должно быть первым при возникновении пожара в помещении с людьми?

  • Вывести людей из помещения
  • Вызвать пожарных по телефону 101
  • Включить пожарную сигнализацию

6. Убирайте «все варианты ответов правильные» и «нет правильных ответов»

Во-первых, используя такой подход, мы играем на нервах пользователей и теряем их время.
Что вы чувствуете, когда встречается вариант «все варианты ответов правильные»? Сомнение? Даже профессионал начинает сомневаться все ли правильно понял и перечитывать вопрос и варианты ответов.

Во-вторых, этот вариант ответа подталкивает к тому, чтобы его выбрать или наоборот — не выбрать. В психологии это называют ловушкой «установка на крайние ответы». Объективность ответа на вопрос теряется.

В-третьих, использование «нет правильных ответов» вызывает только замешательство и “чувство подвоха”. Очевидная цель таких вопросов — завалить тестируемого сотрудника, а не определить его уровень знаний.

Переделайте вопрос на выбор нескольких вариантов ответа и добавьте один-два правдоподобных дистрактора. Или разбейте его на несколько вопросов.

Пример:

Неправильно Правильно
Работник может быть отстранен от работы по решению работодателя, оформленного в виде Приказа, в случае?

  • Появления на работе в нетрезвом состоянии (в состоянии наркотического или токсического опьянения)
  • Отказа или уклонения от обязательных медицинских осмотров, обучения, инструктажа, проверки знаний по охране труда
  • По предписаниям государственных органов и в других случаях, предусмотренных законодательством Украины
  • Все варианты ответов правильные
В каких случаях сотрудника можно отстранить от работы по решению работодателя оформленного в виде Приказа?

  • Появление на работе в нетрезвом состоянии (в состоянии наркотического или токсического опьянения)
  • Отказ или уклонение от обязательных медицинских осмотров, обучения, инструктажа, проверки знаний по охране труда
  • По предписанию государственных органов и в других случаях, предусмотренных законодательством Украины
  • Опоздание на работу и нарушения трудового распорядка

Итог

Это наиболее частые случаи нерационального формирования вопросов тестов. Если у вас есть опыт работы с проблемными тестами — пожалуйста, поделитесь — напишите нам в комментарии ваши примеры и как вы с ними поступали.

Если у вас есть время и желание досконально разобраться с методиками разработки педагогических тестов, то следует обратиться к науке Тестологии. Вот что поможет вам в этом:

  1. Статьи и работы Аванесова В.С. Его работы посвящены педагогическому тестированию и это один из лучших вариантов, чтобы разобраться с теорией тестов.
  2. Аванесов B.C. «Композиция тестовых заданий». Учебная книга. 3 изд. доп. М.: Центр тестирования, 2002г. -240 с. — рекомендации, собранные в этом издании остаются актуальными и сейчас.
  3. Секреты составления тестов — хорошая статья про то, как следует составлять тесты по реальным кейсам банковской сферы.
  4. Writing Good Multiple Choice Test Questions — статья 2013 года про составление тестов со множественным ответом и способы создания правильных дистракторов.
  5. Булах І.Є., Мруга М.Р. Створюємо якісний тест. Навчальний посібник — К.: Майстер-клас, 2006. — 160 с — пособие по педагогической тестологии, стиль изложения академический, но много практических примеров.
  6. А.Г.Шмелев «Практическая тестология» — рекомендует Игорь Бех, много качественных примеров.

Будьте с нами на связи в Facebook и Linkedin!
Подписывайтесь на нашу e-learning рассылку, получите скидку на LMS Collaborator по промокоду: LMS2020-05

Logo LMS Collaborator

Хороший тест / плохой тест или как не надо составлять тест для проверки знаний.: 1 комментарий

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

*