Ошибки при составлении теста

Советы для учителей, тренеров и методистов, как составлять тесты, которые проверяют знания и работают на учебный результат.

Поделюсь самыми частыми ошибками, которые совершают методисты, составляя тесты. И расскажу, как их исправить. 

Ошибка 1: Не знаем, что проверяем

Мы предлагаем учащимся решить тест, чтобы проверить, какую информацию из уроков они запомнили. Это значит, что каждый вопрос теста должен работать на учебные цели и проверять значимую информацию, а не быть вопросом ради вопроса. 

Ошибка 2. Неоднозначный для понимания вопрос

Формулировка условия или вопроса должна звучать ясно и однозначно. Иначе мы не сможем проверить знания, а учащийся будет смущен или даже начнет сомневаться в компетентности эксперта.

Совет

В формулировках вопросов теста не используйте частицу НЕ. Часто ее не замечают, и учащийся выбирает неверный ответ.

Ошибка 3. Сложная формулировка вопроса

Иногда вопросы теста сформулированы так, что учащемуся приходится прочесть несколько раз, чтобы уловить суть. Такой тест неэффективен. Лучше упростить вопрос, оставив необходимый минимум научности. Особенно если речь идет об обучении новичков. 

Ошибка 4. Правильный ответ зависит от субъективной оценки или мнения

Такие вопросы больше похожи на психологические опросники, где нет и не должно быть одного правильного ответа. Лучше разобраться, какие именно знания вы хотите проверить.

Ошибка 5. Верный вариант слишком очевидный

В этом случае дистракторы могут выглядеть неправдоподобно. Например, неправильные варианты могут быть намного короче, чем правильный вариант, звучать слишком просто, содержать ненастоящие слова или понятия. 

 Совет

Избегайте и другой крайности, когда варианты ответов составлены так, чтобы застать ученика врасплох. Помните, что в этом случае вы проверяете не знания, а смекалку, и это вряд ли ваша учебная задача.

Ошибка 6. Неверная форма слов

Формулируйте варианты ответа так, чтобы они были в единой грамматической форме и едином стиле. Важно, чтобы все варианты были одинаково привлекательны для того, кто не знает правильный ответ.

Ошибка 7. Правильный ответ можно угадать

Когда составляется серия последовательных вопросов по теме, есть риск, что правильные ответы можно будет вычислить из окружающих вопросов и ответов к ним. 

Кроме того, существуют варианты ответов, которые взаимоисключают друг друга. В таком случае учащийся скорее не обратится к знаниям по предмету, а попробует угадать ответ.

Ошибка 8. Большинство правильных ответов находятся посередине

Когда мы пытаемся разместить правильный ответ среди дистракторов, есть соблазн поставить его посередине, чтобы он не был самым первым, но и не последним. 

Выбирайте разное положение правильного ответа, чтобы проверить знания и помешать учащемуся угадывать ответ.

Ошибка 9. Несколько вариантов ответов являются частично или полностью правильными

В этом случае лучше предоставить множественный выбор, чтобы учащийся мог отметить несколько верных вариантов. 

Ошибка 10. «Все перечисленное верно», «ни один из перечисленных ответов не верен»

Иногда педагоги и методисты прибегают к таким формулировкам дистракторов, как «все вышеперечисленное верно», «ни один из вышеперечисленных вариантов не верен» или «все верны, кроме…» и подобным им. Лучше избегать таких формулировок, потому что они вносят путаницу и не помогают проверить знания студента. 

25 Sep 2014

УДК 614.2

Г.М. Курманова, Ш.С. Садыкова

Казахский Национальный медицинский университет им. С.Д. Асфендиярова.

Кафедра интерантуры и резидентуры по терапии №1

Новый формат учебного процесса по ГОСО-2006  требует полного обновления базы контрольно-измерительных средств, а именно разработки большой базы тестов в формате MSQ А-типа для проведения разных уровней контроля — текущего, рубежного, итогового. На основании анализа нескольких баз тестовых заданий общим объемом 3376 тестов выявлены основные ошибки при их составлении. Освящены ошибки по содержанию тестовых заданий, ошибки по структуре и форме, а также ошибки формулирования тестовых заданий.

Ключевые слова: обучение в интернатуре, тестовые задания MSQ, ошибки при составлении тестовых заданий.

В текущем учебном году кафедры интернатуры КазНМУ готовят первый выпуск интернов, занимающихся по ГОСО-2006. Новый формат учебного процесса и новые Типовые учебные программы (ТУП) требует полного обновления базы контрольно-измерительных средств, а именно тестовых заданий для рубежного контроля и для Итоговой аттестации.

Следует отметить, что для проведения независимой оценки знаний интернов в форме тестирования Республиканский центр оценки знаний и навыков (РЦОЗН) рекомендует и использует тесты в формате MSQ А-типа. База тестовых заданий формируется из тестов, подготовленных кафедрами всех 7 медицинских вузов РК, занимающихся подготовкой интернов.

Тест MSQ А-типа для клинических дисциплин – это тест, основанный на клинической ситуации, требующей принятия решения с одним наилучшим правильным ответом (выбор 1 ответа из 5 предложенных).

Первый опыт совместной работы кафедр, обучающих интернов 6-7 курса, при создании базы тестовых заданий для рубежных контролей и для итоговой аттестации выявил многочисленные ошибки при составлении тестовых заданий  MSQ А-типа.

Был проведен анализ ошибок при составлении тестовых заданий по нескольким базам тестов по направлению подготовки «Внутренние болезни»   (тесты кафедр КазНМУ по дисциплинам – терапия, клиническая лабораторная диагностика, клиническая фармакология, реанимация и анестезиология, неврология, психиатрия и наркология, фтизиатрия, инфекционные болезни), а также базы тестов по дисциплинам терапия и клиническая лабораторная диагностика, подготовленными соотвествующими кафедрами вузов РК (6 вузов).

Общий объем проанализированных тестов составил (по КазНМУ): терапия (включая нефрологию и ревматологию) – 1074,  клиническая лабораторная диагностика – 180, клиническая фармакология – 180, реанимация и анестезиология — 60, неврология — 180, психиатрия и наркология -130, фтизиатрия — 180, инфекционные болезни – 180. Итого 2164. Общий объем пронализированных тестов по 6 вузам РК – 1212 тестов. Весь объем тестов, включенных в анализ – 3376.

Среди выявленных можно выделить три группы ошибок:

1. Ошибки содержания условий тестового задания
2. Ошибки в содержании тестового задания по форме и структуре
3. Ошибки в формулировке вопроса и вариантов ответа (дистракторы и правильный ответ).

Ошибки по содержанию условий тестовых заданий.

1. Первое требование к тесту для клинических дисциплин, что содержание тестовых заданий должно быть направлено на оценку знаний по содержанию дисциплины: другими словами тематика тестов должна соотвествовать темам и содержанию ТУП. При составлении тестовых заданий часто не соблюдалась процентное соотношение тестов темам ТУП и их содержанию (слишком много тестов по одним темам, слишком мало или вообще нет тестов по другим).

Например: по циклу гастроэнтерология удельный вес тестов по таким темам как вирусные гепатиты (особенно диагностика, противовирусная терапия, системные проявления), цирроз печени и осложнения цирроза печени, неотложные состояния у больных циррозом печени, гестационная патология печени был очень мал. В отдельных базах тестов (не КазНМУ) эти вопросы оказались не освящены вообще. По циклу гематология – следует отметить преобладание тестов по приобретенным анемиям в ущерб вопросам по врожденным анемиям, лейкозам, ДВС-синдрому и другим коагулопатиям. По циклу пульмонологии – недостаточное количество тестов по диссеминированным заболеваниям легких, практически отсутствовали тесты по пневмомикозам. По дисциплине клиническая лабораторная диагностика – ничтожно число тестов по ИФА диагностике терапевтических и инфекционных заболеваний (не только на определение антител к инфекционным агентам, но и аутоантител), практически нет тестов, позволяющих оценить знания экзаменуемого по выбору наиболее достоверного метода лабораторного обследования (сравнения диагностической ценности разных методов), очень мало тестов на ошибки лабораторной диагностики (например, ошибки при заборе материала, правила хранения и транспортировки и т.п.), практически отсутствуют тесты на алгоритм обследования пациента.

2. Несоотвествие уровня сложности теста и уровня компетентности по теме ТУП (простые вопросы первого уровня по часто встречающейся патологии с уровнем компетентности «диагностировать и лечить», сложные вопросы третьего уровня по теме с уровнем компетентности «иметь представление»).

Рассмотрим на примере цикла гастроэнтерология: очевидно, что по наиболее распространенной патологии в практике врача-терапевта H.pylory-ассоциированной патологии тесты должны быть преимущественно 3 уровня (применение). Напротив, по такой теме как аутоиммунные заболевания печени достаточно теста первого-второго уровня.

Тем более, что тест 3 по такой теме очень сложно сделать коротким (чтобы экзаменуемый уложился в отведенные 1,5 мин на ответ). Такая патология как аутоиммунный гепатит является диагнозом исключения, для подозрения на АИГ необходимо исключить вирусную, токсическую и наследственную патологию печени. Для ясной и однозначной формулировки условия необходимо будет отразить не менее 7-8 клинических критериев, чтобы можно было ответить на вводный вопрос «какой наиболее вероятный диагноз?» или «какая лечебная тактика наиболее предпочтительна?». Чтобы соблюсти правило хорошего теста – «тест составлен так, что можно ответить на поставленный вопрос не видя вариантов ответа» — условие теста придется делать слишком длинным.

1. Соблюдение пропорции тестов по смежным профилирующим дисциплинам, входящим в модуль (превалирование тестов по внутренним болезням в ущерб частным вопросам клинической фармакологии, визуальной диагностики, клинической лабораторной диагностики в рамках модуля).

На самом деле эта проблема связана с тем, что в проанализированных базах тестов превалировали тесты 1 уровня (от 24% до 58% от всех тестов в базе по отдельной дисциплине или модулю). Действительно, тест, основанных на клинической ситуации (2 и 3 уровня), непременно будет отвечать требованию накопительный (т.е. позволяет оценить применение знаний по нескольким связанным темам) и интегрированный – позволяет оценить применение знаний по нескольким дисциплинам одновременно. Применительно к терапии в таком тесте можно оценить знания экзаменуемого одновременно по терапии, клинической лабораторной и/или визуальной диагностике и/или клинической фармакологии. Если тест основан на клинической ситуации, требующей неотложных мероприятий – то он позволит оценить и знания по неотложной помощи.

Практически, банк тестовых заданий 2-3 уровня можно лишь условно разделить  по отдельным дисциплинам, входящим в модуль. В реальности в рамках одного модуля нецелесообразно выделять тесты по одной дисциплине – хорошо составленных тест на понимание и применение непременно будет междисциплинарным.

1. Междисциплинарная интерграция (смежные непрофилирующие дисциплины) – при составлении тестов мало внимания уделяется проблемам дифференциальной диагностики. Например, суставной синдром у пациента может оказаться проявлением инфекционной, аутоиммунной, гематологической, хирургической патологии, являющейся предметом терапии, инфекцтологии, хирургии. Синдром боли в груди – кардиологичекой, неврологической, гастроэнтерологической, хирургической проблемой.

Междисциплинарная интеграция при составлении тестов может быть направлена не только на дифференциальную диагностику, но и тактику ведения пациента с сочетанной патологией, на первичную и вторичную профалактику. Например, знания о мероприятиях, направленных на предупреждение туберкулеза у пациента с ревматоидным артритом, получающего иммуносупрессивную терапию; или особенности введения пациента с туберкулезом и сахарным диабетом или ХОБЛ.

1. Устаревшее содержание тестов. Число тестов, в содержании которых используются устаревшие классификации, понятия, методы диагностики, методы лечения, устаревшая тактика ведения пациента, препараты, не имеющие доказательной базы по их эффективности, невелико (около 1-5% в некоторых базах тестов), но само наличие таких тестов способно сильно скомпрометировать отвественных за формирование банков тестовых заданий. Наличие таких тестов говорит о недобросовествном отношении как преподавателя, составившего такой тест, так и заведующего кафедрой, отвечающего за качество контрольно-измерительных средств. Одним из самых вопиющих примеров является использование в условиях тестов классификации хронических гепатитов от 1978 года, в то время как действующая классификация принята в 1994 году – отставание на 20 лет. Или использование критериев диагностики аутоиммунных заболеваний, потерявших свою актуальность в 1989 и 2010 году (аутоиммунный гепатит, первичный билиартный цирроз, системная красная волчанка).

Ошибки в содержании тестового задания по форме и структуре

1. Правильность определения тестов по уровню сложности. Несмотря на то, что в инструкциях и методических материалах достаточно четко определено, что такое тест на запоминание, на понимание, на применение, зачастую такого единого толкования сложности теста нет даже в рамках одной кафедры, в рамках одного вуза. Наиболее распространенным является обозначение тестов 1 уровня как соответствующих 2 и даже 3 уровню. В результате тесты 1 уровня достигают в некоторых базах тестов 58%, в то время как для оценки знаний интернов рекомендуется иметь в базе тестов на запоминание не более 10%.

Кроме того тест на запоминание может применяться для оценки знаний только по редкой патологии, включенной в Типовую учебную программу, но по которой интерн должен только иметь представление (то есть уровень компетенции -1). Превалирование тестов 1 уровня делает такую базу тестовых заданий непригодной для оценки уровня знаний интернов.

1. Нереалистичное описание клинической ситуации. Тест содержит условие, в котором описана ситуация, которая не может быть в реальной клинической практике, то есть совершенно умозрительная. Наиболее часто имеется несоответствие между отдельными фактами. Например: в тесте, описывающий ревматоидный артрит, продолжительность такого симптома как утренняя скованность не соотвествует указанным в условии лабораторным данным, поэтому определение активности становиться невозможным, следовательно, невозможно ответить на поставленный вопрос о тактике лечения.
2. Неструктуированная информация, неясная формулировка. Условие теста должно включать в себя все существенные факты, поданные структуировано (возраст, пол, место, жалобы, динамика, анамнез, объективные данные, результаты обследования и т.п.). Тесты могут быть перегружены несущественной информацией, существенная информация подана безсистемно. Такой тест сложен для восприятия.

Ошибки в формулировке вопроса и вариантов ответа.

1. Наиболее частая ошибка в формулировке вводного вопроса – это вопросы открытого типа (например: «Мальдигестия может быть обусловлена: …»). Вводный вопрос должен быть сформулирован ясно и четко, желательно с использованием слова «наиболее», поскольку экзаменуемому надо выбрать 1 наиболее правильный ответ из 4-5 вариантов правильных ответов.
2. Короткие вопросы с длинными вариантами ответов. Зачастую варианты ответов представлют собой предложение из 5-8 слов или представляют собой комбинацию из нескольких (повторяющихся в дистракторах) названий. Например:

«Четырехкомпонентная терапия  гломерулонефрита – это:

A) Цитостатики + антибиотики + нестероидные противоспалительные средства + антиагреганты

B) Цитостатики + нестероидные противоспалительные средства + антиагреганты + антикоагулянты

C) Цитостатики + кортикостероиды + антиагреганты + антикоагулянты

D) Нестероидные противовоспалительные средства + кортикоиды + антиагреганты + антикоагулянты

E) Цитостатики + антикоагулянты + антибиотики + антиагреганты»

1. Неоднородные дистракторы. В большинстве случаев под неоднородными дистракторами понимается, такая ситуация: например, вопрос стоит о выборе метода диагностики – однородность дистракторов выражается в том что все дистракторы должны быть про лабораторные методы или все – про инструментальные. Это действительно так. Но кроме того следует следить за тем, чтобы дистракторы были однородно сформулированы.
2. Выделяющийся правильный ответ (правильный ответ намного длиннее дистракторов или более полный).
3. Использование торговых названий препаратов вместо международных непатентованных. Зачастую используются торговые названия препаратов, при этом есть тесты, в которых другое торговое название препарата используется как дистрактор (например, правильный ответ – «вольтарен», дистрактор – ортофен, оба препарата – торговое название диклофенака).

Проанализированные базы тестовых заданий сильно различались по общему числу и пропорции перечисленных выше ошибок, но все перечисленные ошибки были представлены во всех базах тестов. Число некорректных тестов составляет от 5-10% (в базах КазНМУ по терапии, инфекционным болезням, неврологии, клинической лабораторной диагностике) до 40-50% (в базах других мед. вузов, клинической фармакологии).

Ошибки по структуре, форме тестовых заданий (условия, вводного вопроса и вариантов ответов) объясняются несколькими факторами:

• составители тестов либо не прошли обучения по тестологии, либо не овладели в полной мере техникой составления тестовых заданий;
• на кафедрах нет внутреннего контроля качества тестов, взаимопроверки, взаимообучения.

Несоответствие тематики тестов и содержания ТУП, наличие устаревших тестов можно объяснить тем, что составители тестов не делают тесты de novo, а используют тесты (заимствованные без ведома настоящих авторов, тесты прошлых лет, скаченные из интернета), часто без какой-либо критического отношения, как к источнику тестов, так и к собственному плагиату, набирая необходимое общее количество без соблюдения пропорции тестов по тематике ТУП и их качества.

Такое отношение свидетельствует о более глубоких проблемах в организации учебно-методической работы: ведь тесты для проведения итогового контроля и независимой экзаменации должны были бы быть отобраны из баз тестовых заданий, уже подготовленных в рамках УМКД каждой дисциплины в том числе и для проведения текущего и рубежного контроля – наиболее качественные из имеющихся тестов. Если тесты были отобраны без учета их соответствия действующей ТУП, и при этом тесты не соответствуют требованиям составлению тестов, то какой же уровень тестов для текущего, рубежного контроля, годовой аттестации?

Список литературы

1       Кейс С.М., Свэнсон Д.Б.. Создание письменных тестовых вопросов по базисным и клиническим дисциплинам. Национальный совет медицинских экзаменаторов. — 1996

Г.М. Курманова, Ш.С. Садыкова

С.Ж.Асфендияров атындағы ҚазақҰлттық медицина университеті.

Терапия бойынша №1 интернатура және резидентура кафедрасы.

ИНТЕРНДЕРГЕ АРНАЛҒАН ТЕСТ ТАПСЫРМАЛАРЫН ҚҰРАСТЫРУ КЕЗІНДЕГІ НЕГІЗГІ ҚАТЕЛІКТЕР

Түйін:  Оқу үрдісінің ГОСО-2006 бойынша жаңа форматы бақылау-бағалау құралдары қорының толығымен жаңаруын, нақты алғанда бақылаудыңәртүрлі деңгейін – күнделікті, аралық, қорытынды бақылауларды өткізуге бағытталған MSQ А-түріндегі тесттердіңүлкен қорын жасап шығаруды талап етеді. Жалпы көлемі 3376 тестті құрайтын тест тапсырмаларының бірнеше қорын сараптаудың негізінде оларды құрастырудағы негізгі қателіктер анықталды. Тест тапсырмаларының мазмұнындағы қателіктер, құрылымы мен жасалу түріндегі қателіктер, сонымен қатар тест тапсырмаларын қалыптасыру-құрастырудағы қателіктер көрсетілген.

Түйінді сөздер: интернатурадағы оқыту,MSQ тест тапсырмалары, тест тапсырмаларын құрастырудағы қателіктер.

G.M.Kurmanova, Sh.S.Sadykova

THE TEST TASKS FOR INTERNS CREATION – MAIN ERRORS

Resume: The new format of educational process demands a full recreation of base of control instruments, for the first time – the base of test tasks in MSQ format for carrying out different levels of control — current, boundary, final. 3376 tests from number of bases of test tasks for interns was enrolled in the analysis. The main errors are revealed: errors  in test tasks contents, in structure and a form, and also errors of a formulation of test tasks.

Keywords: internship, test tasks in MSQ format, errors in creation of test task.

Типичные ошибки в тестовых заданиях стажёров-исследователей

Привет, меня зовут Ксения, я исследователь в UXlab Авито. Некоторое время назад мы запустили стажёрскую программу сразу в несколько направлений: искали продуктовых дизайнеров и дизайнеров коммуникаций, редакторов и исследователей.

Проверив 58 тестовых заданий на исследовательский трек, я заметила ряд ошибок, которые встречались у многих ребят. В этой статье разберу основные, чтобы стажёрам было проще пройти отбор в следующий раз.

Кого мы искали

UX-лаборатория Авито помогает продуктовым командам проверять гипотезы, используя качественные методы исследований. В основном это интервью и юзабилити-тесты. Чтобы помочь бизнесу хорошими качественными данными, важно разбираться в людях и понимать, как проводятся исследования.

Нужно знать, как подобрать метод под задачу, сформулировать гипотезы и сформировать выборку. Понимать, как задавать вопросы, чтобы не получить искажённые данные и, конечно же, как в результате сделать корректные прикладные выводы.

Будущего стажёра мы планировали прикрепить к опытному наставнику, который поможет ему погрузиться в нюансы профессии и будет постепенно передавать всё более сложные проекты.

Чтобы это случилось быстрее, мы искали в команду человека, в котором сошлись бы три основных фактора:

1. Есть база: психологическое или социологическое образование либо релевантный опыт работы.
2. Есть мотивация, которая понятна по тестовому заданию и опыту. Мы предполагали, что если человек действительно увлечён профессией, то он уже пробовал применить свои навыки.
3. Есть навыки проведения исследований.

На собеседование мы пригласили шестерых ребят, чьи резюме, тестовые задания и совокупный опыт подошли нам больше всех. Давайте посмотрим, какие недочёты в выполнении заданий помешали остальным пройти первичный отбор.

Тестовое задание

В нашем тестовом было два задания для проверки навыков. В первом требовалось подготовить и провести юзабилити-тестирование новой функции по оценке стоимости авто с пробегом. Второе задание было сложнее: в нём нужно было не только узнать, как сделать сториз на Авито лучше, но и самостоятельно выбрать метод исследования.

Основные ошибки в решении обоих заданий у потенциальных стажёров были связаны с неверным выбором метода, некорректными гипотезами, формированием выборки и сценарием исследования.

Неверный выбор метода исследования

Отвечая на первое задание, некоторые ребята вместо юзабилити-теста провели опрос, не пояснив при этом свой выбор. Нам же было важно понять, как кандидаты ориентируются в методах, понимают ли их ограничения и будут ли гуглить метод, если не знают, как его использовать. По массовости выбора опроса вместо юзабилити-тестирования показалось, что многие просто не знали, что это такое, либо невнимательно читали задание.

Для решения второго задания со сториз кандидаты выбирали:

• Опрос, что слишком рано для нового продукта и не подходит под вопросы к исследованию.
• Фокус-группу, но не описывали разные сегменты пользователей, которых следовало на неё позвать.
• Интервью без юзабилити-теста.

Но поскольку в задаче речь идёт о недавно запущенном продукте и нужно ответить на вопросы о задачах и опыте пользователей в других приложениях, то для начала важно изучить пользовательский контекст. Стоит проанализировать паттерны просмотра людьми сториз в других приложениях и узнать их мнения относительно сториз. Хорошим вариантом проверки может быть комбинация интервью и юзабилити-теста. Уместны также фокус-группы с разными сегментами пользователей — это особенно хорошо для того, чтобы относительно быстро погрузиться в проблематику продукта. Также можно использовать метод дневников, если мы понимаем, что хотим поймать рефлексию человека по просмотру сториз в моменте.

Отсутствие гипотез или неверные формулировки гипотез

С гипотезами был целый набор проблем.

Нет гипотез. На юзабилити-тесте они обязательно должны быть, иначе есть риск не проверить важные моменты и после проведения исследования обнаружить, что нужны дополнительные итерации. К тому же, гипотезы здесь нужны для того, чтобы правильно выбрать и сформулировать задания на тест. Например, понять, уместны ли будут закрытые задания или же задания с опорой на опыт респондента.

Недостаточное количество гипотез. Когда мы планируем юзабилити-тест, важно продумать все гипотезы, которые нужно проверить в интерфейсе и которые помогут ответить на вопросы исследования. В задании с оценкой стоимости авто точно нужны были гипотезы о заметности оценок, их понимании, нехватке или достаточности информации. Часто ребята опускали один или два пункта.

Слишком общие формулировки гипотез. Если гипотезы сформулированы недостаточно конкретно, становится сложнее проверить их в исследовании.

Примеры таких гипотез: «пользователь проявит больший интерес к сервису, если будет просматривать истории» или «истории — наиболее эффективный способ подачи материала, позволяющий расширить охват и повысить активность аудитории».

На любую или почти любую гипотезу в качественном исследовании мы можем ответить «да» или «нет», а в количественном — чётко понимаем, как это измерить. С формулировками выше нельзя сделать ни то, ни другое, так как не понятно, что значит «проявит интерес» и что значит «больший». Больший, чем что?

Вторая гипотеза в примере грешит ещё и тем, что сформулирована нечётко. Из неё непонятно, о подаче какого материала речь.

Несколько гипотез в одной. Важно, чтобы гипотеза была сформулирована в виде одной законченной мысли. Тогда будет легко однозначно ответить, верна она или нет. Кроме того, в составе сложной гипотезы могут оказаться предположения, которые нужно проверять разными методами.

Пример такой гипотезы: «пользователь доверяет оценке сервиса по цене автомобиля, и это приведёт к целевому действию». Кстати, здесь тоже не хватает конкретики — лучше уточнить, что мы считаем целевым действием в данном случае.

Гипотезу нельзя проверить качественными методами. В предыдущем примере с оценкой есть ещё один недочёт — на юзабилити-тесте мы никак не узнаем, приведёт наша фича к целевому действию или нет. Тут стоит быть внимательнее и не выносить на качественное исследование предположения, которые нужно проверять на данных или же в количественном опросе.

Ещё пример гипотезы с подобной проблемой: «есть положительная зависимость между уровнем знания (восприятия) функции и решением о покупке автомобиля».

Такое предположение можно проверить только с помощью опроса или эксперимента, да и то скорее не связь между знанием о функции и покупкой авто, а связь между наличием метки на объявлении и количеством просмотров/контактов по нему. Проверить эту гипотезу юзабилити-тестом, как просит первое задание в тестовом, не получится. Кроме того стоит помнить, что в лаборатории мы не узнаем о фактическом решении пользователя купить машину.

Гипотезы, которые не нужно проверять, или самоочевидные. Встречались в ответах кандидатов формулировки гипотез, которые не нуждаются в проверке, потому что это факты из разряда, что если нагреть воду, то она будет горячей.

Например, «пользователь будет просматривать истории, если они будут содержать релевантный интересам пользователя контент». Конечно, люди будут смотреть развлекательный контент, который им интересен, это понятно и без исследования. Но даже если бы мы вынесли такую гипотезу на интервью или тест, то что потом с этой информацией делать? Здесь были бы уместны гипотезы о том, что именно может быть интересно конкретному сегменту аудитории.

Другой пример такой гипотезы — «аудитория не обращает внимания на отметки и будет выбирать автомобиль по другим показателям». Понятно, что на выбор машины влияет множество факторов. Наша же задача в исследовании более конкретна — понять, добавляет ли новая функция ценность для пользователя в его задаче поиска авто.

Утверждения о работе продукта вместо гипотез. Некоторые ребята выносили на исследование утверждения, которые нельзя назвать гипотезами, потому что они описывают работу фичи или сервиса. В этом они похожи на гипотезы из предыдущего пункта, но всё же хочется привести отдельные примеры и здесь.

Например, такая: «истории заменяют новостной формат, рассказывая о новостях приложения, функциях, актуальных товарах». Нам надо это знать, и это может не быть очевидным до исследования, но подобные утверждения — не предмет разговора с пользователями. Задача исследователя — до старта проекта разобраться в работе продукта, а на тест вынести предположения о взаимодействии клиентов с сервисом.

Бесполезные гипотезы. В заданиях встречались гипотезы, оторванные от реалий и задач бизнеса. Такие предположения нет смысла проверять, потому что они не помогут развитию продукта. Можно легко придумать много таких гипотез, не зная внутреннюю кухню компании. Но, если взять например, такую гипотезу: «сториз в Авито теряются на фоне сториз в других сервисах», то становится понятно, что:

• она сформулирована так, что не очевидно, как её проверить;
• поскольку Авито — не социальная сеть, то вряд ли у бизнеса будет задача сделать «лучшие в мире сториз».

Некорректное формирование выборки

По формированию выборки для первого задания с юзабилити-тестированием оценки стоимости авто ключевая проблема — описание её социально-демографическими критериями, таким как пол или возраст. Часть ребят понимали, что нужны характеристики, связанные с автомобилями, но и тут могли промахнуться. Многие выбирали респондентов, у которых есть права или авто, или опыт покупки автомобиля в прошлом.

В этих критериях самих по себе нет проблем, они могут быть дополнительными. Но главное для формирования выборки в первом задании — опыт респондента в использовании Авито и его текущая потребность в покупке авто.

Когда мы тестируем что-то новое в сервисе, стоит посмотреть в исследовании как на его опытных пользователей, так и на пользователей-новичков. Это гигиеническое правило. В случае Авито опытный пользователь — это тот, кто недавно искал авто на нашей площадке. Неопытный — тот, кто искал машину на других сайтах или на Авито более полугода назад. Проблемы, потребности и непонимания у этих двух групп могут быть разными. Например, у опытного пользователя может быть больше запрос к детальности и подробности информации, в то время как новичку будет сложно разобраться в многообразии функций незнакомого сервиса.

Что касается потребности в покупке, то для задания не подходят просто собственники автомобилей или те, кто покупал их в прошлом. Это важно, потому что юзабилити-тест — не игра «заметит оценку или нет» и не попытка узнать, что про неё думает случайный человек. Нужно, чтобы инсайты о том, упрощают ли отметки процесс поиска и какой информации в них не хватает, были получены от людей, которые заинтересованы в покупке машины прямо сейчас. Такие пользователи точно знают и могут рассказать и показать нам, как её ищут и на что обращают внимание.

Ошибки в сценарии исследования

Самая обидная ошибка в первом задании — попытка загнать респондента в рамки. Многие кандидаты давали закрытую задачу по поиску авто: просили найти конкретную марку с конкретными параметрами или даже ограничивали бюджет покупки. Однако в тестовом задании нет гипотез, которые стоило проверять именно так.

Желательно делать все задания в исследовании максимально приближенными к реальной жизни респондента. Даже если проверяемые гипотезы очень конкретны и касаются определённых элементов интерфейса, то лучше сначала дать человеку возможность показать, что он ищет для себя и как это делает. Пока он будет это показывать, мы поймём его контекст, отметим для себя, что для него важно, и в частности — обратит ли он сам внимание на наши оценки стоимости авто. И уже после этого наступит время для уточняющих вопросов и точечных задач.

По самим вопросам в сценарии были такие ошибки:

• Закрытые вопросы. Например, «замечали ли вы информационные блоки с анализом уровня цены и отметками „хорошая цена“ или „отличная цена“?». Во-первых, на такой вопрос легко ответить просто «да» или «нет», что малополезно в качественном интервью. Во-вторых, он содержит в себе подсказку, из-за которой мы не узнаем, сказал бы сам человек про эти отметки или нет.
• Вопросы или задания в тесте с подсказкой. Например, кандидаты просили найти авто с ценой ниже рыночной. Такая постановка вопроса уже фокусирует внимание респондента на цене и всём, что с ней связано.
• Сложные формулировки вопросов. Например, вопрос «были ли какие-либо аспекты системы, которые помогли выполнить задачи?». Для респондента исследование — это беседа на бытовые темы, в которой не место сложным конструкциям и профессиональной терминологии. Если человек не поймёт ваш вопрос, то он в лучшем случае почувствует неловкость, а в худшем не переспросит, и вы не получите точный ответ. Намного лучше задавать простые вопросы, такие как «а что вам помогло при поиске?».

Последняя ошибка в сценариях — это сообщение цели исследования. В разных случаях это может быть в разной степени уместно. Например, бизнес-пользователям может потребоваться более конкретная формулировка, чтобы они вообще согласились с нами общаться. В то же время, общаясь с частными пользователями, не стоит «наводить» их на цель исследования. Лучше сформулировать задачу чуть более абстрактно. Как вариант — сказать, что мы хотим понять, как люди ищут машину на Авито.

Чек-лист для самопроверки

Вот чек-лист, который повысит шансы пройти отбор на стажёра-исследователя по результатам тестового задания:

1. Проверьте, что вашу работу легко посмотреть: желательно, чтобы она открывалась по ссылке, не нужно было ничего скачивать или где-то регистрироваться. Помните, что задания смотрят не только HR, но и специалисты по вашему треку.
2. Подумайте о том, как оформить тестовое задание. Когда нужно проверить десятки работ, идеально, если работа каждого человека находится в отдельном файле, подписана его именем и аккуратно структурирована. Также, лучше не использовать для работы исследователя Фигму. Основной результат работы здесь — текст. Его логичнее оформить в гугл-документе, Notion или любом другом инструменте для работы с текстом, а Фигму оставить дизайнерам.
3. Старайтесь избегать ошибок, опечаток и слишком сложных предложений. Лучше перечитать работу на свежую голову, или показать другу, чтобы убрать лишнее и переформулировать непонятное.
4. Стоит выполнять задания так, как указано в тестовом. Если вы решили сделать по-другому, поясните, почему. Конечно, в исследованиях зачастую нет единственного верного ответа, но нам важно понять, как вы мыслите.
5. Описывая выполнение задачи, постарайтесь дать всю необходимую информацию для оценки работы: параметры выборки, гипотезы, сценарий, то есть список вопросов к респондентам, расшифровки интервью и тестов, результаты и выводы.
6. В то же время помните, что исследование для компании — это не курсовая. Лучше опустить лишние подробности по выполнению заданий, например даты, объект и предмет исследования. Добавляя информацию, спрашивайте себя, точно ли она будет полезна или это просто следование стандартам.
7. Продумывая гипотезы, помните, что они должны быть сформулированы чётко, однозначно и предполагать ответ «да» или «нет». Они должны быть именно предположениями, требующими проверки, а не очевидными утверждениями. От формулировки гипотезы зависит выбор метода и формирование выборки, поэтому перечитайте её дважды и спросите себя: «я смогу проверить это предположение тем методом, который указан в тестовом?» или «какой метод лучше всего поможет проверить такую гипотезу?», если это задача от заказчика. Также убедитесь, что результат проверки гипотезы будет полезен продукту и поможет продвинуться в его улучшении.
8. При формировании выборки держите в голове тех людей, которые смогут лучше всего ответить на ваши гипотезы, исходя из своего опыта и потребностей. Кстати, когда я хотела понять, насколько хороша эта статья, я попросила её посмотреть людей с разным опытом из нашей команды: самого опытного эксперта, чтобы оценить верность выводов, и нашего стажёра, как представителя ЦА.
9. Когда составляете сценарий, начинайте разговор и задания с реального опыта респондента.
10. При составлении сценария фокусируйтесь на открытых вопросах, чтобы не наводить человека на ответы. Конкретизировать всегда успеете по ходу теста.
11. Помните, что в сценарии не место сложным конструкциям и профессиональному жаргону. Говорите с респондентом на его языке.

Вместо заключения

Несмотря на то, что статья посвящена ошибкам, хочется отметить в конце позитивные моменты. Некоторые ребята перевыполнили задания и проактивно сделали классные вещи. Мы рассматривали как однозначный плюс:

• Упоминание общения с продуктовой командой, которая ставит задачу.
• Анализ конкурентов перед исследованием.
• Кабинетный этап исследования. Например, некоторые изучили аудиторию нашего сервиса по открытым источникам и использовали это при обосновании выборки.
• Протоколы интервью и тестов.
• Видеозаписи тестов.

В конце хочется сказать большое спасибо всем, кто набрался терпения и смелости не только податься на стажировку, но и проделал такую большую работу по тестовому заданию. В любом случае надеемся, что этот опыт усилил ваши навыки, и следующие попытки трудоустройства будут успешными.

4 августа 2016

Создать хороший тест профессиональных знаний не так-то просто. В этой кухне есть свои тонкости. Не владея ими, даже самый квалифицированный эксперт рискует наделать массу ошибок. С этими ошибками нам и приходится регулярно бороться, внедряя методологию разработки и проведения профтестов. Проверьте себя и попробуйте применить рецепт эффективного тестирования персонала, созданный в Лаборатории «Гуманитарные Технологии».

Как в любом рейтинге, давайте начнем с конца. Пусть интрига нарастет

10. Грамматические ошибки и рассогласования

Удивительно, но в тестовых заданиях грамматические ошибки и несуразицы встречаются гораздо чаще, чем в обычной письменной речи. Как правило, это связано с тем, что уже написанное задание корректируется и содержательно становится лучше, но форма его при этом страдает. Например, три варианта ответа оказываются сформулированы в одном падеже, а один – в другом. Это не только дополнительно запутывает тестируемого (что уже плохо, но об этом — ниже), но и снижает доверие к экспертности авторов теста. «Что это за эксперт, если он двух слов связать не может? А еще проверяет мои знания!»

9. Использование в формулировке задания частицы «не»

Пожалуй, самая известная ошибка – использование частицы «не». В редкой статье-руководстве по разработке профтестов отсутствует запрет на эту злосчастную частицу. Хотя, на мой взгляд, значение этой ошибки сильно преувеличено. Конечно, формулировки с «не» не самые удачные и есть риск, что отдельные респонденты этих частиц не заметят и поймут задание неправильно, но таковых будет немного. Еще сильнее сократить число ошибившихся поможет простое выделение «не» цветом или РАЗМЕРОМ букв.

8. Запутанные задания

А вот излишне запутанных заданий действительно стоит избегать. Во-первых, на их прочтение и обдумывание тратится слишком много времени (за это время можно было бы ответить на два-три понятно сформулированных вопроса). Во-вторых, может статься, что на такие вопросы будут успешнее отвечать не более знающие, а просто более внимательные люди. Здесь вы можете возразить: мол, и внимательность – тоже нужное качество, и почему бы его не проверить таким образом? Но, увы, нескольких запутанных вопросов вовсе недостаточно, чтобы оценить внимательность. Лучше использовать для этого качественный тест способностей, разработанный специалистами.

7. Попытка измерить поведение, а не знания

Вообще, неопытные разработчики профтестов все время норовят погнаться за двумя зайцами (результат такой погони, как известно, предрешен). Типичный пример — обилие в тесте поведенческих вопросов: мол, как вы поступите в такой-то ситуации. Это, конечно, ошибка. Во-первых, тест все равно не сможет предсказать поведение (сотрудник может знать, как вести себя, скажем, при пожаре, но в реальной ситуации растеряется и поддастся панике). А во-вторых, спрашивая о том, как бы человек поступил, мы уходим от формата теста (где в каждом задании заведомо есть верный ответ) и приходим к формату опроса (где нет правильных ответов, и каждый респондент просто рассказывает о себе, в частности о том, как бы он поступил).

6. Отсутствие в задании правильного ответа

Ошибка, которая делает задание абсолютно бессмысленным и даже вредным, увы, тоже встречается довольно часто. Бывает, из-за нюансов формулировок ни один из ответов нельзя считать полностью верным. Как тут быть компетентному респонденту – загадка…

5. Недостаточное число заданий в субтесте

Мы перевалили экватор антирейтинга, и теперь пора поговорить не об отдельных заданиях, а о тестах в целом. Здесь, пожалуй, самая частая ошибка — слишком малое количество заданий на одну шкалу (область знаний, компетенцию). Одно задание — это точечная проверка знаний, а значит, таких заданий должно быть много. В идеале — от 20 на шкалу. В реальности – никак не менее 10.

4. Недостаточное внимание к информационной безопасности

Хороший профтест — результат профессионального труда команды разработчиков. Редко на изготовление одного теста (коротенькие поделки на 10 вопросов не в счет: это не тест, а просто вопросы для самопроверки) уходит меньше месяца работы. Есть тесты, оттачиваемые и дорабатываемые годами. Поэтому, пожалуй, самое обидное — утечка базы тестовых заданий. Если она произошла, разработку теста придется начинать сначала. Для того, чтобы не допустить утечки, применяется ряд приемов: тотальный запрет на бланковое тестирование, использование расширенного банка заданий, контроль за респондентами в ходе тестирования и др. Излишне говорить о том, что публикация разработчиками заданий в открытом доступе сродни самоубийству. Тем более дико видеть эту практику в ряде крупнейших российских компаний!

3. Разработка тестов знаний под уникальные малочисленные специальности

Рентабельность и целесообразность использования профессиональных тестов знаний тем выше, чем большее количество людей может быть протестировано. Логика здесь очевидна: тест делается один раз (пока оставим за скобками обновление и поддержку), а потом лишь тиражируется. И тем не менее, нет-нет, да и поступают запросы на разработку теста для оценки то 10, а то 20 специалистов. Апофеозом стал запрос на разработку 8 уникальных профтестов для 8 топ-менеджеров. Предполагалось, что в каждом случае тестироваться будет ровно 1 человек!

2. Использование непроверенных заданий

Ошибки, перечисленные в пунктах 6-10, лежат на поверхности, но существуют и скрытые параметры тестовых заданий и теста в целом. Они-то и определяют его работоспособность. Это — так называемые психометрические параметры. Для того чтобы их выявить, нужно перед запуском теста в эксплуатацию провести его апробацию на целевой аудитории с последующим внимательным анализом накопленной статистики. Этот анализ может быть более или менее сложным (или совсем простым, если использовать специальные программы с удобной визуализацией, например, онлайн-оболочку тестирования HT-LINE), но он должен быть. И всегда окажется, что одна часть заданий подтвердила свое качество, а другая — нет. В отношении последних можно с уверенностью сказать: они не помогают измерять знания, а напротив, искажают картину. Их необходимо удалить из теста до начала его эксплуатации.

1. Отсутствие целостного технологического подхода к тестированию знаний

Первое место уверенно занимает стихийность процесса разработки и проведения тестов. Тесты знаний делает кто попало и как попало. Иногда — специалист отдела обучения (зашиваясь и не имея достаточных профессиональных знаний), иногда — опытный сотрудник-эксперт (не имея инструкций о том, как надо и как не надо делать тестовые задания), иногда — аутсорсер (уровень его квалификации может быть любым). А иногда тесты вообще никто не делает: их просто где-нибудь находят в готовом виде.

А между тем, существует конкретная выполнимая семишаговая технология разработки профтестов. Гарантирующая качественный результат и структурирующая процесс разработки и проведения тестов так, чтобы минимизировать трудозатраты и повысить эффективность труда. Мы ее знаем и можем поделиться.

Всех интересующихся разработкой тестов приглашаем на однодневный семинар Лаборатории «Конструирование тестов знаний».

В рамках этой статьи мы не можем подробно останавливаться на каждом пункте и его содержании. Это бы удесятерило ее объем, но мы вполне можем подчеркнуть ряд принципов, на которых базируется данная технология.

1. Принцип разделения функциональных ролей и зон ответственности. Разработка серьезного теста возможна только силами команды. И дело здесь не только в том, что «один в поле не воин» и «делегировать – это хорошо». Дело в том, что требуются разные люди с разными компетентностями. Одни — авторы заданий — должны обладать отличными знаниями в тестируемой области. Другие — методологи — знать, как делаются тесты. Третьи — заказчики оценки — понимать цели тестирования и контуры возможных решений, принимаемых по итогам оценки. Это минимум. Список можно продолжать…
2. Принцип планирования и контроля. Это может показаться странным, но чуть ли не самый сложный этап разработки теста — создание его спецификации, т.е. определение соотношения тематических блоков с прицелом на цели тестирования и аудиторию. Теста еще нет, но уже необходимо целостно увидеть его, определить всего ли хватает, нет ли чего лишнего. Прикинуть, как получаемая с помощью теста информация сможет быть полезна в практике управления персоналом. Спецификация — идеальный образ результата, с которым несколько раз придется сравнивать создаваемый тест. Но мало того, чтобы задания теста соответствовали указанным в спецификации областям. Критически важно, чтобы они были еще и качественно сформулированы, действительно могли отделить знающих от несведущих, а иначе как доверять такому тесту? Отсюда и строгий контроль качества заданий. Два этапа контроля качества заданий, экспертный и статистический, как два звена в цепочке водоочистки: грубый и тонкий фильтр. И ведь ни одним из них не пожертвуешь!
3. Принцип цикличности процесса разработки. Как видно из схемы, после того, как массовое тестирование проведено… все только начинается. А вернее, разработка может продолжаться и заходить на новый виток. Это не значит, что тест был плохим, пока мы не проанализировали статистику по сотням ответивших. Это значит, что он может стать еще лучше и еще точнее. При надлежащем сопровождении «с возрастом» тесты становятся только лучше!

Напрашивается парадоксальный вывод: если относиться к разработке тестов серьезно, то есть шанс справиться с задачей быстро, легко и результативно. Смелость и решимость поступать так, как должно, всегда оказывается вознаграждена! Дерзайте: Российский стандарт тестирования персонала – в помощь!

Арсений Белорусец,

эксперт отдела исследований и разработок,

руководитель направления «Профессиональные тесты знаний»

QA-процесс не сводится лишь к взаимодействию инженера с программным решением, не обойтись без создания тестовой документации. Она делает процессы на проекте более прозрачными, ведь позволяет отслеживать выполнение и планирование задач, следить за требованиями к ПО и дедлайнами. К тому же, грамотно составленные артефакты помогают новым сотрудникам быстрее вливаться в работу.

Чек-лист и тест-кейс – документы, с которыми чаще всего приходится работать инженерам по качеству. Но даже опытные специалисты могут допускать ошибки при составлении этих артефактов. В этой статье мы расскажем, как избежать неточностей в работе над тестовой документацией.

Что такое чек-лист в тестировании?

Чек-лист (checklist) представляет собой список проверок, которые планируется провести для оценки качества цифрового продукта. Хотя нет единых жёстких правил по оформлению документа, любой хороший артефакт структурирован и разбит на смысловые блоки и секции. Каждый инженер составляет чек-лист в комфортном для себя формате или согласно требованиям компании.

Документ может быть универсальным или специализированным. В первом случае список можно использовать при проверке однотипных программных продуктов, например сайтов.Так оценивается общий уровень качества ПО. Во втором случае инженеры составляют специальный артефакт, который позволит оценить конкретное программное решение.

Что важно при составлении чек-листа?

Создание качественногоартефакта – это уже половина успеха. При написании этого документа важно следовать нескольким рекомендациям:

• Придерживайтесь коротких, но прозрачных и понятных формулировок.
• Помните, один пункт списка – это один конкретный шаг.
• Не забывайте о принятых в команде формулировках. Это предотвратит искажённое толкование написанного.
• Убедитесь, что результаты оценки программного продукта по каждому из пунктов можно измерить или предельно точно оценить. Это очень важно при составлении чек-листа.

Специалистам (в особенности начинающим) при составлении артефакта очень поможетумение правильно задавать вопросы.

Чек-лист: как избежать ошибок?

Это один из наиболее острых вопросов для тестировщиков. Чаще всего недочёты и недоработки этого документа связаны счеловеческим фактором. Чтобы не допустить ошибок при создании данных артефактов, следует опираться на три принципа.

1. Чек-лист – это не развёрнутая и досконально проработанная инструкция

Это только лаконичное напоминание, черновик для QA-процесса. Пункты списка касаются только основных этапов тестирования.

1. Чек-лист стоит рассматривать не как план работы, а как эффективнейший инструмент экономии времени

Данный артефакт служит отличной подсказкой, которая направит процесс оценки качество в верное русло.

1. Пункты чек-листа могут и должны корректироваться

Составленный документ должен сохранять гибкость и видоизменяться уже в процессе работы над ПО.

Что такое тест-кейс?

Тест-кейс (test case) – это детальное описание проверки работоспособности программного решения. Совокупность подобных документов называется тестовым набором (test suite).

Эти артефакты могут быть двух типов: позитивные или негативные. Для проведения позитивных проверок применяются корректные данные и оценивается ожидаемое поведение ПО. Негативный сценарий используется, когда нужно посмотреть на программу в нестандартных условиях.

Какие ошибки допускаются тестировщиками при составлении чек-листов?

К типичным недочётам и недоработкам тест-кейсов можно отнести следующее:

• Чрезмерное упрощение документа. Иногда тестировщик настолько сильно увлекается сокращением излагаемой информации, что артефакт начинает походить на конспект. А ведь документ должен содержать исчерпывающий объём информации для инженеров, которые не работали над его составлением.
• Ссылки или копирование пунктов. Недопустимо на каком-либо шаге ссылаться на другой шаг(например, «повторить пункты под номерами 5 и 6 для реализации шага 10»). Такую проверку нужно либо исключить, либо скорректировать.
• Введение подразделов внутри одного пункта. Помните, каждый пункт – это одно конкретное действие.

К слову, не менее важно для тестировщика знать и о том, как правильно составить баг-репорт – стандартный отчёт о найденных ошибках.

Почему чек-лист и тест-кейс являются очень важными инструментами в руках тестировщика?

Целью создания данных артефактов является доскональная структуризация и систематизация процесса работы. Они делают проведение самого тестирования гораздо проще. Ключевое отличие этих тестовых документов заключается в степени детализации описанной в них информации. Чек-лист – это «вектор», направление всего процесса. Тест-кейс же – подробнейшее описание того, как и что нужно делать.

Продемонстрировать разницу между двумя документами можно на практике. Предположим, нам необходимо переместить книгу со страницы онлайн-магазина в корзину. Составление тест-кейсовв этом случае будет подразумевать описание всех совершаемых шагов:

1. Зайти на сайт.
2. Открыть раздел «Книги: новинки».
3. Выбрать книгу.
4. Поместить книгу в корзину.
5. Перейти в корзину.

Чек-лист в аналогичной ситуации будет содержать один-единственный пункт – «Поместить книгу в корзину». Здесь уже не нужно пошагово описывать последовательность переходов, нажатий кнопок.

Заключение

Чек-лист легче составить, но сложнее использовать. И если продвинутому тестировщику будет несложно применять в работе составленный список, начинающие QA-специалисты могут столкнуться с трудностями.

Как не допустить ошибок при создании артефактов, какие пункты они должны содержать, как эффективно использовать инструмент в работе – всё это объяснят преподаватели на курсах по тестированию программного обеспечения.