Предположение об ошибке черный ящик

1. Анализ причинно-следственных связей

Метод анализа
причинно-следственных связей помогает
системно выбирать высокорезультативные
тесты. Он дает полезный побочный эффект,
позволяя обнаруживать неполноту и
неоднозначность исходных спецификаций.

Для использования
метода необходимо понимание булевской
логики (логических операторов — и, или,
не). Построение тестов осуществляется
в несколько этапов.

1. Спецификация
разбивается на «рабочие » участки, так
как таблицы причинно-следственных
связей становятся громоздкими при
применении метода к большим спецификациям.
Например, при тестировании компилятора
в качестве рабочего участка можно
рассматривать отдельный оператор языка.

2. В спецификации
определяются множество причин и множество
следствий. Причина
есть отдельное входное условие или
класс эквивалентности входных условий.
Следствие
есть выходное условие или преобразование
системы. Каждым причине и следствию
приписывается отдельный номер.

3. На основе анализа
семантического (смыслового) содержания
спецификации строится таблица истинности,
в которой последовательно перебираются
все возможные
комбинации причин и определяются
следствия каждой комбинации причин.
Таблица снабжается примечаниями,
задающими ограничения и описывающими
комбинации причин и/или следствий,
которые являются невозможными из-за
синтаксических или внешних ограничений.
Аналогично, при необходимости строится
таблица истинности для класса
эквивалентности.

Примечание.
При этом можно использовать следующие
приемы:

• По возможности
  выделять независимые группы
  причинно-следственных связей в отдельные
  таблицы.

• Истина обозначается
  «1». Ложь обозначается «0». Для
  обозначения безразличных состояний
  условий применять обозначение «Х»,
  которое предполагает произвольное
  значение условия (0 или 1).

4. Каждая строка
таблицы истинности преобразуется в
тест. При этом по возможности следует
совмещать тесты из независимых таблиц.

Недостаток метода
заключается в том, что он неадекватно
исследует граничные условия.

1. Предположение об ошибке

Часто программист
с большим опытом выискивает ошибки «без
всяких методов». При этом он
подсознательно использует метод
«предположение об ошибке». Процедура
метода предположения об ошибке в
значительной степени основана на
интуиции. Основная идея метода состоит
в том, чтобы перечислить в некотором
списке возможные ошибки или ситуации,
в которых они могут появиться, а затем
на основе этого списка составить тесты.
Другими словами, требуется перечислить
те специальные случаи, которые могут
быть не учтены при проектировании.

1. Пример применения методов тестирования «черным ящиком»

Пусть необходимо
выполнить тестирование программы,
определяющей точку пересечения двух
прямых на плоскости. Попутно, она должна
определять параллельность прямой одной
их осей координат.

В основе программы
лежит решение системы линейных уравнений:

Ax + By
= C и
Dx + Ey = F.

5.1. Метод эквивалентных
разбиений

Используя метод
эквивалентных разбиений,
получаем для всех коэффициентов один
правильный класс эквивалентности
(коэффициент — вещественное число) и
один неправильный (коэффициент — не
вещественное число). Откуда можно
предложить 7 тестов:

1) все коэффициенты
— вещественные числа;

2)- 7) поочередно
каждый из коэффициентов — не вещественное
число.

5.2. Метод граничных
условий

Можно считать, что
для исходных данных граничные условия
отсутствуют (коэффициенты — «любые»
вещественные числа).

Для результатов
— получаем, что возможны варианты:
единственное решение, прямые сливаются
(множество решений), прямые параллельны
(отсутствие решений). Следовательно,
можно предложить тесты, с результатами
внутри области:

1. результат —
   единственное решение (
   
   0);

2. результат —
   множество решений (
   = 0 и _x=_y=0);

3. результат —
   отсутствие решений (
   = 0, но _x0
   или _y0);

и с результатами
на границе:

1.  =
   0,01;

2.  =
   -0,01;

3.  = 0,
   _x
   =
   0,01, _y
   =
   0;

4.  = 0,
   _y
   =
   -0,01, _x
   =
   0.

5.3. Метод анализа
причинно-следственных связей

Определяем множество
условий.

а)
для определения типа прямой:

— для определения
типа и существования первой прямой;

— для определения
типа и существования второй прямой;

б) для определения
точки пересечения:

 = 0

_x
= 0

_y
= 0

Выделяем
три группы причинно-следственных связей
(определение типа и существования первой
линии, определение типа и существования
второй линии, определение точки
пересечения) и строим таблицы
истинности.

Такая
же таблица строится для второй
прямой.

Каждая
строка этих таблиц преобразуется в
тест. При возможности (с учетом
независимости групп) берутся данные,
соответствующие строкам сразу двух или
всех трех таблиц.

В результате к уже
имеющимся тестам добавляются:

1. проверки всех
   случаев расположения обеих прямых — 6
   тестов по первой прямой вкладываются
   в 6 тестов по второй прямой так, чтобы
   варианты не совпадали, — 6 тестов;

2. выполняется
   отдельная проверка несовпадения условия
   _x
   = 0 или _y
   = 0 (в
   зависимости от того, какой тест был
   выбран по методу граничных условий) —
   тест также можно совместить с предыдущими
   6 тестами;

5.4. Метод предположения
об ошибке

Добавим еще один
тест: все коэффициенты — нули.

Всего получили 20
тестов по всем четырем методикам. Если
еще попробовать вложить независимые
проверки, то возможно число тестов можно
еще сократить. (Не
забудьте для каждого теста заранее
указывать результат!).

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

• #
• #
• #
• #
• #
• #
• #
• #
• #
• #
• #

«Чёрный ящик» — тестирование функционального поведения программы с точки зрения внешнего мира (текст программы не используется).

[править] Понятие «чёрного» ящика

Под «чёрным ящиком» понимается объект исследования, внутреннее устройство которого неизвестно. Понятие «чёрный ящик» предложено У. Р. Эшби. В кибернетике оно позволяет изучать поведение систем, то есть их реакций на разнообразные внешние воздействия и в то же время абстрагироваться от их внутреннего устройства. На рис. 1 приведено схемное построение входов X(x₁,x₂,…,x_n), выходов Y(y₁,y₂,…,y_m), характеризуемых функцией перехода (δ) и функцией выхода (λ) «чёрного» ящика.

Манипулируя только лишь со входами и выходами, можно проводить определенные исследования. На практике всегда возникает вопрос, насколько гомоморфизм «чёрного» ящика отражает адекватность его изучаемой модели, то есть как полно в модели отражаются основные свойства оригинала.

Описание любой системы управления во времени характеризуется картиной последовательности её состояний в процессе движения к стоящей перед нею цели. Преобразование в системе управления может быть либо взаимно-однозначным и тогда оно называется изоморфным, либо только однозначным, в одну сторону. В таком случае преобразование называют гомоморфным.

«Чёрный» ящик представляет собой сложную гомоморфную модель кибернетической системы, в которой соблюдается разнообразие. Он только тогда является удовлетворительной моделью системы, когда содержит такое количество информации, которое отражает разнообразие системы. Можно предположить, что чем большее число возмущений действует на входы модели системы, тем большее разнообразие должен иметь регулятор.

В настоящее время известны два вида «чёрных» ящиков. К первому виду относят любой «чёрный» ящик, который может рассматриваться как автомат, называемый конечным или бесконечным. Поведение таких «чёрных» ящиков известно. Ко второму виду относятся такие «чёрные» ящики, поведение которых может быть наблюдаемо только в эксперименте. В таком случае в явной или неявной форме высказывается гипотеза о предсказуемости поведения «чёрного» ящика в вероятностном смысле. Без предварительной гипотезы невозможно любое обобщение, или, как говорят, невозможно сделать индуктивное заключение на основе экспериментов с «чёрным» ящиком. Для обозначения модели «чёрного» ящика Н. Винером [2] предложено понятие «белого» ящика. «Белый» ящик состоит из известных компонентов, то есть известных X, Y, δ, λ. Его содержимое специально подбирается для реализации той же зависимости выхода от входа, что и у соответствующего «чёрного» ящика. В процессе проводимых исследований и при обобщениях, выдвижении гипотез и установления закономерностей возникает необходимость корректировки организации «белого» ящика и смены моделей. В связи с этим, при моделировании исследователь должен обязательно многократно обращаться к схеме отношений «чёрный» — «белый» ящик.

[править] Исследование поведения «черного» ящика

Рассмотрим, как изучается и исследуется поведение «черного» ящика второго вида. Предположим, что дана некоторая система управления, внутреннее строение которой неизвестно. Система управления имеет входы X(x₁,x₂,x₃,…,x_n) и выходы Y(y₁,y₂,y₃,…,y_m).

Способ исследования поведения данного «черного» ящика заключается в проведении эксперимента, результаты которого можно представить в виде табл. 1.

Такой способ исследования «черного» ящика называется протокольным. Значения входных величин в моменты времени t₁,t₂,…,t_k) могут выбираться произвольно.

Таблица 1

Другой способ исследования заключается в подаче на входы некоторых стандартных последовательностей. Этот способ особенно привлекателен, потому что позволяет сравнивать поведение нескольких «черных» ящиков с условием выбора таких, которые будут соответствовать предъявляемым требованиям.

Исследование систем управления связано с понятиями «вероятностный автомат», «вероятностная система», что требует изучения их вероятностных свойств. Для этих целей можно построить матрицу вероятностей (табл. 2), в которой для каждого входа x_i и каждого выхода y_i указывается условная вероятность p_i, что y_i возникает в ответ на x_i [7], приведенной в табл. 2.

Разработка методов построения математических моделей «черного» ящика является одной из важных кибернетических проблем. При условии наличия математической модели «черного» ящика появляется возможность отнести его к какому-либо одному классу, все системы которого изоморфны по поведению.

Создание математического описания «черного» ящика является своего рода искусством. В некоторых случаях удается сформировать алгоритм, в соответствии с которым «черный» ящик реагирует на произвольный входной сигнал. Для большинства же случаев делаются попытки установить дифференциальные уравнения, которые связывают реакцию «черного» ящика с его входами или, как говорят, с его входными стимулами.

Для науки метод «чёрный» ящик имеет весьма большое значение. С его помощью в науке были сделаны очень многие выдающиеся открытия. Например, ученый Гарвей еще в XVII веке предугадал строение сердца. Он моделировал работу сердца насосом, позаимствовав идеи из совершенно другой области современных ему знаний — гидравлики. Практическая ценность метода «чёрный» ящик заключается во-первых, в возможности исследования очень сложных динамических систем, и, во-вторых, в возможности замены одного «ящика» другим. Окружающая действительность и биология дают массу примеров выявления строения систем методом «чёрного» ящика.

[править] Тестирование по стратегии чёрного ящика

В этой стратегии программа рассматривается как чёрный ящик. Целью тестирования ставится выяснение обстоятельств, в которых поведение программы не соответствует спецификации. Для обнаружения всех ошибок в программе необходимо выполнить исчерпывающее тестирование, то есть тестирование на всевозможных наборах данных. Для большинства программ такое невозможно, поэтому применяют разумное тестирование, при котором тестирование программы ограничивается небольшим подмножеством всевозможных наборов данных. При этом необходимо выбирать наиболее подходящие подмножества, подмножества с наивысшей вероятностью обнаружения ошибок.

[править] Свойства правильно выбранного теста

1. Уменьшает более, чем на одно число других тестов, которые должны быть разработаны для разумного тестирования.
2. Покрывает значительную часть других возможных тестов, что в некоторой степени свидетельствует о наличии или отсутствии ошибки до и после ограниченного множества тестов.

[править] Методы стратегии чёрного ящика

1. Эквивалентное разбиение.
2. Анализ граничных значений.
3. Анализ причинно-следственных связей.
4. Предположение об ошибке.

Рассмотрим подробнее каждый из этих методов:

[править] Эквивалентное разбиение

Основу метода составляют два положения:

1. Исходные данные необходимо разбить на конечное число классов эквивалентности. В одном классе эквивалентности содержатся такие тесты, что, если один тест из класса эквивалентности обнаруживает некоторую ошибку, то и любой другой тест из этого класса эквивалентности должен обнаруживать эту же ошибку.
2. Каждый тест должен включать, по возможности, максимальное количество классов эквивалентности, чтобы минимизировать общее число тестов.

Разработка тестов этим методом осуществляется в два этапа: выделение классов эквивалентности и построение теста.

Классы эквивалентности выделяются путём выбора каждого входного условия, которые берутся с помощью технического задания или спецификации и разбиваются на две и более группы. Для этого используется следующая таблица:

Выделение классов эквивалентности является эвристическим способом, однако существует ряд правил:

1. Если входное условие описывает область значений, например «Целое число принимает значение от 0 до 999», то существует один правильный класс эквивалентности и два неправильных.
2. Если входное условие описывает число значений, например «Число строк во входном файле лежит в интервале (1..6)», то также существует один правильный класс и два неправильных.
3. Если входное условие описывает множество входных значений, то определяется количество правильных классов, равное количеству элементов в множестве входных значений. Если входное условие описывает ситуацию «должно быть», например «Первый символ должен быть заглавным», тогда один класс правильный и один неправильный.
4. Если есть основание считать, что элементы внутри одного класса эквивалентности могут программой трактоваться по-разному, необходимо разбить данный класс на подклассы. На этом шаге тестирующий на основе таблицы должен составить тесты, покрывающие собой все правильные и неправильные классы эквивалентности. При этом составитель должен минимизировать общее число тестов.

Определение тестов:

1. Каждому классу эквивалентности присваивается уникальный номер.
2. Если еще остались не включенные в тесты правильные классы, то пишутся тесты, которые покрывают максимально возможное количество классов.
3. Если остались не включенные в тесты неправильные классы, то пишут тесты, которые покрывают только один класс.

[править] Анализ граничных значений

Граничные условия — это ситуации, возникающие на высших и нижних границах входных классов эквивалентности.

Анализ граничных значений отличается от эквивалентного разбиения следующим:

1. Выбор любого элемента в классе эквивалентности в качестве представительного осуществляется таким образом, чтобы проверить тестом каждую границу этого класса.
2. При разработке тестов рассматриваются не только входные значения (пространство входов), но и выходные (пространство выходов).

Метод требует определённой степени творчества и специализации в рассматриваемой задаче.

Cуществует несколько правил:

1. Построить тесты с неправильными входными данными для ситуации незначительного выхода за границы области значений. Если входные значения должны быть в интервале [-1.0 .. +1.0], проверяем −1.0, 1.0, −1.000001, 1.000001.
2. Обязательно писать тесты для минимальной и максимальной границы диапазона.
3. Использовать первые два правила для каждого из входных значений (использовать пункт 2 для всех выходных значений).
4. Если вход и выход программы представляет упорядоченное множество, сосредоточить внимание на первом и последнем элементах списка.

Анализ граничных значений, если он применён правильно, позволяет обнаружить большое число ошибок. Однако определение этих границ для каждой задачи может являться отдельной трудной задачей. Также этот метод не проверяет комбинации входных значений.

[править] Анализ причинно-следственных связей

Этапы построения теста:

1. Спецификация разбивается на рабочие участки.
2. В спецификации определяются множество причин и следствий. Под причиной понимается отдельное входное условие или класс эквивалентности. Следствие представляет собой выходное условие или преобразование системы. Здесь каждой причине и следствию присваивается номер.
3. На основе анализа семантического (смыслового) содержания спецификации строится таблица истинности, в которой последовательно перебираются всевозможные комбинации причин и определяются следствия для каждой комбинации причин.

Таблица снабжается примечаниями, задающими ограничения и описывающими комбинации, которые невозможны. Недостатком этого подхода является плохое исследование граничных условий.

[править] Предположение об ошибке

Программист с большим опытом выискивает ошибки без всяких методов, но при этом он подсознательно использует метод предположения об ошибке. Данный метод в значительной степени основан на интуиции. Основная идея метода состоит в том, чтобы составить список, который перечисляет возможные ошибки и ситуации, в которых эти ошибки могли проявиться. Потом на основе списка составляются тесты.

Что такое тестирование по методу белого ящика? Что такое тестирование по методу черного ящика? Есть ли у них сходство? Чем они отличаются? Каковы технические особенности реализации каждого метода на практике? Все эти вопросы мы рассмотрим в данной статье.

Сходство тестирования по методу «черный ящик» и методу «белый ящик»

Парадоксальность в очевидности. Сходство этих двух методов заключается в том, что оба имеют общую цель – повышение качества программного обеспечения.

Действительно, в разработке программного обеспечения тестирование всегда направлено поиск ошибок. Приступая к тестированию программного обеспечения, тестировщик всегда имеет в голове какой-то тезис. И в процессе тестирования, этот тезис будет либо подтвержден, либо опровергнут.

По сути, оба метода – это как две дороги, которые ведут к одному пункту назначения под названием «качество ПО». Но это не альтернативные дороги. Чтобы добраться до заданного пункта, нужно пройти обе.

Различия в методах тестирования «черный ящик» и «белый ящик»

Являясь частью одного целого (т.е. обеспечения качества), тестирование по методу черного ящика и тестирование по методу белого ящика затрагивают разные аспекты качества и представляют совершенно разный подход к тестированию программного обеспечения. Если продолжить нашу аналогию с дорогой к пункту назначения, можно сказать, что это две дороги, которые, хотя и идут в одном направлении, имеют свои изгибы, ответвления и вехи.

Иными словами, данные методы тестирования имеют огромное различие в фокусном внимании.

Фокусное внимание «черного ящика»

Тестирование по методу черного ящика проверяет функциональность системы в целом, не задумываясь над тем, как и каким образом работают шестеренки в данной системе. То есть, фокусируется на том, как приложение ведет себя во время использования. Именно поэтому данный метод обычно называют поведенческим тестированием и считают низкоуровневым методом контроля качества.

Действительно, цель «черного ящика» – улучшить внешнее качество приложения. Единственное, что здесь имеет значение, это удобство дизайна для конечного пользователя, а также то, работают ли все модули должным образом, работоспособна ли заданная функциональность.

Здесь тестировщики имеют дело с так называемыми «вводами» и «возвращенными результатами». Иными словами, они проверяют каждый «ввод» и сравнивают фактически полученные результаты с ожидаемыми. Если эти два параметра совпадают для каждого «ввода» в отношении конкретной тестируемой функциональности, работа данной функции признается корректной.

Фокусное внимание «белого ящика»

Тестирование по методу белого ящика, напротив, фокусируется на внутреннем устройстве приложения. Здесь тестировщик исследует исходный код, структуру каталогов, маршрутизацию, циклы и петли обратной связи и т.д.

Тестирование «белый ящик» нацелено на повышение внутреннего качества программного обеспечения и создание продукта, который:

Определенно, невозможно получить информацию о вышеупомянутых аспектах, проверяя только взаимодействие ввода и возвращенного результата. Поэтому данный метод тестирования, по сути, является структурным тестированием или тестированием на основе кода и считается высокоуровневым методом контроля качества.

Особенности применяемых техник тестирования

Логично предположить, что при тестировании методами черного и белого ящиков используются совершенно разные техники. При этом, данные различия предъявляют определённые требования к навыкам тестировщиков. Так, для низкоуровневого контроля качества тестировщикам не обязательно уметь программировать. Им даже не нужно знать язык программирования, который используется для разработки этого приложения. Для проведения тестирования методом белого ящика, напротив, глубокие знания в области разработки программного обеспечения и реализованных в данном приложении технологий просто необходимы.

Техники тестирования по методу черного ящика

При тестировании методом «черного ящика» тестировщики сначала изучают спецификации тестирования программного обеспечения, после чего пробуют различные вводные данные, следуя заранее заданному набору тест-кейсов. Затем они просто сообщают разработчикам о выявленных ими проблемах, не вникая в причинно-следственные связи.

Среди техник тестирования по методу черного ящика, применяемых в нашей компании по разработке программного обеспечения, наиболее распространены:

Техники тестирования по методу белого ящика

В процессе тестирования методом «белого ящика» тестировщики проверяют код, стремясь найти и исправить некорректные блоки. Как правило, для больших программ это происходит в форме написания автоматизированных тест-кейсов для обеспечения высокого уровня тестового покрытия. Однако, иногда используются и ручные тесты.

В нашей компании наиболее распространенными являются следующие техники тестирования по методу белого ящика:

Заключительный нюанс

Несмотря на то, что, говоря о методах тестирования, сначала говорится о методе «черного ящика», и только потом переходят к методу «белого ящика» (и данная статья – скорее подтверждение, нежели исключение этого паттерна), в реальной разработке последовательность применения данных методов кардинально противоположная.

Так, тестирование «черного ящика», как правило, проводится для проверки финальной сборки (как программы в целом, так и отдельного ее модуля). Это гарантирует, что взаимодействие пользователя с системой будет плавным, а реакция программы на каждое действие пользователя будет правильной и соответствующей требованиям программного обеспечения.

В свою очередь, тестирование методом белого ящика осуществляется непосредственно в процессе разработки, на завершающем этапе каждой итерации. Таким образом, ошибки кодирования могут быть обнаружены (и, соответственно, устранены) на ранней стадии разработки включительно.

Основная закономерность, которую мы определили для себя – чем лучше было проведено тестирование методом белого ящика, тем меньше ошибок будет выявлено при тестировании методом черного ящика. А следовательно, меньше доработок и исправлений.