РЕКОМЕНДУЕМЫЙ ПОРЯДОК ПРОВЕДЕНИЯ АТТЕСТАЦИИ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ

Порядок проведения аттестации программного обеспечения в соответствии с МИ 2174

Выше говорилось, что аттестация (испытания) ПО средств измерений представляет собой достаточно сложную исследовательскую задачу, решение которой определяется конкретной программной и аппаратной реализацией соответствующего средства измерений. В такой ситуации речь может идти только о некоторой типовой методике, элементы которой обязательны для тестирования любого ПО средств измерений, но конкретная реализация является существенно индивидуальной для каждого тестируемого ПО.

Можно пойти по пути, предлагаемому методикой МИ 2174, который описан в главе 2 и который сводится к выполнению следующих обязательных процедур.

1. Устанавливается набор основных характеристик алгоритмов Пь ..., П/7, которые следует оценивать. В частности, такими характеристиками для алгоритмов, используемых при обработке данных многократных прямых измерений, могут быть:

Ilj — CKO случайной погрешности результатов измерения;

П2 — граница систематической погрешности 0 результата измерения.

Иногда указанные характеристики удобно представлять в приведенной форме отнесенными к соответствующим погрешностям среднего арифметического.

В качестве показателя устойчивости алгоритма принимают

точку срыва Пср, т.е. допустимую долю выбросов в данных, наличие которых не приводит к нарушению работоспособности алгоритма.

  • 2. Устанавливается набор моделей исходных данных их ит, поступающих на обработку. В качестве моделей данных могут приниматься, например: независимые случайные величины со средним хср и дисперсией s, имеющие гауссовские распределения (сравни с вычислением «эталонных» данных в предыдущем параграфе); независимые случайные величины, имеющие равномерные распределения на интервале (-L,L); линейно изменяющаяся последовательность с интерсептом Ь и наклоном и т.д.
  • 3. Вычисляются (оцениваются) значения характеристик алгоритмов (программ) на выбранных типовых моделях, т.е. получаются Пу (а) = ПI (я>м /) •
  • 4. Результаты таких оценок могут быть представлены в виде таблиц значений характеристик алгоритма в зависимости от используемых моделей исходных данных.
  • 5. Оформляется свидетельство об аттестации алгоритма (программы), включающее указанные таблицы.

Таким образом, видно, что аттестация ПО в соответствии с МИ 2174 сводится к оценке искажений, вносимых тестируемым ПО в модели исходных данных. В приложении к методике приведены примеры аттестации простых алгоритмов: алгоритма вычисления усеченного среднего и алгоритма вычисления медианы в упорядоченном наборе данных.

В разделе 3 методики содержатся рекомендации по выбору характеристик алгоритмов и программ. Представляет интерес более детальное рассмотрение этих характеристик, потому что это может оказаться полезным при составлении методик аттестации (тестирования). Характеристики предлагается разбивать на три группы: характеристики точности, предназначенные для оценивания погрешностей результатов измерений, получаемых при использовании алгоритма (программы);

характеристики устойчивости (надежности), которые задают область работоспособности алгоритма (программы);

характеристики сложности, которые отражают трудоемкость вычислений или вычислительные затраты при однократном применении алгоритма (программы).

В свою очередь характеристики точности подразделяются на основные и вспомогательные. К основным характеристикам точности алгоритмов предлагается относить:

границы методической составляющей погрешности, обусловленной неидеальностью метода обработки;

границы систематических составляющих трансформированной погрешности (т.е. составляющей погрешности, обусловленной наличием погрешностей исходных данных, поступающих на обработку, и их преобразованием с помощью алгоритма (программы) результата измерений;

СКО случайной составляющей трансформированной погрешности.

Что касается вспомогательных характеристик точности, то под ними понимаются параметры погрешностей результатов обработки, отличные от основных характеристик точности. При этом рекомендуется учитывать дополнительные составляющие погрешности результатов, обусловленные особенностями работы программы в конкретной вычислительной среде, в том числе: округлением промежуточных результатов; ограниченностью разрядной сетки; дискретизацией по аргументу; конечным числом итераций;

использованием конечных разложений вместо бесконечных рядов и др.

К числу основных характеристик устойчивости алгоритмов (программ) предлагается относить;

допустимое число или долю данных, которые могли бы содержать промахи (большие погрешности), не нарушающие работоспособность алгоритмов;

границы интервалов (областей) значений параметров исходных данных, в которых алгоритм работает без сбоев (грубых ошибок).

Основными характеристиками сложности алгоритмов являются показатели вычислительной сложности, определяемые числом типовых операций (арифметических и логических), необходимых для однократного вычисления по данному алгоритму. Этот показатель был актуален на начальных этапах использования вычислительной техники для обработки измерительной информации, когда скорость обработки информации была относительно невелика. В настоящее время этот показатель в значительной степени потерял свою актуальность.

При аттестации предлагается модели исходных данных формировать как в виде сочетания полезных сигналов, так и в виде моделей погрешности исходных данных. При этом модели полезных сигналов могут формироваться на основе постановки измерительной задачи с использованием уравнения измерений, сведений о свойствах входных сигналов СИ и метрологических характеристик СИ. Модели погрешности исходных данных могут формироваться отдельно для случайных и систематических составляющих погрешности, а также с учетом возможных помех на входе и выходе СИ. Для случайных составляющих погрешности исходных данных могут приниматься модели в виде случайных функций либо последовательностей, имеющих определенные распределения (например, гауссовское, равномерное, двойное экспоненциальное и т.п.), и/или в виде корреляционных функций. Для систематических составляющих погрешностей возможны модели в виде детерминированных функций или последовательностей (например, постоянной, линейной, синусоидальной и т.д.).

Методика выделяет три основных подхода к определению (оцениванию) характеристик алгоритмов (программ) на моделях исходных данных: аналитический;

численный расчет показателей точности; математическое моделирование (прежде всего статистическое).

В принципе такая процедура аттестации не требует наличия опорного («эталонного») ПО и позволяет оценить свойства ПО, а также степень его влияния на метрологические характеристики средств измерений. Проблема заключается в удачном выборе характеристик алгоритма и таких моделей исходных данных, которые в максимальной степени соответствовали бы той реальной измерительной задаче, которая решается конкретным ПО. Видно также, и это уже отмечалось, что и генерация «эталонных» данных и метод моделей исходных данных могут рассматриваться как разновидности одного и того же подхода к аттестации (испытаниям) ПО, который можно использовать в отсутствие опорного («эталонного») ПО.

К недостаткам рекомендации МИ 2174 можно отнести то, что в ней количественные характеристики качества программных продуктов приводятся в виде таблиц, интерпретация которых в ряде случаев не ясна, а не в виде числа, характеризующего относительную погрешность ПО (формула (13).

Несмотря на некоторую структурную рыхлость методики и недостаток конкретных примеров, поясняющих общие утверждения, эта методика может быть рекомендована как основа для составления методики аттестации или испытаний (тестирования) ПО.

Уже говорилось, что в [6], по сути, представлено развитие методологии методики МИ 2174 с учетом современных наработок по обсуждаемой проблеме (напомним, что методика МИ 2174 была издана в 1991 г.). В [6] авторы, подытоживая содержание главы 2, предлагают следующие рекомендации при решении задачи оценивания точности результатов измерений, полученных с использованием ПО.

На первом этапе проводится проверка корректности уравнений измерения и их соответствия измерительной задаче. Другими словами, проводится валидация, т.е. определение пригодности модели измерения.

Конечно, в процессе аттестации (испытаний) ПО СИ можно заниматься его валидацией, например, по настоятельному желанию заказчика аттестации (испытаний), или если по тем или иным причинам возникают серьезные подозрения в некорректности постановки измерительной задачи, но, по сути, все это не задача аттестации (испытаний) ПО. Как уже отмечалось, это задача аттестации методики измерений.

На втором этапе должно выполняться оценивание «трансформированной» погрешности (неопределенности) результатов измерений по погрешности (неопределенности) входных данных. Это действительно актуальная проблема, если ПО используется для оценки суммарной погрешности СИ, но на самом деле проблема вычисления трансформированной погрешности еще далека от своего окончательного решения. При этом, конечно, можно пользоваться теми методами, которые предложены в [6], но они все-таки требуют дальнейшего развития и уточнения. Нельзя не отметить, что содержание второго этапа также представляет собой содержание процесса аттестации методик измерения и не имеет прямого отношения к задаче аттестации (испытаний) ПО СИ.

Третий этап — это тестирование ПО, сравнение результатов расчетов, получаемых на входных «эталонных» наборах данных, с опорными («эталонными») результатами. Один из методов такого сравнения может быть реализован на основе описанных выше моделей исходных данных в качестве как входных «эталонных» наборов данных, так и опорных результатов.

 
Посмотреть оригинал
< Пред   СОДЕРЖАНИЕ ОРИГИНАЛ   След >