ГОСТ Р 57700.25-2020 Компьютерные модели и моделирование. Процедуры валидации

ГОСТ Р 57700.25-2020

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

КОМПЬЮТЕРНЫЕ МОДЕЛИ И МОДЕЛИРОВАНИЕ

Процедуры валидации

Computer models and simulation. Validation procedures

ОКС 01.040.01, 07.020, 07.030

Дата введения 2021-06-01

Предисловие

1 РАЗРАБОТАН Федеральным государственным унитарным предприятием "Российский федеральный ядерный центр - Всероссийский научно-исследовательский институт экспериментальной физики" (ФГУП "РФЯЦ-ВНИИЭФ")

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 700 "Математическое моделирование и высокопроизводительные вычислительные технологии"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 13 ноября 2020 г. N 1076-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

Введение

В связи с развитием современных информационных технологий расширяется использование возможностей компьютерного моделирования при решении задач разработки, производства и эксплуатации высокотехнологичных изделий. Компьютерные модели становятся одной из форм представления результатов научно-исследовательской и проектно-конструкторской деятельности.

Для компьютерных моделей, использующихся в виртуальных экспериментах, обязательно должна проводиться проверка адекватности модели реальным объектам (валидация). Объектом стандартизации настоящего стандарта являются процедуры валидации компьютерных моделей.

Настоящий стандарт разработан в развитие норм, определенных в ГОСТ Р 57700.23 и ГОСТ Р 57700.24.

1 Область применения

Настоящий стандарт устанавливает требования к процедурам валидации физико-механических и физико-химических компьютерных моделей и рекомендуется при организации процедур подтверждения соответствия результатов компьютерного моделирования объектам реального мира.

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ Р 50779.0 Статистические методы. Основные положения

ГОСТ Р 57188 Численное моделирование физических процессов. Термины и определения

ГОСТ Р 57700.1 Численное моделирование для разработки и сдачи в эксплуатацию высокотехнологичных промышленных изделий. Сертификация программного обеспечения. Требования

ГОСТ Р 57700.2 Численное моделирование для разработки и сдачи в эксплуатацию высокотехнологичных промышленных изделий. Сертификация программного обеспечения. Общие положения

ГОСТ Р 57700.23 Компьютерные модели и моделирование. Валидация. Общие положения

ГОСТ Р 57700.24 Компьютерные модели и моделирование. Валидационный базис

ГОСТ Р МЭК 61508-4 Функциональная безопасность систем электрических, электронных, программируемых электронных, связанных с безопасностью. Часть 4. Термины и определения

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины, определения и сокращения

3.1 В настоящем стандарте применены термины по ГОСТ Р 57188, ГОСТ Р МЭК 61508-4, а также следующие термины с соответствующими определениями:

3.1.1

3.1.2

3.1.3 заказчик: Юридическое лицо, по заявке или договору, с которым производится разработка (модернизация) продукции (изделий).

3.1.4

3.1.5

3.1.6 натурный эксперимент: Научно-поставленный опыт над изделием или его составными частями, который проводится на реальных объектах и в условиях, соответствующих условиям его эксплуатации по прямому назначению с непосредственным оцениванием или контролем определяемых характеристик свойств объекта.

3.1.7

3.1.8

3.1.9

Примечание - Программное обеспечение компьютерного моделирования с точки зрения применения является более общим понятием по сравнению с компьютерной моделью, поскольку позволяет моделировать различные объекты моделирования, а также содержит в своем составе реализацию сервисных (по отношению к компьютерной модели) функций.

3.1.10 организация-разработчик; разработчик: Предприятие (организация, объединение, юридическое лицо), осуществляющее разработку продукции в установленном порядке.

3.1.11 система линейных алгебраических уравнений; СЛАУ: Система уравнений, каждое уравнение в которой является линейным - алгебраическим уравнением первой степени.

3.1.12 численная погрешность (погрешность численного решения): Разница между результатом соответствующего эксперимента или результатом эталонного решения и численным решением системы уравнений математической модели для заданного набора начальных и граничных условий.

Примечание - См. [1], [2].

3.1.13 экспериментальная погрешность: Снижение точности измерений в результате натурного эксперимента, обусловленная случайной (статистической) и систематической ошибками.

3.2 В настоящем стандарте применены следующие сокращения:

КМ - компьютерная модель;

ПО КМ - программное обеспечение компьютерного моделирования;

ОМ - объект моделирования;

ВБ - валидационный базис.

4 Общие положения

4.1 В результате выполнения процедур валидации КМ определяется, насколько точно созданная КМ воспроизводит физическую действительность (ОМ) в области ее предполагаемого применения, путем определения границы области применимости численного моделирования.

4.2 Валидация КМ осуществляется в три этапа:

- формирование валидационного базиса;

- проведение валидационного сравнения;

- комиссионная оценка соответствия КМ ОМ.

4.3 ВБ КМ на первом этапе валидации формируется по ГОСТ Р 57700.24.

4.4 Результаты второго этапа валидации КМ оформляются в виде отчета о валидации КМ по ГОСТ Р 57700.23.

4.5 В ходе выполнения третьего этапа валидации КМ должна быть проведена комиссионная оценка соответствия КМ ОМ и выпущен акт о валидации КМ.

4.6 Валидация КМ выполняется с использованием ПО КМ.

4.7 ПО КМ, применяемое для разработки КМ, должно пройти верификацию и валидацию. Результаты верификации и валидации должны соответствовать требованиям ГОСТ Р 57700.1 и ГОСТ Р 57700.2 или нормативным документам уполномоченных регулирующих органов.

4.8 КМ, представляемая для валидации, предварительно должна пройти процедуру верификации.

Примеры

1 Проверка сходимости итерационного процесса.

2 Проверка достаточной степени подробности сеточной дескретизации.

4.9 Результаты валидации дают выводы о точности КМ только для случаев, определенных при валидационном сравнении. При изменении КМ должна быть проведена повторная валидация.

4.9.1 Допускается не проводить повторную валидацию измененной КМ, в случае если изменения не касаются величин и характеристик, существенных для исследуемого ОМ, а также параметров и требований к КМ и ПО КМ для моделирования, включенные в ВБ.

4.9.2 Заключение об отсутствии необходимости проведения повторной валидации КМ выпускается экспертной комиссией, порядок работы которой определяется по 5.12-5.25.

4.10 Результаты валидации КМ также включаются в ВБ и могут применяться при валидации других КМ.

5 Порядок выполнения

5.1 Первый этап валидации КМ заключается в формировании ВБ. В ходе данного этапа разработчик по согласованию с заказчиком должен:

- определить величины и характеристики, существенные для исследуемого ОМ;

- подготовить параметры и требования к КМ и ПО КМ для моделирования;

- выбрать метрики соответствия для оценки различия результатов моделирования и эталонных решений;

- определить обоснованные погрешности моделирования.

5.2 Для получения адекватных результатов моделирования параметры КМ, а также параметры ПО КМ должны быть настроены на процессы, характерные для рассматриваемого ОМ, в соответствии с ВБ.

Примеры

1 В качестве параметров КМ могут быть рассмотрены, например, эмпирические величины в модели турбулентности, дискретизация по пространственным переменным.

2 В качестве параметров ПО КМ могут быть представлены, например, точность решения СЛАУ.

5.3 В качестве метрики соответствия для сравнительного анализа результатов моделирования с эталонным решением могут выбираться различные функционалы, получаемые, в том числе, с использованием методов статистического анализа согласно ГОСТ Р 50779.0.

Пример - Относительная погрешность, среднеквадратичное отклонение.

5.4 Выбор метрики сравнения результатов моделирования с эталонными решениями, а также критерия успешности валидации в целом определяется для конкретной КМ в соответствии с требованиями к ее последующему применению, значимости результатов моделирования, экономических соображений и т.п.

5.5 Метрика соответствия результатов моделирования и эталонных решений вычисляется на основе результатов количественной оценки численной погрешности и неопределенности в соответствии с требованиями системы национальных стандартов "Статистические методы". Рекомендации по оценке численной погрешности и неопределенности приведены в приложении А.

5.6 В общем случае в качестве критерия успешной валидации КМ должны выступать результаты анализа полученных в процессе моделирования метрик соответствия, которые учитывают все ошибки и неопределенности, в том числе с использованием методов статистического анализа.

5.7 Второй этап валидации КМ должен включать в себя следующие мероприятия:

- разработка программы и методики валидации;

- проверка КМ на соответствие требованиям ВБ;

- выполнение моделирования с КМ;

- анализ результатов численного моделирования на соответствие ВБ.

5.8 Выполнение работ второго этапа проводится по программе и методике валидации, разрабатываемой и утверждаемой разработчиком, по согласованию с заказчиком. Требования к программе и методике валидации КМ устанавливаются в нормативной документации разработчика.

5.9 В ходе выполнения анализа результатов моделирования должны быть проанализированы режимы и характеристики смоделированных физических процессов, диапазоны физических величин на соответствие режимам и диапазонам, обоснованным в ВБ.

5.10 Для оптимизации процесса анализа в качестве критерия соответствия КМ ОМ может быть определена количественная мера, выраженная в виде математического выражения и вычисляемая на основе метрик соответствия, с учетом численной оценки погрешностей и неопределенностей.

5.11 Результаты второго этапа валидации КМ разработчик представляет в виде отчета о валидации КМ по ГОСТ Р 57700.23.

Отчет оформляется в двух экземплярах, один из которых остается у разработчика, второй предоставляется комиссии на третьем этапе валидации.

5.12 На третьем этапе разработчик по согласованию с заказчиком создает экспертную комиссию и разрабатывает программу ее работы.

5.13 В программе работы экспертной комиссии должны быть указаны:

- задачи, стоящие перед экспертной комиссией, а также ее права и обязанности;

- порядок работы экспертной комиссии и перечень проводимых работ (исследований);

- сроки проведения работ (исследований).

5.14 В состав экспертной комиссии включают представителей разработчика, заказчика и эксплуатирующей организации (при наличии). При необходимости в состав экспертной комиссии могут быть включены эксперты от других организаций.

5.15 Экспертная комиссия отвечает за полноту, достоверность и объективность оценки полученных результатов.

5.16 Для проведения третьего этапа валидации разработчик предоставляет экспертной комиссии отчет о валидации КМ. Экспертная комиссия имеет право затребовать дополнительные документы для обеспечения полноты проводимой экспертизы.

5.17 Результаты работы экспертной комиссии фиксируются в заключении, оформляемом в виде акта о валидации КМ, в который при необходимости должен быть включен перечень требуемых изменений КМ.

5.18 Перечень может содержать следующие рекомендации:

- устранить ошибки в постановке задачи моделирования;

- исправить методические ошибки в математической модели;

- уточнить параметры КМ и/или ВБ;

- изменить метод расчета характеристик;

- разработать более детализированную математическую модель;

- изменить КМ и/или ВБ.

5.19 В зависимости от выявленных несоответствий КМ ОМ перечень предлагаемых изменений может быть уточнен. Каждое из предлагаемых изменений должно быть обосновано и детально описано.

5.20 В акте о валидации КМ также могут быть отражены рекомендации по включению КМ и результатов ее валидации в ВБ, формируемый по ГОСТ Р 57700.24, для обеспечения дальнейшего использования.

5.21 Акт о валидации КМ подписывают члены экспертной комиссии и утверждает руководитель организации-разработчика. Акт о валидации КМ составляется не менее чем в двух экземплярах, один из которых остается у разработчика, а второй направляется заказчику.

5.22 В случае выявления по результатам экспертизы несоответствия КМ ОМ, необходимо выполнить корректировку КМ и/или ВБ и повторно провести процедуру валидации КМ.

5.23 При повторном прохождении второго этапа разработчик должен дополнить отчет о валидации КМ результатами реализации рекомендаций экспертной комиссии.

5.24 В обоснованных случаях при повторной оценке соответствия КМ ОМ допускается рассматривать только результаты реализации рекомендаций экспертной комиссии.

5.25 В обоснованных случаях экспертной комиссией может быть принято решение об отказе от дальнейшего применения данной КМ при разработке изделия.

Приложение А
(рекомендуемое)

Погрешность валидации и неопределенность

Если - произвольная мера отклика системы, которая вычисляется и измеряется экспериментально, то - разность между истинным значением величины и численным результатом .

вычисляется по формуле

. (1)

Данную формулу можно представить в виде

, (2)

где - значение, измеренное экспериментально;

- аналитическое решение системы уравнений математической модели для заданного набора начальных и граничных условий;

- численное решение дискретной аппроксимации данных уравнений при тех же условиях, полученное с использованием конкретного кода на вычислительной машине.

Формулу (2) можно представить следующим образом:

, (3)

где ,

,

.

Слагаемое представляет собой ошибку, возникающую в процессе экспериментального измерения физического параметра.

Слагаемое называют ошибкой моделирования. Оно учитывает все ошибки и неопределенности, возникающие при попытке описать экспериментально воспроизводимое явление с помощью системы дифференциальных уравнений в частных производных. В также входят набор граничных и начальных условий, и другие параметры, необходимые для моделирования соответствующего эксперимента.

Слагаемое представляет собой погрешность численного решения.

Библиография

Электронный текст документа

и сверен по:

, 2020