ГОСТ Р 70321.1-2022 Технологии искусственного интеллекта для обработки данных дистанционного зондирования Земли. Алгоритмы искусственного интеллекта для распознавания зданий на космических снимках, получаемых с космических аппаратов оптико-электронного наблюдения. Типовая методика проведения испытаний

        ГОСТ Р 70321.1-2022

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Технологии искусственного интеллекта для обработки данных дистанционного зондирования Земли

АЛГОРИТМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА ДЛЯ РАСПОЗНАВАНИЯ ЗДАНИЙ НА КОСМИЧЕСКИХ СНИМКАХ, ПОЛУЧАЕМЫХ С КОСМИЧЕСКИХ АППАРАТОВ ОПТИКО-ЭЛЕКТРОННОГО НАБЛЮДЕНИЯ

Типовая методика проведения испытаний

Artificial intelligence technologies for processing of Earth remote sensing data. Artificial intelligence algorithms for recognition of buildings on satellite images obtained from optical-electronic observation satellites. Typical testing procedure

ОКС 35.240.99

Дата введения 2023-01-01

Предисловие

1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования "Национальный исследовательский университет "Высшая школа экономики" (НИУ ВШЭ) и Обществом с ограниченной ответственностью "ГЕОАЛЕРТ" (ООО "ГЕОАЛЕРТ")

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 28 октября 2022 г. N 1204-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Введение

Настоящий стандарт входит в серию стандартов "Технологии искусственного интеллекта для обработки данных дистанционного зондирования Земли".

Настоящий стандарт развивает положения ГОСТ Р 59898 применительно к оценке функциональной корректности алгоритмов искусственного интеллекта для распознавания зданий на космических снимках по ГОСТ Р 59753-2021 (статья 32), получаемых с космических аппаратов оптико-электронного наблюдения в видимом и ближнем инфракрасном диапазонах.

Распознавание зданий может осуществляться, например:

- при территориальном планировании, землепользовании и застройке [1];

- планировке и застройке городских и сельских поселений по СП 42.13330;

- благоустройстве территорий поселений, городских округов, внутригородских районов [2];

- благоустройстве территорий муниципальных образований [3];

- градостроительном проектировании и благоустройстве парков по СП 475.1325800;

- для поддержки принятия градостроительных, архитектурно-планировочных и иных решений по развитию городов и населенных пунктов;

- получения актуальной пространственной информации о зданиях для проверки соответствия сведений кадастрового учета, актуализации адресной базы для почтовых сервисов, в целях градостроительного планирования развития территорий, а также для цифровых двойников городов и населенных пунктов;

- оказания консалтинговых услуг, связанных с использованием данных о численности населения и темпах урбанизации территорий, а именно: стратегическое планирование, исследование потенциальных рынков оказания услуг (например, страхование, размещение территориальных офисов/магазинов);

- мониторинга состояния охранных зон.

Настоящий стандарт разработан в целях унификации методов испытаний при оценке функциональной корректности алгоритмов искусственного интеллекта для распознавания зданий на космических снимках.

1 Область применения

Настоящий стандарт распространяется на алгоритмы искусственного интеллекта для распознавания зданий, строительство которых завершено (далее - алгоритмы ИИ), на космических снимках по ГОСТ Р 59753-2021 (статья 32), получаемых с космических аппаратов оптико-электронного наблюдения в видимом и ближнем инфракрасном диапазонах (далее - снимки).

Настоящий стандарт устанавливает типовую методику проведения испытаний алгоритмов ИИ при оценке функциональной корректности по ГОСТ Р 59898-2021 (8.2.3).

Примечание - В контексте настоящего стандарта под алгоритмами ИИ понимают алгоритмы на основе машинного обучения.

Настоящий стандарт может быть применен при испытаниях алгоритмов ИИ при проведении оценки соответствия первой, второй или третьей сторон по ГОСТ ISO/IEC 17000.

Настоящий стандарт также может быть применен при автономных предварительных и приемочных испытаниях по ГОСТ Р 59792 алгоритмов ИИ, входящих в состав автоматизированных систем.

Настоящий стандарт предназначен для применения всеми организациями, участвующими в испытаниях алгоритмов ИИ, независимо от их вида и размера.

Типовая методика проведения испытаний алгоритмов ИИ для определения типов жилых зданий на снимках установлена в ГОСТ Р 70321.2, алгоритмов ИИ для оценки площадки жилых зданий - в ГОСТ Р 70321.3, алгоритмов ИИ для распознавания строящихся зданий - в ГОСТ Р 70321.4.

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие документы:

ГОСТ 19.301 Единая система программной документации. Программа и методика испытаний. Требования к содержанию и оформлению

ГОСТ ISO/IEC 17000 Оценка соответствия. Словарь и общие принципы

ГОСТ ISO/IEC 17025-2019 Общие требования к компетентности испытательных и калибровочных лабораторий

ГОСТ Р 52438 Географические информационные системы. Термины и определения

ГОСТ Р 58973-2020 Оценка соответствия. Правила к оформлению протоколов испытаний

ГОСТ Р 59276 Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения

ГОСТ Р 59753-2021 Данные дистанционного зондирования Земли из космоса. Термины и определения

ГОСТ Р 59754-2021 Данные дистанционного зондирования Земли из космоса. Обработка данных дистанционного зондирования Земли из космоса. Термины и определения

ГОСТ Р 59792 Информационные технологии. Комплекс стандартов на автоматизированные системы. Виды испытаний автоматизированных систем

ГОСТ Р 59795-2021 Информационные технологии. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Требования к содержанию документов

ГОСТ Р 59898-2021 Оценка качества систем искусственного интеллекта. Общие положения

ГОСТ Р 70321.2 Технологии искусственного интеллекта для обработки данных дистанционного зондирования Земли. Алгоритмы искусственного интеллекта для определения типов жилых зданий на космических снимках, получаемых с космических аппаратов оптико-электронного наблюдения. Типовая методика проведения испытаний

ГОСТ Р 70321.3 Технологии искусственного интеллекта для обработки данных дистанционного зондирования Земли. Алгоритмы искусственного интеллекта для оценки площади жилых зданий на космических снимках, получаемых с космических аппаратов оптико-электронного наблюдения. Типовая методика проведения испытаний

ГОСТ Р 70321.4 Технологии искусственного интеллекта для обработки данных дистанционного зондирования Земли. Алгоритмы искусственного интеллекта для распознавания строящихся зданий на космических снимках, получаемых с космических аппаратов оптико-электронного наблюдения. Типовая методика проведения испытаний

ГОСТ Р ИСО 6707-1 Здания и сооружения. Общие термины

СП 42.13330 Градостроительство. Планирование и застройка городских и сельских поселений

СП 475.1325800 Парки. Правила градостроительного проектирования и благоустройства

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов (сводов правил) в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный документ, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого документа с учетом всех внесенных в данную версию изменений. Если заменен ссылочный документ, на который дана датированная ссылка, то рекомендуется использовать версию этого документа с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный документ, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный документ отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку. Сведения о действии сводов правил целесообразно проверить в Федеральном информационном фонде стандартов.

3 Термины и определения

В настоящем стандарте применены термины по ГОСТ ISO/IEC 17000, ГОСТ Р ИСО 6707-1, ГОСТ Р 52438, ГОСТ Р 59276, ГОСТ Р 59753, ГОСТ Р 59754, ГОСТ Р 59898.

4 Общие положения

4.1 Объектами испытаний являются алгоритмы ИИ.

4.2 Стадии жизненного цикла, на которых проводят испытания алгоритмов ИИ, и группы лиц, осуществляющие тестирование, - по ГОСТ Р 59898-2021 (раздел 6).

4.3 Общие принципы и порядок испытаний алгоритмов ИИ - по ГОСТ Р 59898-2021 (раздел 7) с дополнениями, приведенными в настоящем стандарте.

5 Подготовительные работы

5.1 Перед проведением испытаний алгоритмов ИИ заказчикам испытаний рекомендуется установить (не ограничиваясь):

- перечень существенных факторов (внешних воздействий), оказывающих влияние на работу алгоритмов ИИ (далее - существенные факторы), и статистические характеристики их распределений;

- требования к квалификации экспертов, выполняющих разметку снимков для тестовых наборов данных (при необходимости);

- целесообразность проведения валидации разметки тестовых наборов данных и анонимизации снимков для тестовых наборов данных;

- показатели для оценки функциональной корректности алгоритмов ИИ и их критериальные пороги.

Примечание - СИИ - системы искусственного интеллекта.

5.2 Подготовительные работы - по ГОСТ Р 59898-2021 (7.2.1) с дополнениями, приведенными в настоящем стандарте.

5.3 Требования к тестовым наборам данных - по ГОСТ Р 59898-2021 (9.2) с дополнениями, приведенными в настоящем стандарте.

Примечание - Описание наборов данных для тестирования - по ГОСТ Р 59898-2021 (9.1).

5.4 Дополнительные требования к тестовым наборам данных

5.4.1 Каждый образец тестового набора данных должен состоять из снимка (серии снимков) и разметки, иметь метаданные, содержащие сведения о значениях существенных факторов (см. 5.6).

5.4.2 Статистические характеристики распределений существенных факторов в тестовых наборах данных должны соответствовать статистическим характеристикам распределений существенных факторов в предусмотренных условиях эксплуатации алгоритмов ИИ.

5.4.3 Разметка снимков должна иметь пространственную привязку к соответствующему снимку.

Разметку выполняют методом наземных наблюдений или методом визуального дешифрирования. Требования к квалификации экспертов, выполняющих разметку, устанавливают заказчики испытаний, рекомендуемый уровень квалификации - в соответствии с [4] или [5].

Разметка снимков может быть валидирована по решению заказчиков испытаний.

5.4.4 Тестовые данные могут быть анонимизированы по решению заказчиков испытаний.

Например, тестовые данные могут иметь специально нарушенную пространственную привязку, не позволяющую однозначно определить действительное пространственное расположение зданий. В таком случае для взаимной привязки снимков и разметки может быть создана искусственная пространственная привязка, причем формат снимков после ее создания должен остаться без изменений.

5.4.5 Тестовые данные могут быть расширены методом аугментации и/или путем добавления новых образцов, при этом правила разметки не должны противоречить правилам, примененным при создании базового демонстрационного набора данных, но могут их дополнять.

5.4.6 Форматы снимков тестовых наборов данных должны соответствовать форматам снимков, применяемых в предусмотренных условиях эксплуатации алгоритмов ИИ.

5.5 Демонстрационные наборы данных

5.5.1 Пример базового демонстрационного набора данных для задач сегментации прилагается к настоящему стандарту, состоит из 73 папок, в каждой из которых по 1 снимку размером не менее 500х500 пикселей в формате TIF и по 1 файлу с разметкой в формате GeoJSON.

Примечание - Базовые демонстрационные наборы данных не обладают свойством представительности, т.е. не отражают статистические распределения существенных факторов в предусмотренных условиях эксплуатации алгоритмов ИИ (см. ГОСТ Р 59898-2021, 9.2).

5.5.2 Дополнительные демонстрационные наборы данных могут быть сформированы заказчиками испытаний в случае оценки соответствия второй и третьей сторонами.

5.6 Существенные факторы

5.6.1

Перечень существенных факторов определяют заказчики испытаний в зависимости от специфики решаемой задачи, для которой планируется применять алгоритмы ИИ.

Пример существенных факторов приведен в таблице 1.

Таблица 1

Существенный фактор	Диапазон возможных значений*
Пространственное разрешение, м	Выбирают исходя из разрешений средств
Спектральное разрешение	дистанционного зондирования Земли, космические
Радиометрическое разрешение, бит/пиксель	снимки от которых предполагается обрабатывать с помощью оцениваемых алгоритмов ИИ
Угол съемки от надира, град	Выбирают исходя из параметров орбиты тех космических аппаратов, на которых установлены средства дистанционного зондирования Земли, и из возможностей отклонения средств дистанционного зондирования Земли от направления в надир
Угол падения солнечных лучей от надира, град	Выбирают исходя из широты той местности, на которой планируется распознавать здания, а также из времени года и суток космической съемки, материалы которой планируется использовать
Сезон съемки	Выбирают исходя из времени года космической съемки, материалы которой планируется использовать
Контрастность зданий по отношению к подстилающей поверхности (фону)	Выбирают исходя из тех задач, которые планируется решать
Этажность зданий	Выбирают исходя из параметров тех зданий,
Площадь зданий, м	которые планируется распознавать на космических снимках
Плотность застройки**
* Диапазоны значений существенных факторов уточняют с учетом информационных возможностей используемых сенсоров и специфики решаемых задач, причем тестовые наборы данных должны быть скорректированы соответствующим образом для обеспечения представительности оценивания функциональной корректности алгоритмов ИИ. ** См. [2], приложение Б.

5.6.1.1 Пространственное разрешение

Пространственное разрешение снимков определяет характерный размер деталей и признаков зданий, доступных для распознавания на нем. Сенсоры на существующих космических аппаратах позволяют получать снимки в фиксированном диапазоне пространственных разрешений и представлены конечным множеством дискретных значений.

Для корректной работы алгоритмов ИИ необходимы снимки с разрешением, пропорциональным размеру распознаваемых зданий, т.е. чтобы меньший линейный размер здания (например, 15 м) соответствовал минимум от 3 до 5 пикселям. Например, использование снимков с пространственным разрешением более 3 м возможно только для определения крупных зданий.

5.6.1.2 Спектральное разрешение

От спектрального разрешения зависит возможность распознавания зданий на снимках. Спектральное разрешение определяется шириной и количеством спектральных зон съемки. Чем шире зоны и меньше зон использовано для проведения съемки, тем ниже спектральное разрешение и меньше вероятность правильного распознавания интересующих объектов.

5.6.1.3 Радиометрическое разрешение

Радиометрическое разрешение снимков влияет на возможность распознавания зданий, имеющих близкие спектральные отражательные характеристики, и слабоконтрастных зданий: близкие по тону пиксели разных зданий на снимках могут быть преобразованы в одинаковые значения при снижении радиометрического разрешения.

Существует два основных множества: первичные данные по ГОСТ Р 59753-2021 (статья 75) с радиометрическим разрешением от 10 до 14 бит/пиксель и данные, прошедшие обработку, по ГОСТ Р 59753-2021 (статья 76) с радиометрическим разрешением 8 бит/пиксель.

Радиометрическое разрешение выбирают в зависимости от специфики решаемой задачи. Допускается использовать оба множества значений радиометрического разрешения. Применение первичных данных позволяет решать задачи более эффективно, но с большими затратами ресурсов.

5.6.1.4 Угол съемки от надира

Угол съемки от надира влияет на возможность распознать на снимках отдельные участки зданий. При увеличении угла съемки от надира возрастает количество участков зданий, закрытых соседними высокими объектами, а также ширина полосы захвата космического аппарата дистанционного зондирования Земли.

5.6.1.5 Угол падения солнечных лучей от надира

Угол падения солнечных лучей влияет на возможность распознать на снимках тени, являющиеся косвенными дешифровочными признаками для зданий.

5.6.1.6 Сезон съемки

Сезон съемки влияет на спектральные отражательные характеристики зданий на снимках. Например, значительные изменения снимков зданий вызваны наличием снежного покрова зимой и его отсутствием летом.

5.6.1.7 Контрастность зданий по отношению к подстилающей поверхности (фону)

Контрастность зданий по отношению к подстилающей поверхности (фону) влияет на возможность распознавания зданий на снимках. Чем выше контрастность, тем выше вероятность распознавания зданий на снимках.

5.6.1.8 Этажность зданий

Этажность зданий с учетом угла съемки от надира влияет на возможность распознавания зданий на снимках:

- крыши более низких зданий, как правило, закрыты соседними высокими зданиями;

- увеличивается видимая область стены здания, которая может сливаться с крышей здания.

5.6.1.9 Площадь зданий

Площадь распознаваемых зданий непосредственно связана с разрешающей способностью сенсоров: чем выше пространственное разрешение снимков, тем меньше средняя площадь зданий, которые могут быть распознаны.

5.6.1.10 Плотность застройки

Плотность застройки с учетом средней площади и высоты зданий определяет характерный паттерн застройки (контекст, косвенные дешифровочные признаки), влияющий на возможность распознавания зданий.

5.6.2 Статистические характеристики распределения существенных факторов устанавливают заказчики испытаний исходя из предусмотренных условий эксплуатации алгоритмов ИИ с учетом существенных факторов, перечисленных в таблице 1. Дополнительные данные приведены в ГОСТ Р 59898-2021 (7.2.1.4).

5.7 Программа и методика испытаний

5.7.1 При составлении программы и методики испытаний следует руководствоваться ГОСТ 19.301, ГОСТ Р 59795-2021 (5.13), ГОСТ Р 59898-2021 (7.1.1) и дополнениями, приведенными в настоящем стандарте.

5.7.2 Перечень проверок, включаемых в программы и методики испытаний, зависит от специфики тех задач, для решения которых применяют алгоритмы ИИ.

6 Тестирование и оценка показателей

6.1 Испытания алгоритмов ИИ проводят по разработанным в соответствии с 5.7 программам и методикам испытаний.

6.2 Испытания алгоритмов ИИ рекомендуется проводить в следующем порядке:

а) на вход алгоритмов ИИ подают снимки из тестовых наборов данных;

б) результаты работы алгоритмов ИИ регистрируют и сравнивают с разметкой тестовых наборов данных;

в) рассчитывают показатели функциональной корректности алгоритмов ИИ;

г) по результатам проведения испытаний оформляют протокол испытаний.

6.3 Показатели для оценки функциональной корректности алгоритмов ИИ выбирают исходя из специфики решаемой задачи на усмотрение заказчика испытаний. Ниже приведены примеры показателей для различных задач распознавания зданий.

6.3.1 В задачах бинарной классификации (здание/нездание на снимке) могут быть использованы такие показатели, как:

- точность (precision);

- полнота (recall);

- F-мера.

Точность, полноту и F-меру рассчитывают по формулам (14), (15) и (17) ГОСТ Р 59898-2021 соответственно, причем:

- TP - количество истинно положительных исходов: объект классифицирован как здание по результатам работы алгоритма ИИ и является зданием в разметке;

- TN - количество истинно отрицательных исходов: объект классифицирован как нездание по результатам работы алгоритма ИИ и не является зданием в разметке;

- FN - количество ложноотрицательных исходов: объект классифицирован как нездание по результатам работы алгоритма ИИ и является зданием в разметке.

6.3.2 В задачах классификации с локализацией могут быть использованы, например, показатели для оценки:

- классификации: точность (precision), полнота (recall), F-мера (см. 6.3);

- достоверности местоположения ограничивающей рамки - отношение пересечения над объединением (Intersection over Union, loU).

Отношение пересечения над объединением loU рассчитывают по формуле

, (1)

где S - площадь;

A - ограничивающая рамка здания по результатам работы алгоритма ИИ;

B - ограничивающая рамка здания из разметки.

Отношение площадей ограничивающих рамок может принимать значения от 0 до 1, причем значение 1 соответствует наиболее эффективному качеству работы алгоритмов ИИ.

6.3.3 В задачах детекции могут быть использованы, например, показатели для оценки:

- достоверности местоположения ограничивающих рамок - усредненное по всем классам отношение пересечения над объединением loU (см. 6.3);

- классификации по всем классам - усредненная по всем классам величина средней точности (mean average precision).

Среднюю точность по каждому классу APr рассчитывают по формуле

, (2)

где Pr - точность при условии, что ограничивающая рамка определена достоверно (т.е. значение loU выше определенного уровня);

Re - полнота при условии, что ограничивающая рамка определена достоверно (т.е. значение loU выше определенного уровня).

Затем среднюю точность усредняют по всем классам.

Средняя точность и усредненная по всем классам средняя точность могут принимать значения от 0 до 1, причем значение 1 соответствует наиболее эффективному качеству работы алгоритмов ИИ.

6.3.4 В задачах сегментации для оценки классификации могут быть использованы такие показатели, как:

- усредненная по всем классам попиксельная точность;

- усредненная по всем классам попиксельная полнота;

- усредненная по всем классам попиксельная F-мера.

Попиксельную точность, попиксельную полноту и попиксельную F-меру по каждому классу рассчитывают по формулам (14), (15) и (17) ГОСТ Р 59898-2021 соответственно, причем:

- TP - количество истинно положительных исходов: совокупность пикселей снимка, классифицированных как относящиеся к зданиям по результатам работы алгоритма ИИ, принадлежит к зданиям в разметке;

- TN - количество истинно отрицательных исходов: совокупность пикселей снимка, классифицированных как не относящиеся к зданиям по результатам работы алгоритма ИИ, не принадлежит к зданиям в разметке;

- FN - количество ложноотрицательных исходов: совокупность пикселей снимка, классифицированных как не относящиеся к зданиям по результатам работы алгоритма ИИ, принадлежит к зданиям в разметке.

В задачах сегментации для оценки локализации может быть использован, например, показатель - усредненное по всем классам отношение пересечения над объединением (см. 6.3.1), причем:

- A - множество пикселей, принадлежащих к целевому классу по результатам работы алгоритма ИИ;

- B - множество пикселей, принадлежащих к целевому классу в разметке.

6.4 Протоколы испытаний должны включать информацию по ГОСТ ISO/IEC 17025-2019 (7.8.2.1), а также следующую информацию:

- статистические характеристики распределения существенных факторов;

- сведения о тестовых наборах данных, в том числе количество снимков, значения и характеристики распределения существенных факторов;

- полученные оценки показателей функциональной корректности.

Протоколы испытаний оформляют по ГОСТ Р 58973-2020 (раздел 5).

7 Анализ и интерпретация результатов испытаний

7.1 Критерии качества устанавливают заказчики испытаний в зависимости от специфики тех задач, для которых планируется применять алгоритмы ИИ.

7.2 При проведении сравнительных оценок нескольких алгоритмов ИИ в дополнение к требованию по ГОСТ Р 59898-2021 (7.2.2.5) следует учитывать характеристики распределения существенных факторов тестовых наборов данных.

7.3 С помощью полученных результатов испытаний можно решить следующие задачи:

- ранжирование алгоритмов ИИ по качеству;

- сравнение результатов работы алгоритмов ИИ с заданным порогом качества;

- сравнение результатов работы алгоритмов ИИ с качеством, обеспечиваемым человеком-оператором.

Библиография