ГОСТ Р ИСО/МЭК 29794-1-2012 Информационные технологии. Биометрия. Качество биометрических образцов. Часть 1. Структура

ГОСТ Р ИСО/МЭК 29794-1-2012

Группа П85

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Информационные технологии

БИОМЕТРИЯ

Качество биометрических образцов

Часть 1

Структура

Information technology. Biometrics. Biometric samples quality. Part 1. Framework

ОКС 35.040

Дата введения 2013-07-01

Предисловие

1 ПОДГОТОВЛЕН Научно-исследовательским и испытательным центром биометрической техники Московского государственного технического университета имени Н.Э.Баумана (НИИЦ БТ МГТУ им.Н.Э.Баумана) на основе собственного перевода на русский язык англоязычной версии стандарта, указанного в пункте 4, при консультативной поддержке Ассоциации автоматической идентификации "ЮНИСКАН/ГС1 РУС"

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 355 "Технологии автоматической идентификации и сбора данных и биометрия"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 сентября 2012 г. N 351-ст

4 Настоящий стандарт идентичен международному стандарту ИСО/МЭК 29794-1:2009 "Информационные технологии. Качество биометрического образца. Часть 1. Структура" (ISO/IEC 29794-1:2009 "Information technology - Biometric sample quality - Part 1: Framework", IDT).

________________

* Доступ к международным и зарубежным документам, упомянутым в тексте, можно получить, обратившись в Службу поддержки пользователей. - .

Наименование настоящего стандарта изменено относительно наименования указанного международного стандарта для приведения в соответствие с ГОСТ Р 1.5-2012 (пункт 3.5).

При применении настоящего стандарта рекомендуется использовать вместо ссылочных международных стандартов соответствующие им национальные стандарты, сведения о которых приведены в дополнительном приложении ДА

5 ВВЕДЕН ВПЕРВЫЕ

6 ПЕРЕИЗДАНИЕ. Январь 2019 г.

7 Некоторые элементы настоящего стандарта могут быть объектами патентных прав. Организации ИСО и МЭК не несут ответственности за установление подлинности каких-либо или всех таких патентных прав

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

Введение

Комплекс стандартов ИСО/МЭК 29794 (далее ИСО/МЭК 29794) имеет заголовок "Информационные технологии. Биометрия. Качество биометрических образцов" и включает в себя следующие части:

- часть 1 - Структура;

- часть 4 - Данные изображения отпечатка пальца (технический отчет);

- часть 5 - Данные изображения лица (технический отчет).

Последующие части ИСО/МЭК 29794 будут посвящены другим биометрическим модальностям, определенным в комплексе стандартов ИСО/МЭК 19794 (далее ИСО/МЭК 19794), причем номера и названия частей ИСО/МЭК 29794 будут соответствовать номерам и названиям частей ИСО/МЭК 19794. Поскольку настоящий стандарт распространяется на все биометрические модальности, наличие специальной части ИСО/МЭК 29794, описывающей использование показателей качества для конкретной биометрической модальности, не требуется.

В последующих версиях каждой из частей ИСО/МЭК 19794 будут содержаться нормативные ссылки на настоящий стандарт и соответствующие обновленные поля данных.

Измерение качества рекомендуется для нескольких приложений в области биометрии. В ИСО/МЭК 19794-1 определена структура и представлены рекомендации по распределению показателей качества по группам, а ИСО/МЭК 29794 устанавливает и описывает методы объективной количественной оценки качества, интерпретацию результатов и их обмен. Настоящий стандарт предназначен для повышения эффективности приложений, а именно:

a) для поддержания конкуренции, новаторства, способности к взаимодействию и совершенствования эксплуатационных характеристик;

b) для предотвращения систематических погрешностей отдельных приложений, модальностей или технологий.

В настоящем стандарте предоставлено несколько способов оценки показателей качества биометрических образцов, использование которых обычно необязательно, но может быть определено как обязательное отдельными профилями приложения или индивидуальными программными реализациями.

Использование данных о качестве биометрических образцов рекомендуется для ряда приложений, например; при оценке качества в режиме реального времени для организации обратной связи в процессе регистрации биометрических образцов с целью повышения эффективности работы и улучшения эксплуатационных характеристик биометрической системы. Комплекс данных о качестве биометрических образцов является важным компонентом стандартизации измерения качества. Поля данных о качестве, в соответствии с подразделом 8.1 будут включены в форматы обмена данными. При наличии заголовка ЕСФОБД для характеристик данных о качестве можно дополнительно использовать элемент данных CBEFF_BDB_quality. Анализ путей улучшения эксплуатационных характеристик биометрической системы может быть выполнен на основе данных о качестве совместно с другими данными. Например, сопоставление данных о качестве с другими показателями системы может использоваться для выявления проблем и определения возможных путей улучшения эксплуатационных характеристик.

1 Область применения

В настоящем стандарте для всех типов биометрических образцов:

- установлены термины и определения, необходимые для определения и измерения качества;

- представлены назначение и методы интерпретации показателей качества биометрических образцов;

- определены формат и расположение полей данных о качестве в форматах обмена биометрическими данными;

- представлены методы разработки наборов данных о биометрических образцах для нормализации показателей качества;

- представлен формат для обмена результатами работы алгоритмов оценки качества.

За рамками области применения настоящего стандарта находятся:

- определение минимальных требований к показателям качества образца, модуля или системы;

- определение эксплуатационных характеристик алгоритмов оценки качества;

- стандартизация алгоритмов оценки качества.

2 Соответствие

Блок данных о качестве соответствует настоящему стандарту в том случае, если он отвечает требованиям, установленным в разделе 8.

3 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты. В случае ссылок на стандарты, у которых указана дата утверждения, необходимо пользоваться только указанной редакцией. В случае, когда дата утверждения не приведена, следует пользоваться последней редакцией ссылочных стандартов, включая любые поправки и изменения к ним:

ISO/IEC 19794-1:2006*, Information technology - Biometric data interchange formats - Part 1: Framework (Информационные технологии. Форматы обмена биометрическими данными. Часть 1: Структура)

________________

* Заменен на ISO/IEC 19794-1:2011.

ISO/IEC 19785-2:2006, Information technology - Common Biometric Exchange Formats Framework - Part 2: Procedures for the operation of the Biometric Registration Authority (Информационные технологии. Единая структура форматов обмена биометрическими данными. Часть 2: Процедуры действий регистрационного органа в области биометрии)

4 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

4.1 точность сбора данных (acquisition fidelity): Точность параметров образца, обусловленная процессом сбора данных.

4.2 отказ регистрации (biometric failure to enrol): Отказ биометрической системы во время регистрации сохранить приемлемый биометрический эталон вследствие нехватки биометрических данных, полученных в процессе регистрации.

Примечание 1 - Нехватка биометрических данных может возникнуть вследствие отказа в получении приемлемого биометрического образца, отказа извлечь приемлемый биометрический признак из образца, или отказа сформировать на основании биометрических признаков приемлемый биометрический эталон.

Примечание 2 - Наиболее актуальное определение представлено в SC 37 NSD2.

4.3 вероятность отказа регистрации (biometric failure to enrol rate): Доля сессий биометрической регистрации, результатом которых становится отказ регистрации по различным причинам за исключением небиометрических.

Примечание 1 - Если знаменатель доли основан на количестве сессий биометрической регистрации, то значение вероятности отказа регистрации окажется выше, чем в том случае, когда знаменатель доли основан на количестве субъектов сбора биометрических данных.

Примечание 2 - Знаменатель доли представляет собой число сессий биометрической регистрации, исключая сессии, которые не завершились по небиометрическим причинам.

Примечание 3 - Наиболее актуальное определение представлено в SC 37 NSD2.

4.4 качество источника (character): Фактор, влияющий на качество образца, связанный с особенностями источника.

4.5 окружающая среда (environment): Окружающая обстановка и условия, в которых производится сбор биометрических данных, включая такие факторы, как квалификация оператора и степень его содействия процессу регистрации.

4.6 точность извлечения данных (extraction fidelity): Элемент точности образца, обусловленный процессом извлечения биометрических признаков.

4.7 внешний показатель качества (extrinsic): Показатель качества, при котором для полноценной интерпретации и нормализации требуется ссылка на внешний источник, например стандарт, журнал записей или технические условия.

4.8 точность (fidelity): Степень соответствия биометрического образца исходной биометрической характеристике.

Примечание - Точность образца включает в себя элементы, присущие одному или нескольким этапам обработки: получение данных, извлечение, обработка сигнала.

4.9 внутренний показатель качества (intrinsic): Показатель качества, передающий полностью интерпретированные нормализованные данные, при котором не требуется дополнительная внешняя информация для нормализации показателя качества.

4.10 интерпретация (interpretation): Процесс анализа показателя качества совместно с иными данными с целью придания этому показателю контекстно-зависимого смыслового содержания.

4.11 вероятность отказа сбора данных (failure to acquire rate): Доля попыток, результатом которых становится отказ получения надлежащего или приемлемого биометрического образца по различным причинам, за исключением небиометрических.

Примечание 1 - Знаменатель доли представляет собой число попыток биометрической регистрации, исключая сессии, которые не завершились по небиометрическим причинам.

Примечание 2 - Наиболее актуальное определение представлено в SC 37 NSD2.

4.12 вероятность ложного совпадения; ВЛС (false match rate; FMR): Доля завершенных попыток сопоставления биометрических образцов и контрольных образцов, результатом которых становится ложное совпадение.

Примечание 1 - Значение, вычисленное для вероятности ложного совпадения, зависит от пороговых значений и иных параметров процесса сравнения и протокола, в котором описаны попытки сопоставления биометрических образцов и контрольных образцов. В частности, подход к сравнению:

- однояйцовых близнецов;

- совершенно разных биометрических характеристик разных личностей, как, например, топография лица и гребни Гальтона (отпечаток пальца);

- разных, но связанных биометрических характеристик одной и той же личности, как, например, данные геометрии контура кистей правой и левой рук требуют тщательного рассмотрения (см. ИСО/МЭК 19795-1).

Примечание 2 - Термин "завершенная попытка" относится к процессам вычисления, необходимым для принятия решения о сравнении, то есть отказ принятия решения исключен.

Примечание 3 - Наиболее актуальное определение представлено в SC 37 NSD2.

4.13 вероятность ложного несовпадения; ВЛНС (false non-match rate; FNMR): Доля завершенных попыток сопоставления биометрических образцов и контрольных образцов, результатом которых становится ложное несовпадение.

Примечание 1 - Значение, вычисленное для вероятности ложного несовпадения, зависит от пороговых значений и иных параметров процесса сравнения и протокола, в котором описаны попытки сопоставления биометрических образцов и контрольных образцов.

Примечание 2 - Термин "завершенная попытка" относится к процессам вычисления, необходимым для принятия решения о сравнении, то есть отказ принятия решения исключен.

Примечание 3 - Наиболее актуальное определение представлено в SC 37 NSD2.

4.14 оператор (operator): Человек, осуществляющий или контролирующий процесс получения или повторного получения биометрического образца пользователя биометрической системы.

4.15 эксплуатационные характеристики (performance): Оценка ВЛС и ВЛНС, вероятности отказа регистрации и вероятности отказа сбора данных биометрической системы.

4.16 качество (quality): Степень, в которой биометрический образец отвечает определенным требованиям целевого приложения.

Примечание - Определенные требования могут предъявляться к таким аспектам качества, как фокус, разрешение и т.д. Неявно выраженные требования к качеству относятся к вероятности получения правильного результата сопоставления.

4.17 показатель качества (quality score): Количественное выражение качества.

4.18 нормализация показателя качества (quality score normalization): Преобразование показателей качества для согласования масштаба и облегчения интерпретации.

4.19 блок данных для нормализации показателя качества; БДНПК (quality score normalization dataset; QSND): Блок данных о биометрических образцах, снабженный комментариями о показателях качества и используемый для нормализации показателей качества.

Примечание - Целевые показатели качества могут быть установлены на основе результатов работы биометрической системы при помощи рассматриваемого образца или могут быть основаны на факторах качества, записанных при составлении блока данных.

4.20 процентильный ранг показателя качества; ПРПК (quality score percentile rank; QSPR): Процентильный ранг показателя качества биометрического образца, полученный из собственного показателя и показателей иных образцов в определенном контрольном блоке данных для нормализации показателя качества (для сравнения - блок данных для нормализации показателя качества, БДНПК).

4.21 необработанный показатель качества (raw quality score): Показатель качества, который не был интерпретирован ни создателем показателя, ни получателем показателя и в действительности не способен самостоятельно предоставить контекстную информацию.

4.22 образец (sample): Интерпретация физической характеристики человека, основанная на изображении, сигнале или шаблоне и используемая для идентификации или верификации на основе биометрических технологий.

4.23 источник (source): Физическая часть или функция тела, представленная биометрическим образцом.

4.24 полезность (utility): Наблюдаемые эксплуатационные характеристики биометрического образца или набора образцов в одной или более биометрических системах.

Примечание 1 - Качество источника образца и точность обработанного образца вносят вклад в полезность образца.

Примечание 2 - Полезность может совмещать измерения эксплуатационных характеристик, как, например ВЛС, ВЛНС, вероятность отказа регистрации и вероятность отказа сбора данных.

5 Обозначения и сокращения

В настоящем стандарте применены следующие обозначения и сокращения:

6 Общие сведения о биометрической системе

Общие сведения о биометрической системе представлены в Постоянно действующем документе 11, ИСО/МЭК СТК 1/ПК 37. Часть 1. Гармонизация стандартов. Общее руководство (Standing Document 11, ISO/IEC JTC 1/SC 37. Part 1. Overview Standards Harmonization Document (SC 37 N-SD11)).

7 Критерии качества биометрического образца

7.1 Базовая модель

Термин "качество" в биометрии применяется для описания нескольких различных свойств биометрического образца, которые вносят вклад в обобщенные эксплуатационные характеристики биометрической системы. В целях стандартизации в настоящем документе установлены термины, определения и базовая модель для определения различий между аспектами качества, представленными на рисунке 1. На рисунке 2 показана взаимосвязь между качеством источника, точностью, качеством, полезностью и эксплуатационными характеристиками системы.

Качество образца зависит от качества источника и компонентов точности.

Полезность отражает воздействие качества единичного образца на эксплуатационные характеристики системы.

Рисунок 1 - Изображение базовой модели качества

Рисунок 2 - Взаимосвязь между качеством и эксплуатационными характеристиками системы

7.2 Элементы качества: качество источника, точность, полезность

Термин "качество" в том виде, в котором он применяется в области биометрии, имеет несколько дополнительных значений, зависящих от контекста. Ниже представлено субъективное определение трех наиболее распространенных значений:

1) качество источника образца. Выражение качества, основанное на признаках источника, от которого получен биометрический образец. Например, низкое качество источника изображения отпечатка пальца в случае наличия пореза на пальце; низкое качество источника изображения радужной оболочки глаза в случае блефароптоза (опущение верхнего века);

2) точность воспроизведения образцом источника, от которого он был получен. Выражение качества, основанное на точности, отражает степень схожести образца и его источника. Точность образца состоит из нескольких элементов точности, представленных разными процессами;

3) полезность образца в рамках биометрической системы. Выражение качества, основанное на полезности, отражает предполагаемый положительный или отрицательный вклад отдельного образца в эксплуатационные характеристики биометрической системы. Качество, основанное на полезности, зависит как от качества источника образца, так и от его точности. Оценка качества, основанного на полезности, используется для того, чтобы сделать эксплуатационные характеристики системы более предсказуемыми, например, в отношении ВЛС, ВЛНС, вероятности отказа регистрации и вероятности отказа сбора данных, чем при оценке качества, основанного только на качестве источника или точности (см. таблицу 1).

Термин "качество" не должен применяться исключительно к параметрам получения образца, как, например, разрешение, размер в пикселях, глубина цвета и глубина цвета в градации серого или количество признаков. Однако данные факторы могут оказать влияние на полезность образца и обобщенный показатель качества.

Качество источника и полезность полученного образца зависят от тех признаков, которые используются компаратором. Например, у одного и того же изображения пальца может быть низкое качество источника и полезность, если используется распознавание минуций (вследствие слишком малого количества минуций), но высокое качество источника и полезность, если используется распознавание по спектральным данным изображения отпечатка пальца.

Таблица 1 - Иллюстрация взаимосвязи между точностью, полезностью и качеством источника

7.3 Практическая значимость данных о качестве

7.3.1 Оценка качества в режиме реального времени

Данные о качестве, поступающие в режиме реального времени, могут быть использованы оператором, автоматической системой или пользователем для улучшения среднего качества образцов, представленных при регистрации. Подобная обратная связь может выявлять качество образца, точность, полезность и возможность совершенствования образца. Таким образом, эксплуатационная эффективность и эксплуатационные характеристики системы могут быть улучшены при содействии оператору или автоматической системе контроля качества в принятии решения:

a) принять образец,

b) отвергнуть образец,

c) повторить сбор данных или

d) заявить об отказе сбора данных или отказе регистрации.

Данные о качестве могут быть сохранены для дальнейшего использования, например для принятия решения о том, нужно ли заменить зарегистрированный образец, когда будет получен следующий образец.

7.3.2 Применение в различных приложениях

Вследствие того, что возможно использование определенного биометрического образца в различных приложениях, данные о его качестве должны быть применимы ко всем этим приложениям. Предполагается выполнение сравнений как один-к-одному, так и один-ко-многим при помощи алгоритмов сравнения, предоставленных различными поставщиками, которые по-разному интерпретируют признаки образца и выдают различные результаты сравнения. Проблема определения универсального стандарта качества состоит в выборе метрики, которую можно применять во всех приложениях, в которых используется конкретный образец, учитывая то, что метрики полезности в разных приложениях различаются. Таким образом, проблема определения единой метрики, которая бы достоверно передавала данные о полезности биометрического образца всем приложениям, в которых он может использоваться, является технической, что следует учитывать при разработке стандартов качества. Метрика качества, которая определяет эксплуатационные характеристики компаратора или группы компараторов, скорее всего, может быть разработана только для определения режима отказа сбора данных и чувствительности ограниченного количества биометрических систем. Возможно, стоит применять несколько метрик для определения различных режимов отказа.

Для получателей данных о показателях качества крайне важно иметь возможность различать показатели, сгенерированные при использовании разных алгоритмов оценки качества и оборудования для сбора данных. Эти данные о показателях качества могут быть применены для настройки программного обеспечения, производящего получение данных, так, чтобы к показателям, сгенерированным разными алгоритмами, можно было бы применить разные пороговые значения или классификации качества. Более того, имея возможность разграничивать показатели, сгенерированные разными алгоритмами, получатель данных может выделить результаты, сгенерированные разными алгоритмами и, исходя из этого, применить эти данные для оптимизации пороговых значений.

7.3.3 Использование данных о качестве как статистических данных об исследовании

Показатели качества могут быть использованы для отслеживания качества функционирования. Например, объединенные показатели качества могут быть сопоставлены с предварительно установленными граничными показателями или с функциональными требованиями. В том случае, если показатели качества сгенерированы при обработке биометрических образцов, собранных из многих источников, или в течение различных периодов времени, то они могут быть применены для распознавания отклоняющегося от нормы действия. Например, если качество изображения лица определяют в отделе по выдаче водительских прав службы регистрации транспортных средств, то упорядоченный перечень объединенных показателей качества следует применять для выявления отделов, которые демонстрируют уровень качества ниже среднего, или для отслеживания тенденции за неделю или месяц.

7.3.4 Суммирование соответствующих статистик

Надежные показатели качества могут быть использованы для исследования пользователей и транзакций для накопления статистик, предоставляющих условные вероятности вида "если есть образец с качеством X, полученный от пальца А, какова вероятность получения образца с качеством Y от пальца А (или пальца В)". С помощью данной информации система и/или оператор определяет, возможно ли получить образец с более высоким качеством при повторном сборе данных.

7.3.5 Улучшение контрольного набора данных

Соотнесение данных о качестве с образцом, который должен быть внесен в контрольный набор данных, необходимо для поддержания и улучшения качества контрольного набора данных. Отслеживание данных о качестве образца может привести к обнаружению потенциального ухудшения подготовки оператора или выявлению ухудшения в эксплуатационных характеристиках оборудования по сбору данных. Отслеживание данных о качестве образца должно занимать существенную часть процесса функционирования биометрической системы. Данные о качестве также могут быть использованы для улучшения качества контрольного файла и, следовательно, эксплуатационных характеристик биометрической системы в целом. Улучшения могут быть произведены путем замены или дополнения, если возможно, сохраненной информации для того, чтобы иметь в распоряжении наиболее качественные данные из доступных. Как правило, решения о замене в системе связаны с характеристиками компаратора, осуществляющего обработку данных.

7.3.6 Выбор обработки на основе качества

Биометрические образцы могут быть обработаны по-разному в зависимости от значений показателей качества. В частности, данные низкого качества могут быть обработаны при помощи нестандартных алгоритмов или порогов.

7.3.7 Обмен данными о качестве между несопоставимыми системами

Стандартизированный обмен данными о качестве между несопоставимыми системами применяется для сохранения способности взаимозаменяемости локальных или удаленных компонентов программного или аппаратного обеспечения систем и для сохранения целостности данных о качестве в случае подобной замены.

Например, при использовании стандартизированного обмена данными о качестве системы получатели данных о качестве от компонента нуждаются в минимальной модификации, если данный компонент заменяется.

8 Определение поля формата обмена данными

8.1 Поля данных

В таблице 2 представлена общая структура блока данных о качестве биометрических данных.

Таблица 2 - Поля данных

Рисунок 3 - Структура поля качества

Показатели качества должны всегда вноситься в поле показателя качества ББД, связанного с образцом, как установлено в ИСО/МЭК 19794. Поля качества ЕСФОБД не должны использоваться вместо полей качества, определенных в ИСО/МЭК 19794; они должны использоваться в качестве дополнительной информации. Применение полей качества ЕСФОБД может быть представлено в любом стандарте ЕСФОБД и не рассматривается в настоящем стандарте. Необходимо отметить, что несколько показателей качества, вычисленных при помощи одного и того же алгоритма, не должны присутствовать в одном и том же ББД.

8.2 Показатель качества

8.2.1 Назначение

Результатом работы алгоритма должны быть показатели качества, определяющие такие эксплуатационные характеристики, как ложное совпадение или ложное несовпадение. В тех случаях, когда в системе используются элементы, предоставленные несколькими поставщиками, при применении метода вычисления показателя качества должны учитываться все аспекты функционирования каждого используемого алгоритма. Как указано в 7.3.2, сложно разработать единую метрику качества, которая была бы универсальной, не зависела от поставщика и при этом надлежащим образом описывала эксплуатационные характеристики, поэтому может быть полезным применение более одного алгоритма оценки качества.

8.2.2 Факторы, которые необходимо учитывать при преобразовании данных

Преобразование данных, производимое приложением, способно оказать воздействие на качество данных (например, субдискретизация или дальнейшее сжатие). Воздействие подобных преобразований на качество данных может быть вычислено заново прикладной системой в соответствии с руководством, представленным в настоящем стандарте. Каждый раз, когда биометрический образец подвергается преобразованию, качество преобразованного образца должно быть заново оценено и сопоставлено с преобразованным образцом. Так, во всей системе управления идентификацией биометрический образец может храниться в нескольких форматах (например, изображение отпечатка пальца с высоким разрешением может храниться в основном накопителе, а представление отпечатка пальца на основе минуций может храниться на смарт-карте).

8.2.3 Режимы отказа

Для контролирования эксплуатационных характеристик разработчику алгоритмов следует создать показатели качества, с помощью которых можно моделировать известные режимы отказа или изменять чувствительность биометрического компаратора и алгоритмов обработки изображений/сигналов. В дальнейшем для достижения некоторой степени общности показатель качества должен быть основан на наборе чувствительностей, которые были бы общими для систем определенного класса (например, систем сопоставления минуций).

8.2.4 Разрешающая способность

В устройстве по оценке качества должны использоваться по крайней мере четыре значения, которые соответствуют следующим уровнями эксплуатационных характеристик: "отличный", "достаточный", "минимально допустимый" и "неприемлемый".

8.2.5 Суммирование

В приложении В представлены процедуры объединения показателей качества, основанных на полезности множества образцов, например суммирование по всей компании. Результатом становится суммарное значение показателя качества, с помощью которого можно оценивать качество. Суммирование показателей качества должно осуществляться в рамках области использования, например суммирование показателей качества всех зарегистрированных образцов организации или суммирование показателей качества всех верификационных образцов организации. В операциях, когда пользователи часто контактируют с биометрической системой (приложения учета рабочего времени), показатели качества могут объединяться для каждого пользователя в отдельности. Такой подход позволит выявить пользователей, которые предоставляют образцы низкого качества.

8.3 Идентификация алгоритма оценки качества

8.3.1 Общие сведения

ИАОКиспользуется для вычисления показателя качества образца. Поскольку единого критерия оценки качества не существует, крайне важно предоставить получателю ЗБИ возможность различать показатели качества, сгенерированные разными алгоритмами оценки качества, и вносить поправки по необходимости в соответствии с отличиями в обработке и анализе. В реестре ИАОК должна быть ссылка с указанием поставщика и номера версии идентифицированного алгоритма оценки качества. Использование ИАОК является удобным, но не позволяет решить все задачи стандартизации показателей качества.

8.3.2 Методология

Следующие положения обязательны для данного метода:

Если показатель качества не оценивается, то значение поля "Количество блоков данных о качестве" равно 0 и блоки качества отсутствуют. В том случае, если значение числа блоков данных о качестве находится в пределах между 1 и 255, ИАОК и идентификатор поставщика алгоритма оценки качества, используемого для генерации показателя, должны быть внесены в соответствующие поля (таблица 2). Применение данного метода не исключает, а дополняет дальнейшие работы по стандартизации универсального метода оценки показателя качества (то есть создание показателя, который по своей природе заключает в себе некоторую степень нормализации), такого как НДНПК (см. раздел 9).

Особенность метода идентификации алгоритма оценки качества состоит в том, что получателю данных о необработанных показателях следует провести локальный анализ и/или обработку данных для получения полноценной интерпретации показателей. Другими словами, посылающий данные о показателе не интерпретирует показатель качества для потенциально неизвестного приложения или получателя. Поставщик алгоритма оценки качества может предоставить информацию о том, каким образом устанавливается показатель качества, а получатель - разработать надлежащие средства по автоматическому проведению различий между показателями, сгенерированными разными алгоритмами оценки качества, и интерпретировать их должным образом.

8.4 Стандартизированный обмен результатами работы алгоритмов оценки качества

Поставщики алгоритмов оценки качества должны иметь возможность предоставить биометрическому обществу стандартизированные результаты работы своих алгоритмов оценки качества. С другой стороны, потребители, использующие записи обмена данными, соответствующие ИСО/МЭК 19794, имеют возможность получить и обработать информацию так, чтобы оценить значение выходных данных этого алгоритма оценки качества при использовании. У данного подхода существуют следующие преимущества:

- поставщики и потребители алгоритмов оценки качества имеют возможность извлекать пользу из технических усовершенствований, необходимых на начальной стадии распространения системы показателей качества;

- в некоторых приложениях произведенные обновления могут извлекаться автоматически при наличии необходимой инфраструктуры;

- попытка оценки, связанная с идентификацией алгоритма оценки качества, перейдет обратно от потребителя или интегратора к поставщикам алгоритма оценки качества (которые в любом случае производят оценку);

- происходит развитие и совершенствование стандартизированных наборов тестов, так как:

1) в интересах поставщика алгоритмов оценки качества использовать набор (наборы) тестов, которым пользуются потребители,

2) со временем потребность в новых наборах тестов отпадет, а применение подобных наборов тестов будет тщательно анализироваться биометрическим сообществом;

- совершенствование наборов тестов будет способствовать развитию НДНПК.

Для осуществления обмена необходимы:

- идентификатор поставщика алгоритма оценки качества;

- ИАОК;

- минимальное и максимальное теоретические значения выходных данных алгоритма,

- уникальное имя применяемого набора тестов, например "FERET-grayscale" в случае распознавания лица;

- перечень образцов, которые были обработаны, например для базы данных FERET "Duplicate 1" в случае распознавания лица.

Каждый получит возможность публиковать новые наборы тестов (биометрические образцы совместно со схемой наименований).

Самоописываемый язык, например XML, будет использоваться для описания наборов данных и результатов оценки. Результаты оценки могли бы содержаться в основном реестре или на сайте поставщика, доступ к которому осуществляется посредством ссылки, размещенной в основном реестре.

Пример реализации языка с использованием языка XML приведен в приложении В настоящего стандарта.

9 Нормализация

Нормализация данных о показателях качества - это процесс, при помощи которого данные о показателе качества обрабатываются их получателем, для того чтобы показатели качества, сгенерированные разными алгоритмами, имели одинаковое смысловое значение.

В результате работы алгоритма оценки качества биометрическому образцу присваивается необработанный показатель качества. В целях интерпретации необработанного показателя получателю показателя необходимо иметь в своем распоряжении некоторую контекстную информацию о нем, которая предоставляется из следующих источников.

1 Внешние источники в форме метаданных или автономных данных (например, стандарт), представляющие собой руководство по интерпретации показателя. Если показатель качества сопровождается идентификатором алгоритма, примененного для генерации показателя качества соответствующего образца (например, ИОАК), то программное обеспечение получателя следует настроить для использования данных, предоставленных поставщиком (например, с помощью предложенных порогов) для наилучшей обработки образца. Также алгоритм может быть применен для осуществления анализа, в результате которого происходит полноценная оптимизация интерпретации показателей при наличии локальных приложений и данных. С помощью идентификации алгоритма показатели, созданные разными алгоритмами, могут быть дифференцированы таким образом, что к образцу применяются разные пороги в зависимости от источника показателя качества.

2 Внутренние источники в форме нормализированного показателя качества. Посредством нормализации данных о показателе качества предоставляется контекстная информация о показателе. Примером является показатель качества, представляющий собой вероятность того, что результатом сопоставления образца станет ложное несовпадение.

Использование ИАОК позволяет осуществлять заданное поставщиком масштабирование. Например, получатель файла прибегнет к анализу степени взаимосвязи показателей качества с ВЛС и ВЛНС образцов, обработанных его компаратором. Результат может быть использован, например, для определения пороговых значений допуска. Данный метод обеспечивает получателя информацией, которая необходима для интерпретации показателей в соответствии с условиями эксплуатации и приложением получателя, и предоставляет возможность применять в одной и той же системе множество разных алгоритмов или версий алгоритмов.

С помощью совокупности данных по нормализации показателя качества осуществляется представление соответствующей интерпретации показателей качества посредством нормализации показателей качества или ПРПК. ПРПК обеспечивает универсальное выражение и интерпретацию количественного показателя качества образца, которая состоит в том, что на выходе алгоритма оценки качества "X", обрабатывающего образец "Y", получается процентильный ранг качества "Z". Перевод необработанных показателей качества в показатели процентильного ранга достигается путем обработки совокупности стандартизированных образцов алгоритмом оценки качества и попарного соединения всех возможных выходных необработанных показателей качества с показателями процентильного ранга.

Более подробная информация представлена в приложении А.

Приложение А
(справочное)

Процедуры построения набора данных для нормализации показателя качества

А.1 Общие сведения о наборе данных для нормализации показателя качества

Цель метода стандартизации при помощи НДНПК - обеспечение согласующейся и допускающей взаимодействие интерпретации показателей качества. Для достижения поставленной цели необходима стандартизация набора(ов) данных и обеспечение каждой биометрической модальности собственным набором(ами) данных. Для каждого набора данных необходимо определить несколько классов показателей, с каждым из которых сопоставляется диапазон показателей качества. Данные о нескольких образцах, попадающие в каждый класс, собираются и вносятся в стандарты, предназначенные для разработчиков алгоритмов и получателей (пользователей) показателей качества. Поставщикам алгоритмов рекомендуется модифицировать или предоставить такую функцию преобразования, чтобы выходные данные алгоритмов качества согласовывались с рекомендуемым диапазоном показателя для данных о каждом образце, предоставленном в базе данных стандарта. Однако при наличии более одной версии стандартизированного набора данных важно предоставить сведения о том наборе данных, который используется для нормализации показателя качества. В дальнейшем набор данных вносится в стандарт и становится доступным для разработчиков и получателей (пользователей) показателей качества.

В настоящем приложении установлена процедура составления контрольной базы данных, ориентированной на эффективность. Результатом выполнения процедуры является набор образцов, снабженный целевым показателем качества. Результат является классификацией согласованных показателей схожести, полученных от множества компараторов. Подобные контрольные наборы используются при такой нормализации показателя качества, сгенерированного разными алгоритмами оценки качества, что показатели качества от разных алгоритмов оценки качества могут быть единообразно интерпретированы в рамках целесообразного диапазона. Метод применяется при настройке алгоритма оценки качества в соответствии с условиями эксплуатации, когда известны тип компаратора и тип данных. Разработчики алгоритма оценки качества, выполняющие общую задачу, также могут использовать данный метод. Входными данными для процедуры является репрезентативная база данных образцов. Выходными данными является сопоставленный каждому образцу целевой скалярный показатель качества. Метод предполагает доступность репрезентативного алгоритма сопоставления, который используется для сопоставления образов для создания как истинного, так и ложного показателя схожести. Таким образом, подразумевается, что на каждого человека может приходиться два и более образцов.

А.2 Данные

Данные, собранные в целевом рабочем приложении, являются наиболее показательными. Рекомендуется создать контрольный набор с большей долей образцов, представляющих сложность для компаратора, чем присутствует в генеральной совокупности. Контрольный набор образцов должен быть максимально сбалансирован, например, в случае с отпечатками пальцев - в отношении положения пальца (правый/левый указательный/большой/средний), типа отпечатка (прокатный/оттисковый), пола, возраста и сканера отпечатков пальцев. Недостаточное количество данных делает создание сбалансированного набора данных проблематичным.

В некоторых областях использование предлагаемого метода полностью зависит от стандартизации наборов данных биометрических образцов и их доступности. Наборы данных, как минимум, должны формироваться таким образом, чтобы: 1) оставалось достаточно места для хранения файлов, 2) осуществлялась защита целостности сохраненных в наборе данных файлов и 3) обеспечивалась безопасность файлов посредством контроля доступа к ним квалифицированных работников.

А.3 Присвоение целевого показателя качества

Каждому изображению, находящемуся в контрольном наборе данных, необходимо присвоить основанный на эффективности показатель качества. Соответствующие показатели схожести гарантируют эффективность показателей качества. Рассмотрим биометрический набор данных, содержащий 2 образцов, , , ..., , для каждого из субъектов 1, ..., , где каждое изображение содержит лишь одну характеристику, например изображение лишь одного пальца или одной радужной оболочки. При помощи данной процедуры присваиваются значения качества , , ..., , 1, ..., всем изображениям в контрольном наборе данных.

| Для каждого компаратора , 1, ..., , из доступных компараторов и каждой записи экземпляра (то есть -го образца субъекта ) необходимо:

1) сгенерировать набор всех возможных парных показателей сравнения при помощи -го компаратора:

1, ..., ; , ..., ; (1)

1, ..., ,

где - -й из всех доступных 1, ..., компараторов.

В результате получаем элементов в наборе , где для каждого образца субъекта присутствует парных сопоставлений.

При этом полагаем, что генерируются несимметричные показатели сравнения, то есть

.

Если появляются симметричные показатели сравнения, то следует осуществлять процедуру с использованием лишь половины показателей сравнения;

2) сгенерировать набор непарных показателей сравнения при помощи -го компаратора посредством сравнения образцов, взятых у индивида , и образцов, взятых у всех 1, ...., и остальных индивидов:

1, ..., ; 1, ..., ; (2)

1, ..., ; 1, ..., ; .

В результате получаем непарных показателей сравнения для образца ;

3) внести (, ) в набор , если его парные показатели сравнения больше, чем все его непарные показатели сравнения, то есть

, , ,

это состояние ранга 1;

4) вычислить целевую степень полезности для образца таким образом:

, (3)

где является средним значением парных показателей сравнения образца , вычисленным следующим образом:

, (4)

а является средним значением непарных показателей сравнения образца , вычисленным следующим образом:

, (5)

схожесть является стандартным отклонением парных показателей сравнения образца , вычисленным следующим образом:

, (6)

а является стандартным отклонением парных показателей сравнения образца , вычисленным следующим образом:

. (7)

Как только все целевые показатели степени полезности (1, ..., и 1, ..., ) вычислены, необходимо осуществить следующие процедуры.

a) Вычислить две эмпирические суммирующие функции распределения - одну для парных показателей сравнения высшего ранга набора :

, (8)

а другую для тех показателей, которых нет в наборе:

. (9)

Данные суммирующие функции распределения изображены на рисунке А.1 на примере изображений указательных пальцев правой руки, полученных методом прямого сканирования 6000 субъектов, и показателях коммерческого компаратора отпечатков пальцев, где 2 для всех 1, ..., 6000.

b) Выбрать разрешающую способность целевого показателя качества (). Этой разрешающей способностью является количество уровней качества для целевого показателя качества, и поэтому целевые показатели качества представляют собой значения 1, ..., , где 1 является наименьшим показателем качества, a - наибольшим показателем качества. Значение может равняться любому целому числу от 2 до 100, например 5. Следует отметить, что чем больше значение , тем больше образцов (большее ) требуется для верного присвоения показателей качества.

c) Сгруппировать целевые показатели полезности образцов в ячейках, основанных на квантилях распределений и целевых показателей в уравнениях (8) и (9). Границы ячеек могут быть выбраны таким образом, чтобы стать точками перегиба функций суммирующего распределения, то есть и . Один из вариантов, для 5, представлен в таблице А.1, где и являются квантильными функциями, а и обозначают эмпирически полученные наименьшее и наибольшее значения, соответственно (аналогично и ); и являются надлежащими процентильными точками, выбранными на основании формы . Границы ячеек при 0,25 и 0,75 представлены на рисунке А.1.

d) Образцу необходимо присвоить целевое качество , соответствующее ячейке его целевого показателя полезности из уравнения (3).

Процедура применяется ко всем образцам , 1, ..., , 1, ..., и всем компараторам. Поскольку распределение парных показателей сравнения и непарного показателя сравнения одного образца отличается от распределения парных показателей сравнения и непарного показателя сравнения другого образца, у разных образцов от одного и того же субъекта могут быть разные целевые показатели полезности и, следовательно, разные целевые показатели качества.

II Необходимо объединить результаты группировки для всех компараторов. Выбор функции объединения зависит от того, желательно ли и, если желательно, то до какой степени, обобщение целевых показателей качества. Ниже представлен перечень возможных вариантов:

a) единогласие. Образцы, которым всеми компараторами присвоены одинаковые показатели качества, становятся элементами контрольного набора данных о качестве. Образцы, не получившие единогласного решения, могут быть отвергнуты;

b) медианная или иная определенная процентильная точка. Образцы, которым более процентов компараторов присвоили одинаковые показатели качества, становятся элементами контрольного набора данных о качестве. Остальные образцы могут быть отвергнуты. Стоит отметить, что 100 означает единогласие, а если 50, то применяется правило решения большинством голосов;

c) среднее арифметическое. Конечный целевой показатель качества каждого из образцов представляет собой среднее арифметическое присвоенных компараторами показателей качества.

Таблица А.1 - Группировка целевых показателей полезности

Примечание - Вертикальные линии показывают один из способов группировки нормализированных показателей сравнения

Рисунок А.1 - Эмпирические и интегральные функции распределения истинных и ложных показателей

А.4 Размер набора данных для нормализации показателя качества

Набор данных для нормализации показателя качества должен быть достаточно большим, чтобы его можно было использовать как для обучения, так и для испытания различных собственных алгоритмов оценки качества с целью нормализировать выходные данные. Они должны соответствовать категориям НДНПК, представленным в настоящем стандарте. Размер образца в случае контролируемого испытания может быть оценен следующим образом:

, (10)

где - типичная ошибка (шум); - наименьший полезный эффект (сигнал).

Поскольку количество категорий равно четырем, можно принять 1, так как при переходе от одной категории к соседней величина изменяется на единицу. Наиболее распространенная ошибка заключается в неверном размещении показателя качества в ближайшей к нему категории, вместо правильной категории, что дает 2. Таким образом, на основании уравнения (10) минимальный требуемый размер набора данных на категорию составляет 128 или 512 для НДНПК. Половина набора данных может быть использована для обучения, а вторая половина - для испытания. Подход, заключающийся в двойной перекрестной проверке, может быть использован для вычисления общей вероятности ошибки для случая, когда наборы тестов для обучения и испытания меняются местами и средняя вероятность ошибки вычисляется на основе выходных данных каждого набора тестов, как предлагается в литературе, посвященной статистике и машинному обучению.

Приложение В
(справочное)

Пример стандартизированного обмена результатами работы алгоритмов оценки качества

Ниже представлен пример кодирования в XML для поставщика "SampleVendor" с id = 123, публикующего результаты алгоритма "SampleAlgo_v10" с id = 456 на наборе тестов "FERET-grayscale" и "FERET-color".

Приложение С
(справочное)

Процедуры для объединения показателей качества, основанных на полезности

С.1 Назначение

В приложении С представлены процедуры объединения показателей качества, основанных на полезности, по множеству образцов, например суммирование по всей организации. Результатом становится суммарное значение, позволяющее контролировать качество. Суммирование качества должно осуществляться в рамках соответствующего применения, например суммирование показателей качества всех зарегистрированных образцов организации, или суммирование показателей качества всех верификационных образцов организации. В операциях, когда пользователи часто контактируют с биометрической системой (приложение учета рабочего времени), показатели качества могут быть объединены для каждого пользователя в отдельности. Такой подход позволит выявить исполнителей, систематически предоставляющих образцы низкого качества.

С.2 Метод

Предположим, некоторая организация собирает отпечатки пальцев и вычисляет степень качества каждого из них при помощи алгоритма оценки качества. При этом показатели качества разбиты на уровней (без ограничения общности) так, что 0, ..., , где 0 и указывают наименьшее и наибольшее значения показателей качества соответственно. Если количество отпечатков, собранных за некоторый период в оперативной обстановке, равно и включает отпечатков качества , то можно вычислить средний показатель качества всех образцов. Однако среднее арифметическое не является предпочтительным способом суммирования показателей качества, так как при этом все образцы, независимо от их показателей качества, имеют одинаковое весовое значение. Если, напротив, прогнозируемой полезностью отпечатка пальца с качеством является , то итоговый показатель качества предпочтительнее вычислять по формуле

. (11)

Если значение полезности по сути является оценкой вероятности ложного недопуска для образцов с показателем качества контрольной системы по верификации с использованием отпечатков пальцев, работающей с использованием некоторого порога, то является оценкой ожидаемой вероятности отказа. Далее представлена процедура для вычисления значения полезности для различных уровней алгоритма оценки качества, при использовании которой суммарный показатель качества представляет собой оценку ожидаемой вероятности ошибки.

Предположим, что биометрический набор содержит пар изображений, полученных от субъектов. Первый образец представляет собой регистрационный образец, а второй - аутентификационный образец. Показатели качества образцов являются целочисленными и для 1, ..., . Применяя алгоритмов сравнения, получаем

- показателей истинной схожести и

- вплоть до показателей ложной схожести при , где 1, …, и 1.

1 Для всех алгоритмов сравнения и показателей качества вычисляется ВЛНС (, ) аутентификационных образцов с качеством с регистрационными образцами с качеством, равным или большим при пороге срабатывания при помощи показателей истинной схожести алгоритма сравнения . При этом считается, что чем выше показатель качества, тем выше качество

для (1, ..., )

для (1, ..., )

(12)

конец цикла,

результатом чего становится следующий массив данных

2 Вычисляется весовое значение :

. (13)

Таким образом, объединенный показатель качества по всей организации:

, (14)

где - апостериорные вероятности, указанные выше.

В качестве вероятностей данные значения не входят в известный пользователям диапазон. Стоит отметить, что если бы качество всех образцов было бы наивысшей степени (то есть ), то результатом было бы . Аналогично наихудшим событием было бы то, если бы качество всех образцов на предприятии было 0, результатом чего было бы . Таким образом, результатом данного формульного выражения было бы суммирование показателей качества в диапазоне [, ]. Пользователи должны воспринимать уравнение (14) как меру ожидаемой общей ВЛНС. Однако рекомендуется трансформировать [, ] в предпочтительный диапазон [0,100], где 0 представляет собой наименьший показатель качества, а 100 - наибольший показатель качества. Этого можно добиться посредством:

a) либо соотнесения суммарного показателя качества (то есть ожидаемой вероятности ошибки) с собственным диапазоном качества при помощи обратной функции полезности:

, (15)

где - аппроксимирующая функция (например, кусочно-линейной аппроксимацией) пар (, );

b) либо преобразования (например, линейного отображения) диапазона [, ] в диапазон [0, 100]. Таким образом, суммарные показатели качества, преобразованные к диапазону [0,100], имеют вид:

. (16)

Примечание 1 - Весовые значения в уравнении (13) представляют собой оценки наблюдаемых вероятностей ложного несовпадения, вычисленных с использованием некоторого фиксированного порогового значения. В результате данные весовые значения в наивысшей степени точны в отношении данного конкретного порогового значения, но не так точны в отношении биометрических систем, функционирующих при иных пороговых значениях. В приложениях по верификации, где порог срабатывания установлен на уровне , пользователи алгоритма оценки качества должны следовать установленным процедурам для установления специальных весов.

Примечание 2 - Весовые значения в уравнении (13) представляют собой согласованные оценки. Это значит, что оценки были произведены при помощи наблюдаемых в наборе алгоритмов сравнения вероятностей ложного несовпадения. Указанные весовые значения не являются весовыми значениями, которые применялись бы для какого-либо одного алгоритма или установленного набора алгоритмов. Весовые значения в уравнении (13) рассматриваются в качестве наилучшего метода оценки и предназначены для использования до тех пор, пока неизвестны другие подробности о приложении. В приложениях по верификации, в которых известен и доступен определенный набор из одного или более алгоритмов сравнения, для установки назначенного весового значения пользователи алгоритма должны следовать установленным процедурам.

Приложение ДА
(справочное)

Сведения о соответствии ссылочных международных стандартов национальным стандартам

Таблица ДА.1

Библиография

Электронный текст документа

и сверен по:

, 2019