ГОСТ Р 70950-2023 Технологии искусственного интеллекта в образовании. Функциональная подсистема управления успеваемостью обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре. Общие положения и методика испытаний

        ГОСТ Р 70950-2023

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

Технологии искусственного интеллекта в образовании

ФУНКЦИОНАЛЬНАЯ ПОДСИСТЕМА УПРАВЛЕНИЯ УСПЕВАЕМОСТЬЮ ОБУЧАЮЩИХСЯ ПО ПРОГРАММАМ ПОДГОТОВКИ НАУЧНЫХ И НАУЧНО-ПЕДАГОГИЧЕСКИХ КАДРОВ В АСПИРАНТУРЕ

Общие положения и методика испытаний

Artificial intelligence technologies in education. Functional subsystem for managing the progress of students in the programs of training scientific and scientific-pedagogical personnel in postgraduate studies. General provisions and test procedure

ОКС 35.240.90

Дата введения 2024-01-01

Предисловие

1 РАЗРАБОТАН Федеральным государственным автономным образовательным учреждением высшего образования "Волгоградский государственный университет" (ФГАОУ ВО ВолГУ)

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 164 "Искусственный интеллект"

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 18 октября 2023 г. N 1178-ст

4 ВВЕДЕН ВПЕРВЫЕ

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 162-ФЗ "О стандартизации в Российской Федерации". Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе "Национальные стандарты", а официальный текст изменений и поправок - в ежемесячном информационном указателе "Национальные стандарты". В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя "Национальные стандарты". Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.rst.gov.ru)

Введение

Функциональная подсистема управления успеваемостью обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре входит в систему образования как наиболее значимая ее составляющая, обеспечивающая учебную подготовку обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре.

Настоящий стандарт определяет общие положения и методику испытаний технологий искусственного интеллекта (ТИИ), используемых при управлении успеваемостью обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре в рамках соответствующей функциональной подсистемы высшего учебного заведения.

Основной задачей применения ТИИ в рамках определенной подсистемы является прогнозирование результатов обучения для повышения эффективности управления успеваемостью обучающихся руководством высшего учебного заведения. В связи с этим критически значимым является обеспечение должного уровня доверия к используемым ТИИ. С целью разработки единых подходов к тестированию системы искусственного интеллекта разработан настоящий стандарт.

Настоящий стандарт входит в серию стандартов "Технологии искусственного интеллекта в образовании".

1 Область применения

Настоящий стандарт описывает методику проведения испытаний систем искусственного интеллекта (СИИ), применяемых в управлении успеваемостью обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре.

Примечание - Такие испытания может проводить:

- внутренняя испытательная лаборатория организации, разрабатывающей СИИ (оценка соответствия первой стороной);

- внешняя испытательная лаборатория, действующая по поручению организации-заказчика СИИ (оценка соответствия второй стороной);

- орган, осуществляющий независимую оценку соответствия, например в целях сертификации (оценка соответствия третьей стороной).

Настоящий стандарт применим для организаций, осуществляющих подготовку кадров высшей квалификации по программам высшего образования, например: для вузов, как государственных, так и негосударственных, научно-исследовательских институтов.

2 Нормативные ссылки

В настоящем стандарте использована нормативная ссылка на следующий стандарт:

ГОСТ Р 70946-2023 Технологии искусственного интеллекта в образовании. Функциональная подсистема управления успеваемостью обучающихся по программам бакалавриата и специалитета. Общие положения и методика испытаний

Примечание - При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю "Национальные стандарты", который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя "Национальные стандарты" за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1

3.2 аспирантура: Форма реализации уровня профессионального образования, ориентированная на подготовку кадров высшей квалификации.

3.3

3.4

3.5

3.6

3.7

3.8

3.9

3.10 кортеж: Конечная последовательность, допускающая повторение, элементов какого-нибудь множества X.

3.11

3.12

Примечание - Образование подразделяется на общее образование, профессиональное образование, дополнительное образование и профессиональное обучение, обеспечивающие возможность реализации права на образование в течение всей жизни (непрерывное образование).

3.13

3.14

3.15

3.16 существенные условия эксплуатации: Совокупность специфических условий, факторов и данных, в контексте которых заинтересованными сторонами предполагается использование системы искусственного интеллекта.

3.17

3.18

3.19 успеваемость: Степень усвоения обучающимися знаний, умений и навыков с точки зрения требований, установленных нормативными документами образовательной организации.

3.20 функциональная подсистема: Взаимосвязанная совокупность систем искусственного интеллекта, направленных на решение определенных задач.

4 Общие положения

Функциональная подсистема управления успеваемостью обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре является системно связанной совокупностью программных решений, в том числе реализующих ТИИ, и направлена на достижение цели обеспечения эффективного управления успеваемостью обучающихся для определенного уровня подготовки.

Ключевыми ее задачами могут являться:

- управление показателями контингента обучающихся руководством высшего учебного заведения;

- управление результатами обучения обучающихся руководством высшего учебного заведения;

- управление ресурсами, обеспечивающими защиту обучающимися диссертации на соискание ученой степени кандидата наук в установленный срок (в течение одного года после окончания аспирантуры);

- прогнозирование у обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре перспектив успешного трудоустройства.

В рамках определенной функциональной подсистемы результативность целого ряда функций может быть повышена посредством применения систем искусственного интеллекта, в их числе:

- СИИ, построенные с использованием методов обработки естественного языка, применяемые, например, для выработки рекомендаций тематик научно-исследовательских работ аспирантов;

- СИИ, построенные с использованием методов компьютерного зрения и обработки звука, применяемые, например, при создании голосовых помощников-консультантов в рамках подготовки и организации педагогической практики аспирантов;

- системы интеллектуального анализа данных, построенные с использованием методов машинного обучения, применяемые, например, для автоматизированного анализа защит обучающимися диссертации на соискание ученой степени кандидата наук в установленный срок;

- СИИ данных, построенные с использованием методов машинного обучения, применяемые, например, для автоматизированного анализа результатов мониторинга успеваемости аспирантов.

Технологии ИИ следует применять в том случае, когда для решения задачи не известна математическая модель, обеспечивающая результат с приемлемой точностью. При этом методы ИИ используют для того, чтобы по имеющейся информационной модели построить математическую модель и использовать последнюю для решения задачи.

Успешная реализация функции управления успеваемостью обучающихся посредством применения СИИ может оказать существенное положительное влияние на показатели мониторинга высшего учебного заведения.

Для обеспечения доверия к СИИ, применяемым для реализации управления успеваемостью обучающихся, следует применять методику испытаний, изложенную в настоящем стандарте. Для реализации остальных функций, возникающих в рамках рассматриваемой функциональной подсистемы, в том числе перечисленных выше, методика испытаний, изложенная в настоящем стандарте, также применима, при условии ее трансформации с учетом особенностей применяемых технологий искусственного интеллекта.

5 Методика испытаний

5.1 Применяют положения ГОСТ Р 70946-2023 (5.1).

5.2 Применяют положения ГОСТ Р 70946-2023 (5.2).

5.3 Применяют положения ГОСТ Р 70946-2023 (5.3).

5.4 Применяют положения ГОСТ Р 70946-2023 (5.4).

5.5 Существенные условия эксплуатации

5.5.1 Применяют положения ГОСТ Р 70946-2023 (5.5.1).

5.5.2 Существенными условиями эксплуатации для управления успеваемостью обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре могут являться данные:

- об образовательном учреждении, выдавшем документы о предыдущем уровне образования (например, специалитет, магистратура);

- о месте проживания/регистрации (регион, район, населенный пункт);

- системе оценивания успеваемости (например, максимальное значение оценки успеваемости, пороговые значения оценки для уровней успеваемости);

- владении обучающимися иностранными языками (перечень языков, уровень владения);

- категории должности обучающихся (высшее руководство, среднее звено, операционный персонал);

- факультете (институте), кафедре на которых получает образование обучающийся;

- воинской обязанности обучающихся;

- социальном статусе (например, полнота семьи, материальное положение, сфера деятельности родителей) обучающихся;

- научно-исследовательской работе (имеющиеся научные труды, изобретения) обучающихся;

- трудовом стаже обучающихся;

- пребывании обучающихся за рубежом;

- участии обучающихся в выборах в органы власти России;

- наградах (правительственные, ведомственные, региональные) обучающихся;

- семейном положении обучающихся;

- научных руководителях (ученое звание, ученая степень, должность) обучающихся и т.д.

5.5.3 Применяют положения ГОСТ Р 70946-2023 (5.5.3).

5.6 Формирование тестового набора данных

5.6.1 Применяют положения ГОСТ Р 70946-2023 (5.6.1).

5.6.2 Базовый демонстрационный набор данных изложен в 5.6.2.1, 5.6.2.2.

Примечание - Базовый демонстрационный набор данных прилагается на диске к настоящему стандарту.

5.6.2.1 Применяют положения ГОСТ Р 70946-2023 (5.6.2.1).

5.6.2.2 Базовый демонстрационный набор данных содержит данные как о самих обучающихся аспирантуры и о направлениях аспирантуры, так и о результатах обучения:

- номер зачетной книжки обучающегося (зашифрован);

- наименование страны, гражданином которой является обучающийся;

- код наименования специальности, по которой обучается обучающийся;

- наименование семестра: "первый семестр", "второй семестр" и т.п.;

- вид ведомости (возможные значения "аспирантская ведомость", "аттестационная ведомость");

- основание для обучения (три значения: "бюджетная основа", "договорная основа", "целевой набор");

- вид контроля (возможные значения: "представление научного доклада по диссертации", "зачет", "зачет с оценкой", "экзамен");

- наименование дисциплины;

- идентификатор преподавателя соответствующей дисциплины (зашифрован);

- отметка результата аттестации по дисциплине: "отлично", "хорошо", "удовлетворительно", "неудовлетворительно", "зачтено", "незачтено";

- защита в срок ("1" - выпускник защитил кандидатскую диссертацию в течение года после окончания аспирантуры, "0" - в противном случае).

5.6.3 Применяют положения ГОСТ Р 70946-2023 (5.6.3).

5.6.4 Применяют положения ГОСТ Р 70946-2023 (5.6.4).

5.6.5 Применяют положения ГОСТ Р 70946-2023 (5.6.5).

5.6.6 Испытательной лаборатории с учетом положений 5.2-5.6 и раздела 6 следует по согласованию с заказчиком определить целевую функцию или совокупность целевых функций, которые должны быть использованы в 5.7 и приведены в протоколе испытаний (см. 5.8) совместно с описанием тестового набора данных.

5.7 Применяют положения ГОСТ Р 70946-2023 (5.7).

5.8 Применяют положения ГОСТ Р 70946-2023 (5.8).

6 Примеры интеллектуальных систем и задач для управления успеваемостью обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре

6.1 Системы, с помощью которых могут быть решены задачи с использованием базового демонстрационного набора данных, перечислены в 6.1.1-6.1.3.

6.1.1 СИИ, построенная на методах интеллектуального анализа данных, для прогнозирования числа успешно завершивших обучение по программам подготовки научных и научно-педагогических кадров в аспирантуре и защитивших кандидатскую диссертацию в течение одного года после окончания обучения

Значениями целевой функции в такой системе может служить значение поля базового демонстрационного набора данных: "ЗащитаВСрок".

6.1.2 СИИ, построенная на методах интеллектуального анализа данных, для определения начала снижения заинтересованности аспиранта в обучении

Значениями целевой функции в такой системе может служить значение поля базового демонстрационного набора данных: "ИтоговаяОтметка".

6.1.3 Рекомендательная система, построенная на методах интеллектуального анализа данных, определяющая вид отчетности (зачет/экзамен) по дисциплине с целью улучшения успеваемости аспирантов

Значениями целевой функции в такой системе может служить значение поля базового демонстрационного набора данных: "ИтоговаяОтметка".

6.2 Системы, с помощью которых могут быть решены задачи с использованием базового демонстрационного набора данных и дополнительных данных, перечислены в 6.2.1-6.2.3.

6.2.1 Система, построенная на методах интеллектуального анализа данных и выявляющая зависимость успеваемости аспиранта в зависимости от различных факторов: места работы, семейного положения, удаленности места проживания и т.п.

6.2.2 Рекомендательная система, построенная на методах интеллектуального анализа данных, предлагающая вид занятий (лекция, семинар и т.п.) по дисциплине с целью улучшения успеваемости аспирантов

Значениями целевой функции в такой системе может служить значение поля базового демонстрационного набора данных: "ИтоговаяОтметка".

6.2.3 Рекомендательная система, построенная на методах интеллектуального анализа данных и предназначенная для выработки вариантов корректировки тем диссертационного исследования на основе дополнительного текстового описания фактически полученных результатов в процессе научно-исследовательской деятельности аспиранта.

7 Описание базового демонстрационного набора данных

Описание полей набора данных, сформированных на основе данных успеваемости обучающихся по программам подготовки научных и научно-педагогических кадров в аспирантуре представлено в таблице 1.

В базовом демонстрационном наборе данных каждый "кортеж" соответствует факту аттестации обучающегося по одной дисциплине. Если обучающийся аттестуется по нескольким дисциплинам, то каждой из таких аттестаций соответствует свой кортеж в базовом демонстрационном наборе данных, поэтому в базовом демонстрационном наборе данных одному обучающемуся может соответствовать несколько кортежей.

Таблица 1 - Описание полей набора данных

Библиография