ГОСТ Р 59926-2021 Информационные технологии. Эталонная архитектура больших данных. Часть 2. Варианты использования и производные требования

2D

-

двумерный;

3D

-

трехмерный;

6D

-

шестимерный;

AOD

-

данные по объекту анализа (Analysis Object Data);

API

-

интерфейс программирования приложений (Application Programming Interface);

ASDC

-

_______________

Подразделение научно-исследовательского центра НАСА в Лэнгли, США.

ASTM

-

Американское общество испытаний и материалов (American Society for Testing and Materials);

AWS

-

платформа облачных сервисов компании Амазон (Amazon Web Services);

BC/DR

-

непрерывность деятельности и восстановление после чрезвычайных ситуаций (Business Continuity and Disaster Recovery);

BD

-

большие данные (Big data);

BER

-

Управление биологических и экологических исследований Министерства энергетики США (Biological and Environmental Research);

BNL

-

Брукхейвенская национальная лаборатория, США (Brookhaven National Laboratory);

CAaaS

-

аналитика климата как сервис (Climate Analytics as a Service);

CADRG

-

формат для оцифрованных растровых изображений с ARC-сжатием (ARC Digitized Raster Graphic (ADRG);

CBSP

-

провайдер облачного брокерского сервера (CBSP Cloud Brokerage Service Provider);

CERES

-

проект НАСА "Система для изучения облачности и излучения Земли" (Clouds and Earth’s Radiant Energy System);

CERN

-

Европейский центр ядерных исследований (The European Organization for Nuclear Research), ЦЕРН;

CESM

-

модель климатической системы Земли (Community Earth System Model);

CFTC

-

Комиссия по торговле товарными фьючерсами (Commodity Futures Trading Commission), США;

CIA

-

конфиденциальность, целостность и доступность (Confidentiality, Integrity and Availability);

CINET

-

цифровая инфраструктура для исследований и анализа сетей и графов (Cy-berinfrastructure for Network (Graph) Science and Analytics);

CMIP

-

проект сопоставления связанных климатических моделей (Coupled Model Intercomparison Project);

CMIP5

-

пятая фаза проекта сопоставления связанных комплексных климатических моделей (Coupled Model Intercomparison Project 5);

CMS

-

компактный мюонный соленоид (Compact Muon Solenoid);

COSO

-

Комитет спонсорских организаций Комиссии Тредвея (Committee of Sponsoring Organizations of the Treadway Commission), США);

CPU

-

центральный процессор (Central Processing Unit);

CReSIS

-

Центр дистанционного зондирования ледяного покрова Университета Канзаса (Center for Remote Sensing of Ice Sheets), США;

CRTS

-

каталинский обзор оптических переходных процессов в режиме реального времени (Catalina Real-Time Transient Survey);

CSP

-

провайдер облачного сервиса (Cloud Service Provider);

CSS

-

каталинский обзор неба (Catalina Sky Survey);

CV

-

контролируемый словарь (Controlled Vocabulary);

DFC

-

Консорциум федеративных сетей данных (DataNet Federation Consortium);

DHTC

-

распределенные вычисления с высокой пропускной способностью (Distributed High Throughput Computing);

DNA

-

дезоксирибонуклеиновая кислота; ДНК (DeoxyriboNucleic Acid);

DOE

-

Министерство энергетики США;

DOJ

-

Министерство юстиции США;

DPO

-

онлайновые инструменты работы с данными Центра обработки атмосферных данных (Data Products Online);

EBAF - TOA

баланс и накопление энергии верхних слоев атмосферы (Energy Balanced and Filled-Top of Atmosphere). Средство генерации данных проекта НАСА "Система для изучения облачности и излучения Земли";

EC2

-

эластичное вычислительное облако (Elastic Compute Cloud);

EDT

-

хранилище данных в Клинике Мейо (Enterprise Data Trust), США;

EHR

-

электронные данные (карта) здоровья (Electronic Health Record);

EMR

-

электронная медицинская карта (Electronic Medical Record);

EMSO

европейская междисциплинарная обсерватория исследования морского дна и слоев воды (European Multidisciplinary Seafloor and Water Column Observatory);

ENVRI

совместная деятельность европейских сетевых инфраструктур в области экологических исследований (Common Operations of Environmental Research Infrastructures);

ENVRI RM

-

эталонная модель ENVRI (ENVRI Reference Model);

EPOS

-

европейская исследовательская инфраструктура для слежения за [геологическими] плитами (European Plate Observing System);

ESFRI

-

европейский стратегический форум по исследовательским инфраструктурам (European Strategy Forum on Research Infrastructures);

ESG

-

грид-система обработки данных о Земле (Earth System Grid);

ESGF

-

федеративная грид-система обработки данных о Земле (Earth System Grid Federation);

FDIC

-

Федеральная корпорация страхования депозитов (U.S. Federal Deposit Insurance Corporation), США;

Fl

-

финансовый сектор (Financial Industries);

FLUXNET

-

сеть вышек для наблюдения за газовыми потоками (Flux Tower Network);

FMV

-

формат высококачественного видео (Full Motion Video);

FNAL

-

Национальная ускорительная лаборатория имени Ферми Fermi National Accelerator Laboratory, Fermilab), США;

GAAP

-

общепринятые принципы бухгалтерского учета США (U.S. Generally Accepted Accounting Principles);

GB

-

Гигабайт;

GCM

-

модель общей циркуляции (General Circulation Model);

GEOS-5

-

годдардовская система наблюдения Земли, 5-я версия (Goddard Earth Observing System version 5);

GeoTiff

-

Tiff-формат изображения с указанием местоположения (Geo Tagged Image File Format);

GEWaSC

-

проект моделирования водоразделов с использованием генома (Genome-Enabled Watershed Simulation Capability);

GHG

-

парниковый газ (Green House Gas);

GMAO

-

Отдел глобального моделирования и ассимиляции Центра управления полетами имени Годдарда, НАСА (Global Modeling and Assimilation Office);

GPFS

-

общая параллельная файловая система (General Parallel File System);

GPS

-

глобальная навигационная система (Global Positioning System);

GPU

-

графический процессор (Graphics Processing Unit);

GRC

-

стратегическое управление, управление рисками и соблюдение требований (Governance, Risk management, and Compliance);

GSFC

-

Центр управления полетами имени Годдарда, США (Goddard Space Flight Center);

HDF5

-

иерархический формат данных, 5-я версия (Hierarchical Data Format);

HDFS

-

распределенная файловая система Hadoop (Hadoop Distributed File System);

HPC

-

высокопроизводительные вычисления (High-Performance Computing);

HTC

-

вычисления с высокой пропускной способностью (High-Throughput Computing);

HVS

-

хостинговый виртуальный сервер (Hosted Virtual Server);

I/O

-

ввод-вывод (Input Output);

IaaS

-

инфраструктура как сервис (Infrastructure as a Service);

IAGOS

-

использование самолетов в глобальной системе наблюдений (In-service Aircraft for a Global Observing System);

ICD

-

международная классификация болезней (International Classification of Dis eases);

ICOS

-

интегрированная система наблюдения за выбросами углерода (Integrated Carbon Observation System);

IMG

-

проект "Интегрированные микробные геномы" Объединенного института генома Министерства энергетики США (Integrated Microbial Genomes);

INPC

-

инфраструктура клинических данных по уходу за пациентами штата Индиана (Indiana Network for Patient Care), США;

IPCC

-

Межправительственная группа экспертов по изменению климата (Intergovernmental Panel on Climate Change);

iRODS

-

интегрированная система управления данными, основанная на использовании правил (integrated Rule-Oriented Data System);

ISACA

-

Международная ассоциация аудита и контроля информационных систем (Information Systems Audit and Control Association);

isc2

-

Международный консорциум по сертификации в области безопасности информационных систем (International Security Computer and Systems Auditors);

ISO

-

Международная организация по стандартизации (International Organization for Standardization);

ITIL

-

библиотека инфраструктуры информационных технологий (Information Technology Infrastructure Library);

JGI

-

объединенный институт генома Министерства энергетики США (Joint Genome Institute);

KML

-

язык разметки Keyhole (Keyhole Markup Language);

kWh

-

киловатт-час;

LaRC

-

Исследовательский центр в Ленгли, НАСА (Langley Research Center);

LBNL

-

Национальная лаборатория имени Лоуренса в Беркли (Lawrence Berkeley National Laboratory), США;

LDA

-

латентное размещение Дирихле (latent Dirichlet allocation)

LHC

-

большой адронный коллайдер (Large Hadron Collider);

LPL

-

Лаборатория изучения Луны и планет в Университете Аризоны (Lunar and Planetary Laboratory), США;

LSST

-

большой синоптический обзорный телескоп в Обсерватории имени Веры Рубин (Large Synoptic Survey Telescope), Чили;

MERRA

-

система для ретроспективного анализа современной эры для исследований и приложений (Modern Era Retrospective Analysis for Research and Applications);

MERRA/AS

-

аналитические сервисы MERRA (MERRA Analytic Services);

MPI

-

интерфейс передачи сообщений (Message Passing Interface);

MRI

-

магнитно-резонансная томография (Magnetic Resonance Imaging);

NARA

-

Национальные архивы США (National Archives and Records Administration);

NARR

-

реанализ метеорологических данных для региона Северной Америки (North American Regional Reanalysis);

NaaS

-

сеть как сервис (Network as a Service);

NASA

-

Национальное управление по аэронавтике и исследованию космического пространства (National Aeronautics and Space Administration), США;

NCAR

-

Национальный центр атмосферных исследований (National Center for Atmospheric Research), США;

NCBI

-

Национальный центр биотехнологической информации (National Center for Biotechnology Information);

NCCS

-

Центр моделирования климата НАСА (Center for Climate Simulation);

NERSC

-

Национальный научно-исследовательский вычислительный центр энергетических исследований Министерства энергетики США (National Energy Research Scientific Computing Center);

NetCDF

-

NetCDF-формат представления данных (Network Common Data Form);

NEX

-

платформа НАСА для обмена данными о Земле (NASA Earth Exchange);

NFS

-

сетевая файловая система (Network File System);

NIKE

-

интегрированная сеть управления знаниями Национального института стандартов и технологий США (NIST Integrated Knowledge Editorial Net);

NIST

-

Национальный институт стандартов и технологий США (National Institute of Standards and Technology);

NITF

-

национальный формат передачи изображений (National Imagery Transmission Format);

NLP

-

обработка естественного языка (Natural Language Processing);

NRT

-

почти в режиме реального времени (Near Real Time);

NSF

-

Национальный научный фонд (National Science Foundation), США;

ODP

-

открытая распределенная обработка (Open Distributed Processing);

OGC

-

Открытый геопространственный консорциум (Open Geospatial Consortium);

PB

-

петабайт;

PCA

-

метод главных компонентов (Principal Component Analysis);

PCAOB

-

Некоммерческая организация по надзору за отчетностью публичных компаний (Public Company Accounting and Oversight Board), США;

PID

-

присвоение постоянного идентификатора (persistent identificator);

PII

-

персональные данные (Personally Identifiable Information);

PNNL

-

Тихоокеанская северо-западная национальная лаборатория (Pacific Northwest National Laboratory), США;

RDBMS

-

система управления реляционными базами данных (relational database management system);

RDF

-

среда описания ресурсов (Resource Description Framework);

RECOVER

-

система поддержки принятия решений по восстановлению экосистем (Rehabilitation Capability Convergence for Ecosystem Recovery);

ROI

-

возврат инвестиций (return on investment);

RPI

-

интерферометрия повторного хода (Repeat Pass Interferometry);

RPO

-

заданная точка восстановления (Recovery Point Objective);

RTO

-

заданное время восстановления (Recovery Time Objective);

SAN

-

сеть хранения данных (Storage Area Network);

SAR

-

радар с синтезируемой апертурой (Synthetic Aperture Radar);

SDN

-

программно-конфигурируемая сеть [передачи данных] (software-defined networking);

SIOS

-

интегрированная система наблюдений за Арктикой на Шпицбергене (Svalbard Integrated Arctic Earth Observing System);

SPADE

-

поддержка аудита происхождения в распределенных средах (Support for Provenance Auditing in Distributed Environments);

SSH

-

защищенная командная среда (Secure Shell);

SSO

-

технология единого входа (Single Sign-On);

TB

-

терабайт;

tf-idf

-

частота встречаемости термина в документе - обратная величина частоты документов с данным термином (term frequency-inverse document frequency);

UA

-

Университет Аризоны (University of Arizona), США;

UAVSAR

-

радар с синтезируемой апертурой для беспилотного летательного аппарата (Unmanned Air Vehicle Synthetic Aperture Radar);

UC

-

вариант использования (Use Case);

UI

-

пользовательский интерфейс (User Interface);

UPS

-

транснациональная компания, специализирующаяся на экспресс-доставке и логистике, США (United Parcel Service);

UQ

-

количественная оценка неопределенности (Uncertainty Quantification);

VASP

-

венский пакет для "ab initio" моделирования материалов на атомарном уровне (Vienna Ab initio Simulation Package);

vCDS

-

виртуальный сервер климатических данных (virtual Climate Data Server);

VO

-

виртуальная обсерватория (Virtual Observatory);

VOIP

-

передача голоса с использованием IP-протокола (Voice over IP);

WALF

-

WALF-формат видео с высоким разрешением (Wide Area Large Format Imagery);

WLCG

-

глобальная грид-инфраструктура Большого адронного коллайдера (Worldwide LHC Computing Grid);

XBRL

-

расширяемый язык разметки для деловой отчетности (Extensible Business Reporting Language);

XML

-

расширяемый язык разметки (Extensible Markup Language);

ZTF

-

обзор "Фабрика транзиентов Цвики" (Zwicky Transient Factory).

Название

Предметная область

Автор/организация/эл.почта

Акторы/заинтересованные лица, их роли и

ответственность

Цели

Описание варианта использования

Текущие решения

Вычислительная система

Хранилище данных

Сеть связи

Программное обеспечение

Характеристики больших данных

Источник данных

(распределенный/

централизованный)

Объем (количество)

Скорость обработки

(например, в реальном

времени)

Разнообразие (множество

наборов данных, комбинация

данных из различных

источников)

Вариативность (темпы изменения)

Наука о больших данных

(сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Визуализация

Качество данных (синтаксис)

Типы данных

Аналитика данных

Иные проблемы больших данных

Проблемы пользовательского интерфейса и мобильного доступа

Технические проблемы обеспечения безопасности и защиты персональных

данных

Перечислите основные характеристики

и связанные варианты использования

(например, в интересах эталонной

архитектуры)

Дополнительная информация (гиперссылки)

#

Количество вариантов

Требование

Требования к поставщику данных

1

Необходимо поддерживать надежную, в реальном времени и/или асинхронную, потоковую и/или пакетную обработку с целью сбора данных из централизованных, распределенных и/или облачных источников, от датчиков и/или приборов

_______________

Исправлена неверная цифра, здесь и в приложении D.

2

22

Необходимо поддерживать передачу данных - медленную и/или неравномерную с периодическими пиковыми нагрузками и/или с высокой пропускной способностью - между источниками данных и вычислительными кластерами

3

28

Необходимо поддерживать данные разнообразных типов и видов, включая структурированные и неструктурированные тексты, документы, графы, веб-материалы, геопространственные данные, сжатые, с привязкой ко времени, пространственные, мультимедийные данные, данные моделирования и показания измерительных инструментов

Требования к провайдеру сервиса преобразования данных

1

Необходимо поддерживать разнообразные вычислительно-интенсивные методы аналитической обработки и методы машинного обучения

_______________

Исправлена неверная цифра, здесь и в приложении D.

2

7

Необходимо поддерживать аналитическую обработку в реальном времени и/или пакетную

3

Необходимо поддерживать обработку большого объема разнородных данных и данных моделирования

_______________

Исправлена неверная цифра, здесь и в приложении D.

4

6

Необходимо поддерживать обработку данных в движении (потоковая передача, доставка нового контента, отслеживание и т.д.)

Требования к провайдеру вычислительных возможностей

1

Необходимо поддерживать как унаследованные, так и продвинутые пакеты программ (ПО)

_______________

Исправлена неверная цифра, здесь и в приложении D.

2

Необходимо поддерживать как унаследованные, так и продвинутые вычислительные платформы (платформа)

_______________

Исправлена неверная цифра, здесь и в приложении D.

3

Необходимо поддерживать как унаследованные, так и продвинутые распределенные вычислительные кластеры, сопроцессоры, обработку ввода-вывода (инфраструктура)

_______________

Исправлена неверная цифра, здесь и в приложении D.

4

14

Необходимо поддерживать гибкую передачу данных (сети)

5

Необходимо поддерживать унаследованные, крупномасштабные и продвинутые распределенные хранилища данных (хранение)

_______________

Исправлена неверная цифра, здесь и в приложении D.

6

13

Необходимо поддерживать как унаследованные, так и продвинутые исполняемые программы: приложения, инструменты, утилиты и библиотеки (ПО)

Требования к потребителю данных

1

4

Необходимо поддерживать быстрый поиск по обработанным данным - с высокой релевантностью, точностью и полнотой результатов поиска

2

Необходимо поддерживать различные форматы выходных файлов для визуализации, рендеринга и создания отчетов

_______________

Исправлена неверная цифра, здесь и в приложении D.

3

2

Необходимо поддерживать визуальную разметку для представления результатов

4

Необходимо поддерживать пользовательский интерфейс с широкими функциональными возможностями для доступа с помощью браузера и средства визуализации

_______________

Исправлена неверная цифра, здесь и в приложении D.

5

20

Необходимо поддерживать инструменты многомерной, с высоким разрешением визуализации данных

6

1

Необходимо поддерживать потоковую передачу результатов клиентам

Требования по обеспечению безопасности и защиты персональных данных

1

Необходимо обеспечить безопасность и конфиденциальность чувствительных данных

_______________

Исправлена неверная цифра, здесь и в приложении D.

2

12

Необходимо поддерживать изолированную среду ("песочницу"), обеспечивать контроль доступа и многоуровневую аутентификацию на основе политик в отношении подлежащих защите данных

Требования к управлению жизненным циклом

1

20

Необходимо поддерживать курирование качества данных, включая предварительную обработку, кластеризацию, классификацию, редуцирование (преобразование к физическим величинам) и преобразование форматов

2

2

Необходимо поддерживать динамическое обновление данных, профилей пользователей и ссылок

3

6

Необходимо поддерживать жизненный цикл данных и политику обеспечения долговременной сохранности, включая отслеживание происхождения данных

4

4

Необходимо поддерживать валидацию данных

5

4

Необходимо поддерживать аннотирование данных человеком для их валидации

6

3

Необходимо принимать меры для предотвращения утраты или порчи данных

7

1

Необходимо поддерживать географически распределенные (multi-site) архивы

8

2

Необходимо поддерживать постоянные идентификаторы и прослеживаемость данных

9

1

Необходимо поддерживать стандартизацию, агрегирование и нормализацию данных из разнородных источников

Иные требования

1

6

Необходимо поддерживать пользовательский интерфейс с широкими возможностями для мобильных платформ с целью обеспечения доступа к обработанным результатам

2

2

Необходимо поддерживать мониторинг с использованием мобильных платформ и учетом производительности аналитической обработки

3

13

Необходимо поддерживать визуальный поиск по контенту с широкими функциональными возможностями и отображение контента на мобильных платформах

4

1

Необходимо поддерживать сбор данных с использованием мобильных устройств

5

1

Необходимо обеспечивать безопасность на мобильных устройствах

Аббревиатура

#

Описание

PP

26

Хорошо распараллеливаемая задача или задача Map-Only в парадигме Map/Reduce

MR

18

Классический Map/Reduce (добавьте данные по MRStat ниже для полного подсчета)

MRStat

7

Простая версия Map/Reduce, в которой ключевые вычисления представляют собой простое редуцирование, подобное вычислению статистических средних величин, таких как гистограммы и средние значения

MRIter

23

Итеративный Map/Reduce

Graph

9

Для анализа необходима сложная структура данных в виде графа

Fusion

11

Интеграция разнообразных данных в интересах выявления/принятия решений; может включать сложные алгоритмы или быть просто порталом

Streaming

41

Некоторые данные поступают порциями и таким же образом обрабатываются

Classify

30

Классификация: разделение данных по категориям

S/Q

12

Индексирование, поиск и выполнение запросов

CF

4

Использование совместной фильтрации рекомендательной системой

LML

36

Локальное машинное обучение (независимое для каждой параллельной сущности)

GML

23

Глобальное машинное обучение: глубокое обучение, кластеризация, LDA, PLSI, MDS, оптимизация большой размерности, как в вариационном байесовском методе, MCMC, алгоритм с распространением доверия "с подъемом" (Lifted Belief Propagation), стохастический градиентный спуск, L-BFGS, алгоритм Левенберга-Марквардта. Может вызывать алгоритм эффективной глобальной оптимизации (Efficient Global Optimization, EGO) или оптимизация сверхбольшой размерности (Exascale Global Optimization) вместе с масштабируемым параллельным алгоритмом.

51

Управление потоками рабочих процессов - универсальное свойство, поэтому без идентификатора

GIS

16

Данные с геопривязкой часто отображаются с использованием ESRI, Microsoft Virtual Earth, Google Earth, GeoServer и т.д.

HPC

5

Классическое крупномасштабное моделирование космоса, материалов и т.д., производящее данные (например, для визуализации)

Agent

2

Моделирование с использованием моделей управляемыми данными макрообъектов, представленных в виде агентов

Pleasingly Parallel, PP (хорошее распараллеливание)

Можно найти в BLAST, в моделировании белково-белковых взаимодействий (белковом докинге), в некоторых вариантах обработки (био) изображений, включая локальную аналитику или локальное машинное обучение с хорошо распараллеливаемой фильтрацией

Classic Map/Reduce, MR (классический Map/ Reduce)

Алгоритмы индексирования, поиска, выполнения запросов и классификации, такие как совместная фильтрация ("вычислительные задачи-гиганты": G1 для MRStat в таблице 2, G7)

Map Collective

Встречается в машинном обучении - особенно в случае ядра на основе линейной алгебры

Map P2P

Прямая связь между узлами (Point to Point Communication), наблюдаемая в параллельном моделировании и графовых алгоритмах

Map Streaming (архитектура работы с потоковыми данными)

Комбинация (параллельных) длительно выполняемых процессов отображения (картирования - maps), принимающих потоковые данные

Shared Memory

Общая память - в отличие от распределенных данных (памяти). Используется в задачах, где важна реализация совместно используемой памяти. Имеет тенденцию быть динамически асинхронной

SPMD

Хорошо известный метод распараллеливания "Единая программа, множество данных" (Single Program Multiple Data)

BSP

Массовая синхронная обработка (Bulk Synchronous Processing, также расшифровывается как Bulk Synchronous Parallel model - массовая синхронная параллельная модель): четко определенные этапы вычислений/обмена информацией

Fusion (объединение)

Процесс выявления знаний часто включает в себя объединение ряда методов или источников данных

Dataflow (потоки данных)

Составная структура, в рамках которой ряд компонентов связан друг с другом посредством обмена данными

Agents (агенты)

Используется в эпидемиологии, при моделировании дискретных событий и т.д."Роевые" подходы

Workflow (потоки рабочих процессов)

Во многих приложениях часто используется "аранжировка" (orchestration)/управление потоками рабочих процессов многих компонентов

Метрики производительности (эффективности)

Измеряются в рамках сопоставительного анализ на основе эталонных показателей

Отношение флоп/байт

Важно для производительности

Среда исполнения

Облако или среда высокопроизводительных вычислений; нужны ли базовые библиотеки, такие как библиотеки матричной/векторной алгебры, метода сопряженного градиента, редукции, трансляции и т.д.? (Задача "гигант" G4)

Объем

Обширность данных, доступных для анализа с целью извлечения ценной информации

Скорость обработки

Скорость потока, с которой данные создаются, передаются, хранятся, анализируются или визуализируются

Разнообразие

Разнородность массива данных, полученных из нескольких предметных областей и/или объединяющих несколько их типов. См. также фасет "объединение" (fusion)

Достоверность

Полнота и точность данных, влияющие на процесс необходимой предварительной обработки и надежность результатов

Структура информационного обмена

Какова структура соединений? Является ли информационный обмен синхронным или асинхронным? В последнем случае может оказаться привлекательным использование общей памяти

Статическое или динамическое?

Изменяется ли приложение (граф) во время исполнения?

Регулярность

Большинство приложений состоит из набора взаимосвязанных объектов; является ли этот набор регулярным, как набор пикселей, или же представляет собой сложный нерегулярный граф?

Алгоритм итеративный или нет?

Важная характеристика алгоритма

Абстрактная модель данных

Пары "ключ-значение", пиксели, графы, вектора, файлы формата HDF5, "мешок слов" и т.д.

Является ли пространство данных метрическим?

Находятся ли точки данных в метрическом или неметрическом пространстве? (Задача "гигант" G2)

Сложность

SQL, NoSQL или NewSQL

NoSQL включают в себя хранилища документов, столбцы, пары "ключ-значение", графы, Triplestore (хранилище триплетов, или RDF-хранилище)

Корпоративные системы управления данными

В 10 вариантах использования из публикации NIST [1] интегрируются SQL/NoSQL-решения

Файлы и объекты

Файлы в том виде, в каком они управляются в iRODS, чрезвычайно распространены в научных исследованиях. Объекты наиболее часто встречаются в стеке программного обеспечения для обработки больших данных Apache Big Data Stack (ABDS)

HDFS/Luster/GPFS

Располагаются ли данные и вычисления в одном месте?

Архивация/пакетная обработка/потоковая обработка

Потоковая обработка представляет собой процесс постепенного обновления наборов данных, при этом внедряются новые алгоритмы для достижения отклика в реальном времени (Задача "гигант" G7)

Виды систем хранения

Виды включают "коллективное использование" (shared), "выделение" (dedicated), "постоянное хранение" (permanent) и "временное хранение" (transient)

Метаданные/

Происхождение данных

Описывают общие характеристики данных, историю и особенности их обработки

Интернет вещей

Данные, создаваемые в ходе высокопроизводительных вычислений

В результате математического моделирования генерируется визуализация, для формирования которой часто требуется проводить интеллектуальный анализ данных моделирования

Геоинформационные системы (ГИС)

Географические информационные системы обеспечивают доступ к геопространственным данным

Микро-рейтинги (micro benchmarks)

Простое ядро или мини-приложение, используемое для измерения производительности базовой системы

LML

Локальная аналитика или локальное машинное обучение

GML

Глобальная аналитика или машинное обучение, требующее итеративной среды выполнения (задачи "гиганты" G5, G6)

Базовая статистика

Простая статистика, представленная в таблице 2 как MRStat

Рекомендации

Совместное фильтрование и другие аналитические методы, используемые в рекомендательных системах

Индексирование, поиск и выполнение запросов

Богатый набор технологий, используемых для индексирования данных, поиска и выполнения запросов к данным

Классификация

Технологии для маркировки/тегирования данных (SVM, Байес, глубокое обучение, кластеризация)

Обучение

Обучение алгоритмов

Методы оптимизации

Машинное обучение, нелинейная оптимизация, метод наименьших квадратов, линейное/квадратичное программирование, комбинаторная оптимизация, EM-алгоритм, метод Монте-Карло, вариационный байесовский анализ, глобальный вывод

Потоковая обработка

Расширяющийся класс быстрых онлайн-алгоритмов сложности O(N)

Согласование (alignment)

Вариант поиска, используемый при сопоставлении последовательностей (как, например, в BLAST)

Линейная алгебра

Многие алгоритмы машинного обучения основаны на ядрах вычислений линейной алгебры

Граф

Задача представлена в виде графа, а не вектора, сетки и т.д. (задача "гигант" G3)

Визуализация

Важный компонент многих конвейеров аналитической обработки

Название

Архивное хранение больших данных: Большие данные переписи населения, проведенной в США в 2010 и 2000 гг. на основании части 13 Свода законов США

Предметная область

Электронные архивы

Автор/организация/эл.почта

Вивек Наваль (Vivek Navale) и Куин Нгуен (Quyen Nguyen), Национальные архивы США (NARA)

Акторы/заинтересованные лица, их роли и ответственность

Архивисты Национальных архивов США, представители общественности (после 75 лет)

Цели

Обеспечить долговременную сохранность данных с целью предоставления к ним доступа и проведения аналитики по истечении 75-летнего ограничительного периода. Часть 13 Свода законов США уполномочивает Бюро переписи населения США (U.S. Census Bureau) собирать и сохранять данные, относящиеся к переписи, и гарантирует защиту персональных и отраслевых данных

Описание варианта использования

В течение ограничительного периода в 75 лет данные должны храниться "как есть", без возможности доступа и анализа, с обеспечением сохранности на уровне битов. Данные курируются, что может включать преобразование формата. Доступ и аналитика должны быть обеспечены через 75 лет

Текущие решения

Вычислительная система

Сервера под ОС Linux

Хранилище данных

Облачные сервисы NetApp, магнитные ленты

Сеть связи

Программное обеспечение

Характеристики больших данных

Источник данных

(распределенный/

централизованный)

Централизованное хранение

Объем (количество)

380 терабайт

Скорость обработки (например, в реальном времени)

Данные статичны

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Отсканированные документы

Вариативность (темпы изменения)

Нет

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Утрата данных недопустима

Визуализация

Будет определена в будущем

Качество данных (синтаксис)

Неизвестно

Типы данных

Отсканированные документы

Аналитика данных

Только по истечении 75 лет

Иные проблемы больших данных

Обеспечение долговременной сохранности данных

Проблемы пользовательского интерфейса и мобильного доступа

Будут определены в будущем

Технические проблемы обеспечения безопасности и защиты персональных данных

Подпадают под положения части 13 Свода законов США

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Дополнительная информация (гиперссылки)

Название

Прием Национальными архивами США (NARA) государственных данных на хранение, поиск, извлечение и обеспечение долговременной сохранности

Предметная область

Электронные архивы

Автор/организация/эл.почта

Куин Нгуен (Quyen Nguyen) и Вивек Наваль (Vivek Navale), Национальные архивы США (NARA)

Акторы/заинтересованные лица, их роли и ответственность

Специалисты по управлению документами федеральных органов исполнительной власти США.

Специалисты по комплектованию фондов Национальных архивов США. Архивисты Национальных архивов США. Пользователи архивов - представители общественности

Цели

Прием на архивное хранение, поиск, извлечение и обеспечение долговременной сохранности больших данных

Описание варианта использования

1) Передача данных под физический контроль Национальных архивов и переход к Национальным архивам юридической ответственности за их сохранность. В будущем, если данные хранятся в облаке, при передаче Национальным архивам ответственности за физическую сохранность желательно избегать перемещения больших данных из одного облака в другое либо из облака в центр обработки данных.

2) Предварительная обработка данных, включающая проверки на наличие вирусов, определение файловых форматов и удаления пустых файлов.

3) Индексирование данных.

4) Категоризация документов (чувствительные конфиденциальные, неконфиденциальные, персональные данные и т.д.).

5) Преобразование устаревших файловых форматов в современные (например, WordPerfect в PDF).

6) Электронное раскрытие.

7) Поиск и извлечение данных в рамках исполнения специальных запросов.

8) Поиск и извлечение государственных документов представителями общественности

Текущие решения

Вычислительная система

Сервера под ОС Linux

Хранилище данных

Облачные сервисы NetApp, система хранения Hitachi, магнитные ленты

Сеть связи

Программное обеспечение

Кастомизированное ПО, коммерческие поисковые продукты, коммерческие базы данных

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Распределенные источники данных федеральных органов исполнительной власти США. Используемый в настоящее время подход требует передачи этих данных в централизованное хранилище. В будущем эти источники данных могут находиться в различных облачных средах

Объем (количество)

Сотни терабайт, постоянно увеличивается

Скорость обработки (например, в реальном времени)

Скорость поступления данных относительно низкая по сравнению с другими вариантами использования, однако случаются всплески, т.е. данные могут поступать партиями размером от гигабайта до сотен терабайт

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Разнообразные типы данных, неструктурированные и структурированные: текстовые документы, электронная почта, фотографии, отсканированные документы, мультимедийные материалы, материалы из социальных сетей, веб-сайты, базы данных и т.д. Разнообразие прикладных областей, поскольку документы поступают от различных государственных органов. Данные поступают из различных хранилищ, некоторые из которых в будущем могут стать облачными

Вариативность (темпы изменения)

Темпы могут варьироваться, особенно если источники данных неоднородны: в некоторых больше представлены аудио- и видеоматериалы, в других преобладают текстовые материалы, в-третьих - графические образы и т.д.

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Результаты поиска должны иметь высокую релевантность и полноту поиска. Требуется высокая точность категоризации документов

Визуализация

Будет определена в будущем

Качество данных (синтаксис)

Неизвестно

Типы данных

Разнообразные типы данных: текстовые документы, электронная почта, фотографии, отсканированные документы, мультимедийные материалы, базы данных и т.д.

Аналитика данных

Сканирование/индексирование; поиск; ранжирование; прогностический поиск. Категоризация данных (чувствительные, конфиденциальные и т.д.). Выявление и маркировка персональных данных (Personally Identifiable Information, PII)

Иные проблемы больших данных

Выполнение предварительной обработки и дальнейшее долговременное управление объемными и разнообразными данными. Проведение поиска по огромному объему данных. Обеспечение высокой релевантности и полноты результатов поиска. В будущем источники данных могут быть распределены по различным облакам

Проблемы пользовательского интерфейса и мобильного доступа

Мобильный поиск должен иметь похожий интерфейс и выдавать похожие результаты

Технические проблемы обеспечения безопасности и защиты персональных данных

Необходимо внимательно относиться к имеющимся ограничениям на доступ к данным

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Дополнительная информация (гиперссылки)

Название

Повышение активности респондентов в статистических обследованиях (адаптивная схема)

Предметная область

Логистическое обеспечение сбора государственной статистики

Автор/организация/эл.почта

Каван Каппс (Cavan Capps), Бюро переписей населения США (U.S. Census Bureau), [email protected]

Акторы/заинтересованные лица, их роли и ответственность

Задача органов государственной статистики США - быть ведущими авторитетными источниками информации о населении и экономике страны, уважая при этом неприкосновенность персональных данных и строго защищая их конфиденциальность. Эту задачу они решают, взаимодействуя со штатами, местными органами власти и другими федеральными органами исполнительной власти

Цели

Используя открытые и научно объективные передовые методы, органы статистики стремятся повысить качество, конкретность и своевременность выдаваемых статистических данных при одновременном снижении эксплуатационных расходов и обеспечении конфиденциальности респондентов

Описание варианта использования

Затраты на проведение статистических обследований растут, в то время как активность респондентов падает. Целью данной работы является применение усовершенствованных "методов рекомендательных систем", использующих комбинацию данных из нескольких источников, а также вспомогательные данные исторических обследований, - для поддержки процессов оперативной деятельности, направленных на повышение качества и снижение расходов проводимых "на местах" статистических обследований

Текущие решения

Вычислительная система

Системы под ОС Linux

Хранилище данных

В SAN-сети систем хранения данных (Storage Area Network) и на непосредственно подключаемых к серверу устройствах (Direct Storage)

Сеть связи

Оптоволоконный кабель, 10-гигабитный Ethernet, 40-гигабитный Infiniband

Программное обеспечение

Hadoop, Spark, Hive, R, SAS, Mahout, Allegrograph, MySQL, Oracle, Storm, BigMemory, Cassandra, Pig

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Данные обследований, другие государственные административные данные, геопространственные данные из различных источников

Объем (количество)

Для данного конкретного вида проблем оперативной деятельности, примерно один петабайт

Скорость обработки (например, в реальном времени)

Варьируется, данных с мест о ходе проведения обследования передаются непрерывно в потоковом режиме. Во время последней всеобщей переписи населения в потоковом режиме были переданы 150 млн документов

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Данные обычно представляют собой заданные текстовые и числовые поля. Данные могут происходить из разных наборов данных, объединенных для достижения целей аналитики

Вариативность (темпы изменения)

Варьируется в зависимости от обследований, проводимых на местах в данный момент. Высокие темпы поступления во время всеобщей переписи населения

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Данные должны иметь высокую степень достоверности, а системы должны быть очень надежными. Остается проблемой семантическая целостность концептуальных метаданных, содержащих описание объекта измерения и вытекающие из этого описания ограничений достоверности

Визуализация

Визуализация полезна для проверки данных, оперативной деятельности и общего анализа. Продолжает развиваться

Качество данных (синтаксис)

Качество данных должно быть высоким и статистически проверяться на точность и надежность на протяжении всего процесса сбора данных

Типы данных

Предопределенные ASCII - строки и числовые данные

Аналитика данных

Аналитика необходима для рекомендательных систем, постоянного мониторинга и для общего совершенствования процесса проведения обследования

Иные проблемы больших данных

Совершенствование рекомендательных систем, позволяющих снизить затраты и повысить качество, обеспечивая одновременно надежные и публично проверяемые меры защиты конфиденциальности

Проблемы пользовательского интерфейса и мобильного доступа

Мобильный доступ важен

Технические проблемы обеспечения безопасности и защиты персональных данных

Необходимо обеспечить безопасность и конфиденциальность всех данных. Согласно требованиям законодательства должна быть обеспечена возможность аудита всех процессов на предмет обеспечения безопасности и конфиденциальности

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Рекомендательные системы имеют общие функциональные возможности с системами, используемыми в электронной коммерции такими фирмами, как Amazon, Netflix, UPS и др.

Дополнительная информация (гиперссылки)

Название

Использование нетрадиционных данных для повышения активности респондентов в статистических обследованиях (адаптивная схема)

Предметная область

Логистическое обеспечение сбора государственной статистики

Автор/организация/эл.почта

Каван Каппс (Cavan Capps), Бюро переписи населения США (U.S. Census Bureau), [email protected]

Акторы/заинтересованные лица, их роли и ответственность

Задача органов государственной статистики США - быть ведущими авторитетными источниками информации о населении и экономике страны, уважая при этом неприкосновенность персональных данных и строго защищая их конфиденциальность. Эту задачу они решают, взаимодействуя со штатами, местными органами власти и другими федеральными органами исполнительной власти

Цели

Используя открытые и научно объективные передовые методы, органы статистики стремятся повысить качество, конкретность и своевременность выдаваемых статистических данных при одновременном снижении эксплуатационных расходов и обеспечении конфиденциальности респондентов

Описание варианта использования

Затраты на проведение статистических обследований растут, в то время как активность респондентов падает. В данной работе изучается потенциал использования нетрадиционных коммерческих и публичных источников данных из интернета, беспроводной связи и электронных транзакций, которые в рамках аналитических исследований объединяются с данными традиционных статистических обследований с целью повысить качество статистики для небольших регионов и новых показателей, а также обеспечить своевременность публикуемой статистики

Текущие решения

Вычислительная система Системы под ОС Linux

Хранилище данных

В SAN-сети систем хранения данных (Storage Area Network) и на непосредственно подключаемых к серверу устройствах (Direct Storage)

Сеть связи

Оптоволоконный кабель, 10 - гигабитный Ethernet, 40 - гигабитный Infiniband

Программное обеспечение

Hadoop, Spark, Hive, R, SAS, Mahout, Allegrograph, MySQL, Oracle, Storm, BigMemory, Cassandra, Pig

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Данные обследований, другие государственные административные данные, данные из интернета, систем беспроводной связи, данные электронных транзакций, возможно, данные из социальных сетей, а также геопространственные данные из различных источников

Объем (количество)

Будет определен в будущем

Скорость обработки (например, в реальном времени)

Будет определена в будущем

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Текстовые данные, а также традиционным образом определенные текстовые строки и числовые поля. Данные могут происходить из нескольких наборов данных, объединенных для целей аналитики

Вариативность (темпы изменения)

Будет определена в будущем

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Данные должны иметь высокую степень достоверности, а системы должны быть очень надежными. Остается проблемой семантическая целостность концептуальных метаданных, описывающих, что именно измеряется, и вытекающие из этого пределы точности выводов

Визуализация

Визуализация полезна для проверки данных, оперативной деятельности и общего анализа. Продолжает развиваться

Качество данных (синтаксис)

Качество данных должно быть высоким и статистически проверяться на точность и надежность на протяжении всего процесса сбора данных

Типы данных

Текстовые данные, предопределенные ASCII - строки и числовые данные

Аналитика данных

Аналитика необходима для получения надежных оценок на основе совместного использования данных традиционных обследований, государственных административных данных и данных из нетрадиционных источников сферы цифровой экономики

Иные проблемы больших данных

Совершенствование систем аналитики и моделирования, выдающих надежные и устойчивые статистические оценки с использованием данных из ряда источников и являющихся научно прозрачными, которые одновременно обеспечивают надежные и публично проверяемые меры защиты конфиденциальности

Проблемы пользовательского интерфейса и мобильного доступа

Мобильный доступ важен

Технические проблемы обеспечения безопасности и защиты персональных данных

Необходимо обеспечить безопасность и конфиденциальность всех данных. Согласно требованиям законодательства должна быть обеспечена возможность аудита всех процессов на предмет обеспечения безопасности и конфиденциальности

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Процесс получения статистических оценок, способный дать более детальные оценки в режиме почти реального времени и с меньшими затратами. Надежность статистических оценок, полученных на основе комбинирования данных из подобных смешанных источников, пока еще предстоит определить

Дополнительная информация (гиперссылки)

Название

Данный вариант использования представляет собой один из подходов к внедрению стратегии больших данных в рамках облачной экосистемы для секторов финансовой отрасли, осуществляющих операции в Соединенных Штатах

Предметная область

Включает следующие направления основной деловой деятельности:

Банковское дело, в том числе: обслуживание юридических лиц, обслуживание физических лиц, кредитные карты, потребительское кредитование, обслуживание корпоративных клиентов, операционное обслуживание, финансирование торговых операций и глобальные платежи.

Ценные бумаги и инвестиции, включая: брокерское обслуживание физических лиц, банковское обслуживание состоятельных физических лиц/управление частным капиталом, брокерское обслуживании институциональных инвесторов, инвестиционно-банковские услуги, трастовые банковские услуги, управление активами, депозитарные и клиринговые услуги

Страхование, в том числе: персональное и групповое страхование жизни, персональное и групповое страхование имущества/несчастных случаев, фиксированный и переменный аннуитет и другие виды инвестиций.

Для сведения: Любая государственная/частная организация, предоставляющая финансовые услуги и подпадающая под действие законодательства США в плане нормативно-правового риска и обязанности исполнять нормативно-правовые требования, обязана соответствовать сложной многослойной системе стратегического управления, управления рисками и соблюдения требований (GRC), а также конфиденциальности, целостности и доступности (confidentiality, integrity, and availability, CIA), надзор над исполнением которых осуществляется различными юрисдикциями и органами, в том числе федеральными, штатов, местными и трансграничными

Автор/организация/ эл.почта

П.Кэри (Pw Carey), Compliance Partners LLC, [email protected]

Акторы/ заинтересованные лица, их роли и ответственность

Регулирующие и консультативные организации и органы, в том числе Федеральная комиссия по ценным бумагам и биржам (Securities and Exchange Commission, SEC), Федеральная корпорация страхования депозитов (FDIC), Комиссия по торговле товарными фьючерсами (Commodity Futures Trading Commission, CFTC), Казначейство США, Некоммерческая организация по надзору за отчетностью публичных компаний, США (PCAOB), Комитет спонсорских организаций (COSO), CobiT, лица и организации, участвующие в подготовке отчетности, заинтересованные стороны, инвестиционное сообщество, акционеры, пенсионные фонды, высшее руководство организаций, хранители данных и иные сотрудники.

На каждом уровне организации финансовых услуг существует взаимосвязанное и взаимозависимое сочетание обязанностей, обязательств и ответственности тех, кто непосредственно несет ответственность за использование, подготовку и передачу финансовых данных, тем самым соответствуя требованиям стратегического управления, управления рисками и соблюдения требований (GRC), (GRC), так и конфиденциальности, целостности и доступности (CIA) финансовых данных их организаций. Эта же информация напрямую связана с поддержанием репутации, доверия и жизнеспособностью бизнеса организации

Цели

В данном варианте использования представлен один из подходов к разработке работоспособной стратегии внедрения больших данных в сфере финансовых услуг. До начала внедрения и переключения на новые технологии организация должна выполнить ряд действий, следуя базовой методологии использования больших данных в рамках облачной экосистемы, адресованной как государственным, так и частным финансовым учреждениям, предлагающим финансовые услуги в рамках федеральной юрисдикции США, юрисдикции штатов и местных органов власти и/или в иных юрисдикциях, таких как Великобритания, Евросоюз и Китай.

Каждая предоставляющая финансовые услуги организация должна подходить к введению последующих мер, поддерживающих их инициативу в области больших данных, с пониманием и осознанием того воздействия, которое каждый из накладывающихся друг на друга и взаимозависимых факторов будет оказывать в реализации.

Цели

Эти четыре фактора следующие:

1) люди (как ресурсы),

2) процессы (время/расходы/возврат на инвестиции),

3) технологии (различные операционные системы, платформы, а также зоны влияния/масштабы воздействия технологий), и

4) регуляторное управление (зависит от многочисленных различных регулирующих органов).

Кроме того, эти четыре фактора должны быть выявлены, проанализированы, оценены, должны быть приняты соответствующие меры, проведены тестирование и анализ результатов в ходе подготовки к переходу на следующие этапы внедрения:

1) инициирование проекта и получение поддержки со стороны руководства,

2) оценка рисков и выбор мер контроля и управления,

3) анализ влияния на деловую активность,

4) проектирование, разработка и тестирование стратегий обеспечения непрерывности деловой активности,

5) реагирование и деятельность в условиях чрезвычайных ситуаций (известное также как "Восстановление после катастроф"),

6) разработка и внедрение планов обеспечения непрерывности деловой активности,

7) программы ознакомления и обучения,

8) реализация мер по обеспечению непрерывности деловой активности (известное также как Maintaining Regulatory Currency - поддержание доверия со стороны регуляторов).

Примечание - Где уместно, эти восемь направлений деятельности должны быть адаптированы и модифицированы в соответствии с потребностями каждой организации, ее уникальной корпоративной культурой и видами оказываемых финансовых услуг

Описание варианта использования

Разработанная Google технология больших данных предназначалась для использования в качестве инструмента индексирования веб-сайтов в интернете, помогая компании сортировать, перемешивать, классифицировать и маркировать интернет. Первоначально она не рассматривалась как замена для устаревших ИТ-инфраструктур данных. Благодаря побочным разработкам в рамках OpenGroup и Hadoop, большие данные превратились в надежный инструмент анализа и хранения данных, который все еще продолжает развиваться. В итоге, однако, технологии больших данных по-прежнему разрабатываются в качестве дополнения к существующим ИТ-архитектурам хранилищ данных типа клиент/сервер/суперкомпьютер, что в некоторых отношениях лучше, чем эти самые среды хранилищ данных, но не во всех.

В настоящее время в финансовой отрасли большие данные/Hadoop используются для выявления мошенничества, анализа и оценки рисков, а также для расширения своих знаний и понимания клиентов в рамках стратегии, известной как "знай своего клиента?

Однако эта стратегия по-прежнему должна следовать хорошо продуманной таксономии, которая удовлетворяет уникальные и индивидуальные потребности субъектов. Одной из таких стратегий является следующая формальная методология, которая дает ответ на два простейших, но крайне важных вопроса: "Что мы делаем?" и "Почему мы это делаем?".

1) Заявление о политике/устав проекта (цель плана, причины и ресурсы - все это следует определить).

2) Анализ воздействия на деловую деятельность (как приложенные усилия улучшают наши деловые услуги).

3) Определение общесистемных политик, процедур и требований.

4) Определение наилучшей практики внедрения (включая управление изменениями/управление конфигурацией) и/или будущих доработок.

5) План "Б" - стратегии восстановления (как и что нужно будет восстанавливать, если это потребуется).

6) Разработка плана (пишется план и определяются его элементы).

7) Обеспечение поддержки плана в организации и его тестирование (важно, чтобы все знали план и знали, что делать).

8) Реализация плана (затем выявляются и устраняются недостатки - после первых 3 мес, после 6 мес и ежегодно с момента первоначальной реализации).

9) Актуализация (постоянный мониторинг и внесение изменений, отражающих текущее состояние корпоративной среды).

10) Наконец, вывод системы из эксплуатации

Текущие решения

Вычислительная система

В настоящее время большие данные/Hadoop в облачной экосистеме в рамках финансовой отрасли работают как часть гибридной системы, причем технология больших данных используется в качестве полезного инструмента для проведения анализа рисков и выявления мошенничества, а также помогает организациям в процессе "знай своего клиента". Три области, в которых большие данные хорошо себя проявили, следующие:

1) выявление мошенничества,

2) взаимосвязанные риски, и

3) стратегия "знай своего клиента".

В то же время традиционные клиент/сервер/хранилище данных/СУБД используются для управления, обработки, хранения и архивирования финансовых данных субъектов. Недавно SEC одобрила инициативу, согласно которой с 13 мая 2013 г. учреждения финансовой отрасли должны будут представлять документы финансовой отчетности в формате XBRL

Хранилище данных

Одни и те же федеральные, штатов, местные и трансграничные законодательно-нормативные требования могут оказывать влияние в любых географических точках, затрагивая решения VMware, NetApps, Oracle, IBM, Brocade и т.д.

Для сведения

Исходя из требований законодательства эти решения для хранения данных финансовой отрасли должны обеспечивать исполнение существующих на данный момент времени американских законодательно-нормативных требований стратегического управления, управления рисками и соблюдения требований (GRC) и конфиденциальности, целостности и доступности (CIA).

Чтобы убедиться в этом, необходимо посетить веб-сайты следующих федеральных органов: Федеральной комиссии по ценным бумагам и биржам (Securities and Exchange Commission, SEC), Комиссии по торговле товарными фьючерсами (Commodity Futures Trading Commission, CFTC), Федеральной корпорации страхования депозитов (FDIC), Министерства юстиции США (U.S. Department of Justice), и Некоммерческой организации по надзору за отчетностью публичных компаний, США (PCAOB)

Сеть связи

Для сведения

Одни и те же федеральные, штатов, местные и трансграничные законодательно-нормативные требования могут оказывать влияние в любых географических точках расположения оборудования и программного обеспечения, включая, но не ограничиваясь системами типа WAN, LAN, MAN, WiFi, оптоволокно, доступ в интернет, через публичные, частные, кооперативные и гибридные облачные среды, с VPN или без него.

Исходя из требований законодательства эти сетевые решения для данных финансовой отрасли должны обеспечивать исполнение существующих на данный момент времени американских законодательно-нормативных требований стратегического управления, управления рисками и соблюдения требований (GRC) и конфиденциальности, целостности и доступности (CIA), таких как требования Казначейства США.

Чтобы убедиться в этом, пожалуйста, посетите веб-сайты следующих федеральных органов: SEC, CFTC, FDIC, Казначейства США, Министерства юстиции США и Некоммерческой организации по надзору за отчетностью публичных компаний, США (PCAOB)

Программное обеспечение

Для сведения

Те же федеральные, штатов, местные и трансграничные законодательно-нормативные требования, что оказывают влияние в местах расположения оборудования и программного обеспечения, также ограничивают возможное местоположение для решений с открытым исходным кодом Hadoop, Map/Reduce и проприетарных решений поставщиков, таких как AWS (Amazon Web Services), Google Cloud Services и Microsoft.

Исходя из требований законодательства эти программные решения, включающие как протокол SOAP (Simple Object Access Protocol) для веб-разработки, так и программный язык OLAP (online analytical processing) для баз данных, особенно в случае обработки данных финансовой отрасли, должны обеспечивать соответствие этих данных существующим на данный момент времени американским законодательно-нормативным требованиям стратегического управления, управления рисками и соблюдения требований (GRC) и конфиденциальности, целостности и доступности (CIA).

Чтобы убедиться в этом, пожалуйста, посетите веб-сайты следующих федеральных органов: SEC, CFTC, Казначейства США, FDIC, Министерства юстиции США и Некоммерческой организации по надзору за отчетностью публичных компаний, США (PCAOB)

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Для сведения

Те же федеральные, штатов, местные и трансграничные законодательно-нормативные требования, что оказывают влияние в местах расположения оборудования и программного обеспечения, также оказывают свое влияние в местах расположения распределенных/централизованных источников данных, поступающих в среду высокой доступности с обеспечением восстановления после катастроф (HA/DR Environment) и в хостинговый виртуальный сервер (HVS), например, в следующих конфигурациях: DC1 - > VMWare/KVM (кластеры, с виртуальными брандмауэрами), Data link - VMWare Link - Vmotion Link - Network Link, несколько мостовых соединений с поставщиком (PB) в рамках NaaS (сеть как сервис), DC2 - > VMWare/KVM (кластеры с виртуальными брандмауэрами), DataLink (Vmware Link, Vmotion Link, Network Link), несколько мостовых соединений с поставщиком в рамках NaaS (требуется отказоустойчивая виртуализация), среди прочих соображений.

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Исходя из требований законодательства эти решения для источников данных, как распределенных, так и/или централизованных, в случае обработки данных финансовой отрасли должны обеспечивать соответствие этих данных существующим на данный момент времени американским законодательно-нормативным требованиям стратегического управления, управления рисками и соблюдения требований (GRC) и конфиденциальности, целостности и доступности (CIA).

Чтобы убедиться в этом, пожалуйста, посетите веб-сайты следующих федеральных органов: SEC, CFTC, Казначейства США, FDIC, Министерства юстиции США и Некоммерческой организации по надзору за отчетностью публичных компаний, США (PCAOB)

Объем (количество)

От нескольких терабайт до нескольких петабайт.

Для сведения

Это зона, свободная от флоппи-дисков

Скорость обработки (например, в реальном времени)

При использовании больших данных в финансовой отрасли скорость обработки более важна для выявления мошенничества, оценки риска и в рамках процесса "знай своего клиента".

Для сведения

Однако исходя из требований законодательства, скорость обработки не является проблемой для решений на основе технологии больших данных, используемых для обработки данных финансовой отрасли, за исключением задач выявления мошенничества, анализа рисков и анализа клиентов.

Исходя из установленных законодательством ограничений, скорость обработки не является проблемой; скорее, главной проблемой при обработке данных финансовой отрасли является необходимость обеспечивать соответствие существующим на данный момент времени американским законодательно-нормативным требованиям стратегического управления, управления рисками и соблюдения требований (GRC) и конфиденциальности, целостности и доступности (CIA)

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Различные виртуальные среды, работающие в рамках архитектуры пакетной обработки или параллельной архитектуры с "горячей" заменой (hot-swappable parallel architecture), поддерживающие выявление мошенничества, оценку риска и решений по обслуживанию клиентов.

Для сведения

Исходя из требований законодательства, разнообразие не является проблемой для решений на основе технологии больших данных, используемых для обработки данных финансовой отрасли в рамках облачной экосистемы, за исключением задач выявления мошенничества, анализа рисков и анализа клиентов.

Исходя из установленных законодательством ограничений, разнообразие не является проблемой; скорее, главной проблемой при обработке данных финансовой отрасли является необходимость обеспечивать соответствие существующим на данный момент времени американским законодательно-нормативным требованиям стратегического управления, управления рисками и соблюдения требований (GRC) и конфиденциальности, целостности и доступности (CIA)

Вариативность (темпы изменения)

Для сведения

Исходя из требований законодательства, вариативность не является проблемой для решений на основе технологии больших данных, используемых для обработки данных финансовой отрасли в рамках облачной экосистемы, за исключением задач выявления мошенничества, анализа рисков и анализа клиентов.

Исходя из установленных законодательством ограничений, вариативность не является проблемой; скорее, главной проблемой при обработке данных финансовой отрасли является необходимость обеспечивать соответствие существующим на данный момент времени американским законодательно-нормативным требованиям стратегического управления, управления рисками и соблюдения требований (GRC) и конфиденциальности, целостности и доступности (CIA).

Вариативность больших данных финансовой отрасли в облачной экосистеме будет зависеть от силы и полноты соглашений об уровне обслуживания (SLA), от связанных с деловой активностью и зависящих от ее потребностей капитальных затрат (CapEx)

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Для сведения

Исходя из требований законодательства, достоверность не является проблемой для решений на основе технологии больших данных, используемых для обработки данных финансовой отрасли в рамках облачной экосистемы, за исключением задач выявления мошенничества, анализа рисков и анализа клиентов.

Исходя из установленных законодательством ограничений, достоверность не является проблемой; скорее, главной проблемой при обработке данных финансовой отрасли является необходимость обеспечивать соответствие существующим на данный момент времени американским законодательно-нормативным требованиям стратегического управления, управления рисками и соблюдения требований (GRC) и конфиденциальности, целостности и доступности (CIA).

В облачной экосистеме больших данных целостность данных важна на протяжении всего жизненного цикла организации, связанных с защитой персональных данных и обеспечением безопасности и законодательно-нормативных требований стратегического управления, управления рисками и соблюдения требований (GRC) и конфиденциальности, целостности и доступности (CIA)

Визуализация

Для сведения

Исходя из требований законодательства, визуализация не является проблемой для решений на основе технологии больших данных, используемых для обработки данных финансовой отрасли, за исключением задач выявления мошенничества, анализа рисков и анализа клиентов; данные обрабатываются традиционными клиент/сервер/хранилище данных - серверами на базе суперкомпьютеров.

Визуализация

Исходя из установленных законодательством ограничений, визуализация не является проблемой; скорее, главной проблемой при обработке данных финансовой отрасли является необходимость обеспечивать соответствие существующим на данный момент времени американским законодательно-нормативным требованиям стратегического управления, управления рисками и соблюдения требований (GRC) и конфиденциальности, целостности и доступности (CIA).

Целостность данных в рамках больших данных играет критически важную роль на протяжении всего жизненного цикла организации ввиду законодательно-нормативных требований стратегического управления, управления рисками и соблюдения требований (GRC) и конфиденциальности, целостности и доступности (CIA)

Качество данных (синтаксис)

Для сведения

Исходя из требований законодательства, качество данных всегда будет серьезным вопросом, вне зависимости от отрасли или платформы.

Исходя из установленных законодательством ограничений, качество данных является ключевым для целостности данных; и оно представляет собой главную проблему при обработке данных финансовой отрасли в связи с необходимостью обеспечивать их соответствие существующим на данный момент времени американским законодательно-нормативным требованиям стратегического управления, управления рисками и соблюдения требований (GRC) и конфиденциальности, целостности и доступности (CIA). Для больших данных финансовой отрасли целостность данных играет критически важную, ключевую роль на протяжении всего жизненного цикла организации ввиду, целостности и доступности (CIA)

Типы данных

Для сведения

Исходя из требований законодательства, типы данных важны ввиду того, что они должны обладать определенной степенью согласованности и особенно жизнеспособности во время аудитов и цифровой криминалистической экспертизы, когда деградация формата данных может негативно повлиять как на аудит, так и на криминалистическую экспертизу, когда те проходят через несколько циклов. Многочисленные типы данных и форматов в составе больших данных финансовой отрасли включают (но не ограничиваются ими): плоские файлы, txt, .pdf, файлы приложений для Android, .wav, .jpg и VOIP (передача голоса с использованием протокола IP)

Аналитика данных

Для сведения

Исходя из требований законодательства аналитика данных является серьезным вопросом для решений на основе технологии больших данных, используемых для обработки данных финансовой отрасли, особенно в плане задач выявления мошенничества, анализа рисков и анализа клиентов. В то же время задачи аналитики данных для данных финансовой отрасли в настоящее время обрабатываются традиционными клиент/сервер/хранилище данных - серверами на базе суперкомпьютеров, которые должны обеспечивать соответствие существующим на данный момент времени американским законодательно-нормативным требованиям стратегического управления, управления рисками и соблюдения требований (GRC) и конфиденциальности, целостности и доступности (CIA).

Для целей аналитики данных на основе больших данных финансовой отрасли, данные должны поддерживаться в формате, исключающем деградацию во время обработки и процедур поиска и анализа

Иные проблемы больших данных

В настоящее время проблемные области, связанные с большими данными финансовой отрасли в рамках облачной экосистемы, включают в себя агрегирование и хранение данных (чувствительных, токсичных и иных) из нескольких источников, что может создавать и создает административные и управленческие проблемы, связанные со следующими аспектами:

- контроль доступа,

- управление/администрирование,

- право на получение данных, и

- права собственности на данные.

Тем не менее, как показывает текущий анализ, эти вопросы и проблемы широко известны и решаются в данный момент времени поставщиками технологий с помощью методологий управления жизненным циклом программного обеспечения и оборудования (Software Development Life Cycle/Hardware Development Life Cycle, SDLC/HDLC) на стадиях исследований и разработки

Проблемы пользовательского интерфейса и мобильного доступа

Обеспечение мобильного доступа - это постоянно растущий слой технической сложности, однако не все решения для мобильного использования больших данных носят технический характер. Есть две взаимосвязанные и взаимозависимые стороны, которые должны работать вместе над тем, чтобы найти работоспособное и жизнеспособное решение - это представители основной деятельности финансовой отрасли и ИТ. Технические проблемы решаемы, если обе эти стороны согласны использовать общую лексику и таксономию и уважают, и понимают требования, которые каждая из них обязана удовлетворить.

Обе стороны в рамках этих совместных усилий столкнутся со следующими существующими и длящимися проблемными вопросами, связанными с данными финансовой отрасли:

- несогласованность при отнесении к категориям,

- изменения с течением времени в системах классификации,

- использование нескольких перекрывающихся или различающихся схем категоризации.

Помимо решения задачи, связанной с этими изменяющимися и эволюционирующими несоответствиями, необходимо также обеспечить следующие характеристики данных, связанные с принципом ACID:

- атомарность (Atomic) - либо будут полностью выполнены все подоперации в рамках транзакции, либо не будет выполнена ни одна из них.

- согласованность (Consistent) - в результате выполнения транзакции база данных переходит из одного согласованного состояния в другое согласованное состояние. Согласованность определяется с точки зрения выполнения ограничений.

- изолированность (Isolated) - результаты любых изменений, внесенных в ходе транзакции, не видны до тех пор, пока транзакция не будет полностью завершена.

- стойкость (Durable) - изменения, внесенные успешно совершенной транзакцией, должны сохраниться в случае сбоев и отказов системы

Технические проблемы обеспечения безопасности и защиты персональных данных

Никакое количество должной предусмотрительности, проявленной в вопросах безопасности и защиты персональных данных, не способно компенсировать врожденные недостатки, связанные с природой человека и проникающие в любую программу и/или стратегию. В настоящее время при внедрении технологии больших данных в финансовой отрасли приходится иметь дело с растущим числом групп риска, среди которых, в частности, можно назвать такие, как:

- борьба с легализацией (отмыванием) незаконных доходов (Anti-Money Laundering),

- надлежащая проверка клиентов (Client Due Diligence),

- списки наблюдения (Watch lists),

- федеральный закон США о борьбе с коррупцией в международной деятельности (Foreign Corrupt Practices Act, FCPA).

Технические проблемы обеспечения безопасности и защиты персональных данных

Для того чтобы получить представление о реальном положении дел, посмотрите на девятилетние усилия Гарри Маркополоса (Harry M. Markopolos), направленные на то, чтобы заставить SEC, среди других федеральных органов исполнительной власти США, выполнить свою работу и закрыть финансовую пирамиду Бернарда Мэдоффа (Bernard Madoff) на сумму в миллиард долларов.

Помимо этого, выявление и удовлетворение требований по защите неприкосновенности частной жизни и безопасности для организаций финансовой отрасли, предоставляющих услуги в рамках экосистемы больших данных/облака, благодаря постоянному совершенствованию:

1) технологий,

2) процессов,

3) процедур,

4) кадров и

5) нормативного регулирования,

- это гораздо лучший выбор как для отдельного человека, так и для организации, особенно если сравнить с альтернативами.

Используя многоуровневый подход, данную стратегию можно разбить на следующие подкатегории:

1) поддержание устойчивости операционной деятельности,

2) защита ценных активов,

3) контроль над учетными записями в системе,

4) эффективное управление сервисами безопасности, и

5) поддержание устойчивости операционной деятельности.

За дополнительной информацией о базовых решениях задач безопасности и защиты персональных данных рекомендуется обращаться к двум организациям:

- Международная ассоциация аудита и контроля информационных систем (ISACA);

- Международный консорциум по сертификации в области безопасности информационных систем (isc2)

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Проблемные области включают в себя агрегирование и хранение данных из нескольких источников, где могут возникнуть проблемы, связанные с:

- контролем доступа,

- управлением/администрированием,

- правом на получение данных, и

- правами собственности на данные.

Каждая из этих областей совершенствуется, но на них, тем не менее, следует обратить внимание и принять меры, используя решения для контроля доступа и инструменты управления информацией о безопасности и событиями безопасности SIEM (Security information and event management).

Эта задача пока что не решена, принимая во внимание проблемы безопасности, которые упоминаются всякий раз, когда речь заходит о больших данных/Hadoop в рамках облачной экосистемы.

Текущие и длящиеся проблемы внедрения больших данных для финансовой отрасли в рамках облачной экосистемы, а также традиционных архитектур типа клиент/сервер/хранилище данных, включают следующие области финансового учета в соответствии как с общепринятыми принципами бухгалтерского учета США (U.S. Generally Accepted Accounting Practices, US GAAP), так и Международными стандартами финансовой отчетности, МСФО (International Financial Reporting Standards, IFRS):

- использование расширяемого языка разметки для деловой отчетности (XBRL);

- согласованность (терминологии, форматирования, технологий, нормативного регулирования);

- предписание Федеральной комиссии по ценным бумагам и биржам SEC использовать XBRL для финансовой отчетности перед регулятором;

- меняются требования SEC, принципы бухгалтерской отчетности GAAP/IFRS и еще не полностью завершенное новое финансовое законодательство, влияющее на требования к отчетности, - и эти изменения указывают на попытки усовершенствовать наилучшие практики внедрения, тестирования, обучения, отчетности и информационного обмена, требуемые от независимого аудитора в отношении аудита, аудиторских отчетов, самооценки мер контроля и управления, финансовых аудитов, внутренних аудитов, соблюдения Общепринятых стандартов аудита (Generally Accepted Auditing Standards, GAAS)/Международных стандартов аудита (International Standard on Auditing, ISA), а также Закона Сарбейнса-Оксли 2002 г.(Sarbanes-Oxley Act of 2002, SOX)

Дополнительная информация (гиперссылки)

1) "10 главных проблем обеспечения безопасности и неприкосновенности частной жизни при использовании технологии больших данных" (Top 10 Challenges in big data Security and Privacy), Рабочая группа по большим данным Альянса облачной безопасности (Cloud Security Alliance), 2012, https://downloads.cloudsecurityalliance.org/initiatives/bdwg/

Big_Data_Top_Ten_v1.pdf

2) Рабочая группа "Международная финансовая отчетность, ценные бумаги и рынки" (IFRS, Securities and Markets Working Group) на сайте сообщества XBRL Europe (https://www.xbrleurope.org/), продвигающего использование языка XBLR в Европе, см. https://www.xbrleurope.org/?page_id=357

3) Конференция по большим данным Международной ассоциации специалистов по электротехнике и радиоэлектронике IEEE (IEEE International Conference on Big Data), см. http://bigdataieee.org/

4) Сайт по технологии Map/Reduce, http://www.mapreduce.org (ссылка неработающая)

5) Некоммерческая организация по надзору за отчетностью публичных компаний, США (PCAOB), https://pcaobus.org/

6) Аналитика по вопросам страхования на сайте фирмы "Эрнст и Янг" (Ernst & Young), см. https://www.ey.com/en_gl/insurance

7) Ресурсы по теме финансовых рынков и финансовых институтов на сайте Казначейства США, см. https://www.treasury.gov/resource-center/fin-mkts/Pages/default.aspx

8) Комиссия по торговле товарными фьючерсами (Commodity Futures Trading Commission, CFTC), см. https://www.cftc.gov/

9) Федеральная комиссия по ценным бумагам и биржам (Securities and Exchange Commission, SEC), см. https://www.sec.gov/

10) Федеральная корпорация страхования депозитов (FDIC), см. https://www.fdic.gov/

11) Комитет спонсорских организаций (COSO), см. https://www.coso.org/

12) Международный консорциум по сертификации в области безопасности информационных систем (isc2), см. https://www.isc2.org/

13) Международная ассоциация аудита и контроля информационных систем (ISACA), см. https://www.isaca.org/

14) Фонд IFRS - разработчик Международных стандартов финансовой отчетности, МСФО (International Financial Reporting Standards, IFRS), см. https://www.ifrs.org/

15) Сайт консорциума Open Group, https://www.opengroup.org/

16) Джейкумар Виджаян (Jaikumar Vijayan) "ИТ должно подготовиться к проблемам безопасности в Hadoop" (IT must prepare for Hadoop security issues), Computerworld, 9 ноября 2011 года, см. https://www.computerworld.com/article/2498601/it-must-prepare-

for-hadoop-security-issues.html

17) Гарри Маркополос "Финансовая пирамида Бернарда Мэдоффа. Расследование самой грандиозной аферы в истории", изд-во Диалектика, 2012, ISBN: 978-5-8459-1686-0, 978-0-470-55373-2

18) "Оценка финансовой пирамиды Мэдоффа и провалов в работе регуляторов" (Assessing the Madoff Ponzi Scheme and Regulatory Failures), слушания подкомитета по рынкам капитала, страхованию и спонсируемым государством предприятиям (Subcommittee on Capital Markets, Insurance, and Government Sponsored Enterprises), 2009 год, https://www.gpo.gov/fdsys/pkg/CHRG-111hhrg48673/pdf/CHRG-111hhrg48673.pdf

19) Сайт ITIL (Библиотека инфраструктуры информационных технологий), см. https://www.axelos.com/best-practice-solutions/itil

20) Стандарт COBIT® 2019 CobiT (от Control Objectives for Information and Related Technology - "Цели управления информационными и смежными технологиями") на сайте Международной ассоциации аудита и контроля информационных систем (ISACA), см. https://www.isaca.org/resources/cobit

21) Концепция архитектуры "Открытой группы" (The Open Group Architecture Framework, TOGAF) версии 9.2, http://www.opengroup.org/togaf/

22) Международный стандарт ИСО/МЭК 27000:2018 "Информационная технология. Методы и средства обеспечения безопасности. Системы менеджмента информационной безопасности. Общий обзор и терминология" (Information technology - Security techniques - Information security management systems - Overview and vocabulary), https://www.iso.org/standard/73906.html , свободно доступен по адресу https://standards.iso.org/ittf/PubliclyAvailableStandards/c073906_ISO_IEC_

27000_2018_E.zip

Название

Международная исследовательская сеть Mendeley

Предметная область

Коммерческие облачные услуги для клиентов

Автор/организация/ эл.почта

Уильям Ган (William Gunn)/Mendeley/[email protected]

Акторы/ заинтересованные лица, их роли и ответственность

Исследователи, библиотекари, издатели и финансирующие организации

Цели

Содействие более быстрому прогрессу в научных исследованиях, обеспечивая возможность исследователям эффективно сотрудничать, библиотекарям - понимать потребности исследователей, издателям - быстрее и шире распространять результаты исследований, а финансирующим организациям - лучше понимать воздействие финансируемых ими проектов

Описание варианта использования

Международная сеть "Менделей" (Mendeley) создала базу данных научно-исследовательских материалов, которая облегчает создание коллективно используемых библиографий. Менделей использует собранную информацию о закономерностях чтения материалов об исследованиях, а также о других видах деятельности, осуществляемых с помощью программного обеспечения, с целью создания более эффективных инструментов для поиска и анализа научной литературы.

Системы интеллектуального анализа и классификации текста позволяют автоматически рекомендовать взаимосвязанные исследования, повышая производительность и экономическую эффективность исследовательских групп, в особенности тех, которые занимаются мониторингом литературы по конкретной теме, таких как группа "Информатика генома мышей" (Mouse Genome Informatics) в некоммерческом научно-исследовательском институте Jackson Laboratory, в которой большая группа специалистов занимается просмотром литературы "вручную".

Другие варианты использования включают поддержку более быстрого распространения публикаций издателями, содействие научно-исследовательским учреждениям и библиотекарям в исполнении планов менеджмента данных, а также предоставление спонсорам возможности лучше понять воздействие финансируемой ими работы благодаря доступным в реальном времени данным о доступе и использовании финансируемых исследований

Текущие решения

Вычислительная система

Amazon EC2

Хранилище данных

HDFS Amazon S3

Сеть связи

Клиент - серверные соединения между компьютерами Mendeley и конечных пользователей, соединения между офисами Mendeley и сервисами Amazon

Программное обеспечение

Hadoop, Scribe, Hive, Mahout, Python

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Распределенные и централизованные

Объем (количество)

В настоящее время 15 терабайт, с темпом прироста около 1 терабайта в месяц

Скорость обработки (например, в реальном времени)

В настоящее время пакетные задания Hadoop планируются раз в день, но началась работа над рекомендациями по выполнению работ в реальном времени

Разнообразие (множество наборов данных, комбинация данных из различных источников)

PDF-документы, лог-файлы социальной сети и активности клиентов

Вариативность (темпы изменения)

В настоящее время темпы роста высокие, поскольку все больше исследователей подписываются на данную услугу; темпы роста сильно колеблются в течение года

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Извлечение метаданных из PDF-файлов осуществляется в различной степени; выявление дубликатов является проблемой; нет универсальной системы идентификаторов для документов и авторов (хотя "Открытый идентификатор исследователя и участника" ORCID (Open Researcher and Contributor ID) обещает решить эту задачу)

Визуализация

Визуализация сети с использованием программного обеспечения Gephi, диаграммы рассеяния (scatterplots) в плоскости читательская аудитория - цитируемость, и т.д.

Качество данных (синтаксис)

На основе сопоставления со сведениями в базах данных Crossref, PubMed и arXiv, корректность извлечения метаданных оценивается в 90%

Типы данных

В основном PDF-файлы, а также некоторое количество графических образов, электронных таблиц и презентаций

Аналитика данных

Стандартные библиотеки для проведения машинного обучения и аналитики, выполнения латентного размещения Дирихле (LDA), а также специально разработанные инструменты составления отчетности и визуализации данных для агрегирования сведений о читательской и социальной активности, связанной с каждым документом

Иные проблемы больших данных

База данных содержит примерно 400 миллионов документов, в том числе около 80 миллионов уникальных документов, принимая в рабочие дни от 500 до 700 тысяч новых загрузок. Таким образом, основная проблема заключается в группировке соответствующих друг другу документов вычислительно эффективным (т.е. масштабируемым и распараллеливаемым) способом, когда они загружаются из разных источников и могут быть слегка модифицированы инструментами аннотирования третьих сторон или же путем присоединения титульных страниц или наложения "водяных знаков" издателя

Проблемы пользовательского интерфейса и мобильного доступа

Доставка контента и услуг на различные вычислительные платформы, от настольных компьютеров под Windows до мобильных устройств под ОС Android и iOS

Технические проблемы обеспечения безопасности и защиты персональных данных

Исследователи, особенно отраслевые, часто хотят, чтобы сведения о том, что они читают, оставались конфиденциальными, поэтому доступ к данным о том, кто что читает, контролируется

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Данный вариант использования может быть обобщен как предоставление основанных на контенте рекомендаций для различных сценариев потребления информации

Дополнительная информация (гиперссылки)

Сайт Mendeley, https://www.mendeley.com/

Портал Mendeley для разработчиков, https://dev.mendeley.com/

Название

Сервис кинофильмов Netflix

Предметная область

Коммерческие облачные услуги для клиентов

Автор/организация/ эл.почта

Джоффри Фокс (Geoffrey Fox), университет штата Индиана (США), [email protected]

Акторы/ заинтересованные лица, их роли и ответственность

Компания Netflix (устойчивое развитие бизнеса), провайдер облачных услуг (поддержка потоковой передачи и анализа данных), пользователь-клиент (отбор и просмотр хороших фильмов по требованию)

Цели

Обеспечение потоковой передачи выбранных пользователем фильмов с целью достижения нескольких целей (в интересах различных заинтересованных сторон), - в первую очередь, с целью удержания подписчиков. Определение наилучшей возможной подборки видеоматериалов для пользователя (домохозяйства) в заданном контексте, в режиме реального времени; максимизация потребления фильмов

Описание варианта использования

Цифровые фильмы хранятся в облаке вместе с метаданными, а также с индивидуальными профилями пользователей и рейтингами для небольшой части фильмов. Используется несколько критериев: рекомендательная система на основе контента, рекомендательная система на основе данных пользователей и разнообразие. Алгоритмы постоянно совершенствуются с помощью A/B - тестирования

Текущие решения

Вычислительная система

Amazon Web Services (AWS)

Хранилище данных

Используется технология Cassandra NoSQL вместе с Hive, Teradata

Сеть связи

Требуется система доставки контента для поддержки эффективного потокового видео

Программное обеспечение

Hadoop и Pig, Cassandra, Teradata

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Фильмы добавляются в сервис на основе соглашений с производителями контента. Распределенным образом собираются пользовательские рейтинги и профили

Объем (количество)

По состоянию на лето 2012 г.: 25 млн подписчиков; 4 млн оценок в день; 3 млн поисковых запросов в день; 1 млрд часов потокового видео в июне 2012 г. Объем облачного хранения 2 петабайта (июнь 2013 г.)

Скорость обработки (например, в реальном времени)

Контент (видео и характеристики) и рейтинги постоянно обновляются

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Данные варьируются от цифровых мультимедийных материалов до пользовательских рейтингов, профилей пользователей и параметров мультимедиа, используемых для основанных на контенте рекомендаций

Вариативность (темпы изменения)

Потоковое видео - очень конкурентный бизнес. Необходимо знать о других компаниях, а также о тенденциях, связанных как с контентом (какие фильмы популярны), так и с технологиями. Нужно изучать новые деловые инициативы, такие, как спонсируемый Netflix контент

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Для успешности бизнеса требуется отличное качество обслуживания

Визуализация

Потоковое мультимедиа и качественный пользовательский опыт, позволяющий выбирать контент

Качество данных (синтаксис)

Рейтинги по своей природе являются "непричесанными" данными, и для их обработки требуются надежные и устойчивые алгоритмы обучения

Типы данных

Мультимедийный контент, профили пользователей, набор пользовательских рейтингов

Аналитика данных

Рекомендательные системы и доставка потокового видео. Рекомендательные системы всегда персонализированы и используют логистическую/линейную регрессию, эластичные сети, факторизацию матриц, кластеризацию, латентное размещение Дирихле (LDA), ассоциативные правила, градиентный бустинг деревьев решений и другие инструменты. Победитель конкурса Netflix, в котором ставилась задача повышения рейтинга на 10%, использовал комбинацию более 100 различных алгоритмов

Иные проблемы больших данных

Аналитика требует постоянного мониторинга и совершенствования

Проблемы пользовательского интерфейса и мобильного доступа

Мобильный доступ важен

Технические проблемы обеспечения безопасности и защиты персональных данных

Необходимо защитить неприкосновенность частной жизни пользователей и цифровые права на контент.

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Рекомендательные системы имеют общие черты с системами электронной коммерции типа Amazon. Потоковое видео имеет общие черты с другими сервисами доставки контента, такими как iTunes, Google Play, Pandora и Last.fm

Дополнительная информация (гиперссылки)

Ксавьер Аматрян (Xavier Amatriain) "Создание реальных крупномасштабных рекомендательных систем - Обучающий курс Recsys - 2012" (Building Large - scale Real - world Recommender Systems - Recsys - 2012 Tutorial), конференция по рекомендательным системам 2012 г. Recsys-2012 в Дублине, Ирландия, https://www.slideshare.net/xamat/building-largescale-realworld-

recommender-systems-recsys2012-tutorial

"Алгоритм надежного выявления аномалий (Robust Anomaly Detection, RAD) - Выявление аномалий в больших данных" (RAD - Outlier Detection on big data), блог Netflix по техническим вопросам, https://netflixtechblog.com/rad-outlier-detection-on-big-data-d6b0494371cc

Название

Веб-поиск (Bing, Google, Yahoo и др.)

Предметная область

Коммерческие облачные услуги для клиентов

Автор/организация/ эл.почта

Джоффри Фокс (Geoffrey Fox), университет штата Индиана (США), [email protected]

Акторы/ заинтересованные лица, их роли и ответственность

Владельцы выложенной в Интернете информации, по которой проводится поиск; компании - поставщики поисковых систем; рекламодатели; пользователи

Цели

Выдать примерно через ~0,1 секунды результаты поиска по запросу, включающему в среднем три слова. Важно максимизировать такие метрики, как "точность 10 наилучших результатов" (precision@10), отражающие количество высокоточных/соответствующих запросу ответов в первой десятке лучших ранжированных результатов.

Описание варианта использования

1) Провести сканирование Интернета; 2) провести предварительную обработку данных с целью выделения элементов, по которым можно вести поиск (слова, позиции); 3) сформировать инвертированный индекс, связывающий слова с их местоположением в документах; 4) ранжирование документов по релевантности с использованием алгоритма PageRank; 5) использовать разнообразные рекламно-маркетинговые технологии, обратное проектирование определения моделей ранжирования либо блокирование обратного проектирования; 6) провести кластеризацию документов по темам (как в Google News); 7) обеспечить эффективное обновление результатов

Текущие решения

Вычислительная система

Крупные облачные системы

Хранилище данных

Инвертированный индекс не является огромным; в то же время собранные в ходе сканирования Интернета материалы представляют собой петабайты текста, а мультимедийные материалы по объемам еще намного больше

Сеть связи

В плане сетевой инфраструктуры, необходимы отличные внешние сетевые соединения; большинство операций хорошо распараллеливаются и требовательны к скорости ввода/вывода (I/O sensitive). Высокая производительность внутренней сети не требуется

Программное обеспечение

Map/Reduce + Bigtable; Dryad + Cosmos. PageR-ank. Последний этап по сути представляет собой рекомендательную систему

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Распределенные веб-сайты

Объем (количество)

В общей сложности около 45 млрд веб-страниц; ежедневно загружается 500 млн фотографий; и ежеминутно на YouTube закачивается 100 часов видеоматериалов

Скорость обработки (например, в реальном времени)

Данные постоянно обновляются

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Богатый набор функций. После обработки данные для каждой страницы (кроме мультимедийных объектов) аналогичны

Вариативность (темпы изменения)

В среднем срок существования веб-страницы составляет несколько месяцев

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Абсолютная точность результатов не является жизненно необходимой, однако важно, чтобы были найдены соответствующие поисковому запросу основные центры компетенций и авторитетные источники

Визуализация

Не важна, однако схема расположения выдаваемых результатов (page layout) имеет ключевое по важности значение

Качество данных (синтаксис)

Огромное количество дублирования и спама

Типы данных

В основном текст, но растет интерес к быстро растущим объемам графических образов и видеоконтента

Аналитика данных

Веб-сканирование, поиск (в том числе по тематике), ранжирование, рекомендации

Иные проблемы больших данных

Поиск по "глубинному интернету" (deep web-контент, не индексируемый стандартными поисковыми системами, скрытый за пользовательскими интерфейсами к базам данных и т.д.).

Ранжирование результатов, способное учитывать как внутреннюю ценность материалов (как в алгоритме PageRank), так и ценность для маркетинга. Связывание профилей пользователей с данными из социальных сетей

Проблемы пользовательского интерфейса и мобильного доступа

Мобильный поиск должен иметь похожие интерфейсы и выдавать похожие результаты

Технические проблемы обеспечения безопасности и защиты персональных данных

Следует принимать во внимание ограничения на веб-сканирование; избегать спама в результатах поиска

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Взаимосвязь с направлением поиска и извлечения информации (information retrieval), например с поиском научных работ

Дополнительная информация (гиперссылки)

Мэри Миикер (Mary Meeker) и Лиан Ву (Liang Wu) из фирмы Kleiner Perkins Caufield & Byers (KPCB), "Тенденции развития интернета" (Internet Trends - D11 Conference), 29 мая 2013 года, https://www.slideshare.net/betobetico/kpcb-internet-trends-2013-mary-meeker

План учебного курса "Введение в технологию поисковых систем" (236621 Introduction to Search Engine Technology), Израильский технологический институт "Технион", 2011-2012, https://webcourse.cs.technion.ac.il/236621/Winter2011-2012/comp/WCFiles/

syllabus3p-2011-12.pdf

План учебного курса SS 2011 "Поиск и извлечение информации и системы поиска в интернете" (Information Retrieval and Web Search Engines) и Институте информационных систем Технического университета Брауншвейга, Германия, http://www.ifs.cs.tu-bs.de/teaching/ss-11/irws

Дипак Агарваль (Deepak Agarwal) и Бичун Чень (Bee-Chung Chen), "Учебный курс ICML’11: Проблемы рекомендационных систем для веб-приложений. Часть 1: Введение" (ICML’11 Tutorial: Recommender Problems for Web Applications. Part 1: Introduction), Международная конференция по машинному обучению (International Conference on Machine Learning, ICML) 2011 года, https://www.slideshare.net/beechung/recommender-systems-tutorialpart1intro

Сайт "Объем всемирной паутины" (The size of the World Wide Web (The Internet)), https://www.worldwidewebsize.com/

Название

Обеспечение непрерывности деловой деятельности и восстановления после катастроф по модели IaaS (инфраструктура как сервис) для больших данных в облачной экосистеме, осуществляемое провайдерами облачного сервиса (CSP) и провайдерами облачного брокерского сервера (CBSP)

Предметная область

Крупномасштабное надежное хранение данных

Автор/организация/

эл. почта

П.Кэри (Pw Carey), Compliance Partners LLC, [email protected]

Акторы/

заинтересованные лица, их роли и ответственность

Высшее руководство, хранители данных и сотрудники, ответственные за целостность, защиту, обеспечение неприкосновенности частной жизни, конфиденциальности, доступности, безопасности, защищенности и живучести деловой деятельности посредством обеспечения трех аспектов доступности данных для сервисов организации: в любое время, в любом месте и на любом устройстве

Цели

Ниже представлен один из подходов к разработке работоспособной стратегии обеспечения непрерывности деловой деятельности и восстановления после катастроф (BC/DR). Прежде чем отдать данную стратегию организации на аутсорсинг, переложив ее на плечи провайдера облачного сервиса (CSP) или провайдера облачного брокерского сервера (CBSP), организация должна выполнить следующий комплекс работ, обеспечивающий любой организации, как государственной, так и частной, разработку базовой методологии для реализации наилучших практик BC/DR в рамках облачной экосистемы. Каждая организация должна рассмотреть десять сфер деятельности, поддерживающим обеспечение непрерывности деловой деятельности и восстановление после катастроф, с тем, чтобы понять и оценить то влияние, которое каждый из следующих четырех перекрывающихся и взаимозависимых факторов может оказать на обеспечении работоспособности решения по реализации BC/DR - плана организации. Этими четырьмя факторами являются люди (как ресурсы), процессы (например, время/затраты/возврат инвестиций (ROI)), технологии (например, различные операционные системы, платформы, а также зоны влияния/масштабы воздействия технологий) и стратегическое управление (зависит от многочисленных различных регулирующих органов). Данные четыре фактора должны быть выявлены, проанализированы, оценены, должны быть приняты соответствующие меры, проведены тестирование и анализ результатов.

Данные факторы должны быть приняты во внимание на следующих десяти этапах:

1) инициирование проекта и получение поддержки со стороны руководства,

2) оценка рисков и выбор мер контроля и управления,

3) анализ влияния на деловую деятельность,

4) проектирование, разработка и тестирование стратегий обеспечения непрерывности деловой деятельности,

5) реагирование и деятельность в условиях чрезвычайных ситуаций (известное также как "Восстановление после катастроф"),

6) разработка и внедрение планов обеспечения непрерывности деловой деятельности,

7) программы ознакомления и обучения,

8) реализация мер по обеспечению непрерывности деловой деятельности (известное также как Maintaining Regulatory Currency - поддержание доверия со стороны регуляторов).

9) подготовка планов взаимодействия с общественностью (Public Relations, PR) и кризисного управления,

10) координация с государственными органами.

Примечание - Где это уместно, эти десять направлений деятельности могут быть адаптированы к потребностям организации

Описание варианта использования

Разработанная Google технология больших данных предназначались для использования в качестве инструмента индексирования веб-сайтов в Интернете, помогая компании сортировать, перемешивать, классифицировать и маркировать Интернет. Первоначально она не рассматривалась как замена для устаревших ИТ-инфраструктур данных. Благодаря побочным разработкам в рамках OpenGroup и Hadoop, большие данные превратились в надежный инструмент анализа и хранения данных, который все еще продолжает развиваться. В итоге, однако, технологии больших данных по-прежнему разрабатываются в качестве дополнения к существующим ИТ-архитектурам хранилищ данных типа клиент/сервер/суперкомпьютер, что в некоторых отношениях лучше, чем эти самые среды хранилищ данных, но не во всех.

В результате, в рамках настоящего варианта использования, связанного с обеспечением непрерывности деловой деятельности и восстановления после катастроф, необходимо задать правильные вопросы, такие как: Почему мы это делаем и чего мы пытаемся достичь? В чем мы зависим от "ручных" практик, и когда мы можем их использовать? Какие системы (как, например, телефонная связь) были и остаются переданными на аутсорсинг другим организациям, и каковы их функции в плане обеспечения непрерывности деловой деятельности (если есть)? Наконец, мы должны определить функции, которые можно упростить, и понять, какие профилактические меры, не требующие больших затрат, мы можем предпринять, такие как упрощение деловой практики.

Мы должны определить, какие деловые функции являются критически важными и требующими восстановления в соответствии с приоритетом в первую, вторую, третью очередь или в более позднее время; какова модель чрезвычайных ситуаций, с которыми мы намерены бороться; каковы типы наиболее вероятных чрезвычайных ситуаций - исходя из понимания того, что нам не нужно рассматривать все возможные виды катастроф. Если резервное копирование данных в облачной экосистеме является хорошим решением, это сократит время восстановления после сбоя и удовлетворит требования к RTO/RPO. Кроме того, должны быть понимание и поддержка усилий по обеспечению непрерывности деловой деятельности в организации, поскольку это не проблема одной лишь службы ИТ; это также проблема оказания деловых услуг, требующая тестирования Плана действий в случае чрезвычайных ситуаций посредством плановой пошаговой проработки и т.д. Должна быть формальная методология разработки плана BC/DR, включающая:

1) заявление о политике (цель плана, обоснование и ресурсы и т.д. - каждый такой элемент следует определить),

2) анализ воздействия на деловую деятельность (как остановка повлияет на деловую деятельность в финансовом и в иных отношениях),

3) определение превентивных мер (можно ли избежать катастрофы, приняв разумные меры предосторожности),

4) стратегии восстановления (как и что нужно будет восстановить),

5) разработка плана (напишите план и реализуйте его элементы),

6) обеспечение поддержки плана в организации и его тестирование (важно, чтобы все знали план и знали, что делать в случае введения его в действие),

7) актуализация (регулярное внесение изменений, отражающих текущее состояние корпоративной среды)

Текущие решения

Вычислительная система

Облачные экосистемы, включающие предоставление инфраструктуры как сервиса (IaaS), поддерживаемые центрами обработки данных уровня Tier3 - защищенными, отказоустойчивыми в случае сбоев питания, отказов системы кондиционирования воздуха и т.д. Географически удаленные центры восстановления данных, обеспечивающие услуги репликации данных.

Примечание - Репликация отличается от резервного копирования тем, что воспроизводятся только те изменения, которые произошли после предыдущей репликации, включая изменения на уровне блоков. Репликация может быть выполнена быстро - в рамках пятисекундного "окна", при этом репликация данных может проводиться каждые четыре часа. Соответствующий "снимок" данных сохраняется в течение семи рабочих дней или дольше, если это необходимо. Реплицированные данные могут быть перемещены в запасной центр (т.е. в резервную систему) для удовлетворения требований организации в отношении заданной точка восстановления (recovery point objective, RPO) и заданного времени восстановления (recovery time objective, RTO)

Хранилище данных

VMware, NetApps, Oracle, IBM, Brocade

Сеть связи

Сети WAN, LAN, MAN, WiFi, доступ в Интернет, через публичные, частные, кооперативные и гибридные облачные среды, с VPN или без него

Программное обеспечение

Hadoop, Map/Reduce, Open-source и/или проприетарные решения поставщиков, таких как AWS (Amazon Web Services), Google Cloud Services и Microsoft

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Как распределенные, так и централизованные источники данных, поступающих в среду высокой доступности с обеспечением восстановления после катастроф (HA/DR Environment) и в хостинговый виртуальный сервер (HVS), например, в следующих конфигурациях: DC1 - > VMWare/KVM (кластеры, с виртуальными брандмауэрами), Data link - VMWare Link - Vmotion Link - Network Link, несколько мостовых соединений с поставщиком (PB) в рамках NaaS (сеть как сервис), DC2 - > VMWare/KVM (кластеры с виртуальными брандмауэрами), DataLink (Vmware Link, Vmotion Link, Network Link), несколько мостовых соединений с поставщиком в рамках NaaS (требуется отказоустойчивая виртуализация)

Объем (количество)

От нескольких терабайт до нескольких петабайт

Скорость обработки (например, в реальном времени)

Центры обработки данных уровня Tier3 - защищенные, отказоустойчивые в случае сбоев питания, отказов системы кондиционирования воздуха и т.д. В данном случае инфраструктура как сервис (IaaS) предоставляется на основе NetApps. Репликация отличается от резервного копирования тем, что воспроизводятся только те изменения, которые произошли после предыдущей репликации, включая изменения на уровне блоков. Репликация может быть выполнена быстро - в рамках пятисекундного "окна", при этом репликация данных может проводиться каждые четыре часа. Соответствующий "снимок" данных сохраняется в течение семи рабочих дней или дольше, если это необходимо. Реплицированные данные могут быть перемещены в запасной центр для удовлетворения требований организации в отношении RPO/RTO

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Различные виртуальные среды, работающие в рамках архитектуры пакетной обработки или параллельной архитектуры с "горячей" заменой (hot-swappable parallel architecture)

Вариативность (темпы изменения)

Капитальные затраты (CapEx) увеличиваются в зависимости от соглашений об уровне обслуживания (SLA), от требований RTO/RPO и от потребностей деловой деятельности

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Целостность данных играет критически важную роль на протяжении всего жизненного цикла организации ввиду законодательно-нормативных требований стратегического управления, управления рисками и соблюдения требований (GRC) и конфиденциальности, целостности и доступности (CIA)

Визуализация

Целостность данных играет критически важную роль на протяжении всего жизненного цикла организации ввиду законодательно-нормативных требований стратегического управления, управления рисками и соблюдения требований (GRC) и конфиденциальности, целостности и доступности (CIA)

Качество данных (синтаксис)

Целостность данных играет критически важную роль на протяжении всего жизненного цикла организации ввиду законодательно-нормативных требований стратегического управления, управления рисками и соблюдения требований (GRC) и конфиденциальности, целостности и доступности (CIA)

Типы данных

Многочисленные типы данных и форматов включают (но не ограничиваются ими): плоские файлы, txt, .pdf, файлы приложений для Android, .wav, .jpg и VOIP (передача голоса с использованием протокола IP)

Аналитика данных

Данные должны поддерживаться в формате, неподверженном деградации во время обработки и процедур поиска и анализа

Иные проблемы больших данных

Сложные операции, связанные с переключением с основного сайта на сайт репликации или на резервный сайт, в настоящее время еще не полностью автоматизированы. Цель заключается в том, чтобы дать пользователю возможность автоматически инициировать последовательность действий по переходу на резервную систему. Перемещение размещенных в облаке данных требует четко определенного и подвергающегося постоянному мониторингу управления конфигурацией сервера. Кроме того, обе организации должны знать, какие серверы должны быть восстановлены, и каковы зависимости и взаимозависимости между серверами основного сайта и серверами репликации и/или резервного сайта. С этой целью необходим постоянный мониторинг обоих сайтов, поскольку в этом процессе задействованы два решения, имеющие дело либо с серверами, на которых хранятся образы, либо с постоянно работающими "боевыми" серверами, как это имеет место в параллельных системах с "горячей" заменой (hot-swappable parallel architecture), - и все это требует точной и актуальной информации от клиента

Проблемы пользовательского интерфейса и мобильного доступа

Обеспечение мобильного доступа - это постоянно растущий слой технической сложности, однако не все решения для обеспечения непрерывности деловой деятельности/восстановления после катастроф (BC/DR) носят технический характер. Есть две взаимосвязанные и взаимозависимые стороны, которые должны работать вместе над тем, чтобы найти работоспособное и жизнеспособное решение - это представители основной деловой деятельности и ИТ. Если обе эти стороны приходят к согласию, эти технические вопросы решаются в стратегии BC/DR, внедрение и поддержание которой обеспечивает вся организация.

Один из вопросов, который не сводится к проблемам мобильности, касается фундаментальной проблемы, влияющей на большинство решений BC/DR. Если Ваши основные серверы (A, B, C) понимают X, Y, Z .... , но Ваши вторичные виртуальные серверы репликации/резерва (a, b, c) с течением времени не поддерживаются должным образом (не обеспечивается надлежащее управление конфигурацией) и происходит их рассинхронизация с основными серверами, так что они понимают только X и Y, - когда поступает команда на выполнение репликации или резервного копирования, то … "Хьюстон, у нас проблемы ..."

Обратите внимание: с течением времени все системы могут и будут страдать от ползучей потери синхронизации - и некоторые больше, чем другие, если они полагаются на ручные процессы для обеспечения стабильности системы

Технические проблемы обеспечения безопасности и защиты персональных данных

В зависимости от природы и требований отраслевых вертикалей, таких как финансовая деятельность, страхование и медико-биологические науки (Life Sciences), охватывающих как государственные, так и частные учреждения и организации; и от ограничений, налагаемых законодательно-нормативными требованиями стратегического управления, управления рисками и соблюдения требований (GRC) и конфиденциальности

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

В число проблем обеспечения непрерывности деловой деятельности/восстановления после катастроф (BC/DR) входят следующие:

1) Признание

a) Видение менеджмента BC/DR

b) Предполагается, что данная проблема является проблемой ИТ, когда на само деле это не так

2) Люди

a) Степень укомплектованности персоналом - многие малые и средние предприятия недоукомплектованы ИТ-персоналом в сравнении с их текущей рабочей нагрузкой

b) Видение (руководствуясь подходом сверху - вниз) - Способны ли деловые и ИТ-подразделения увидеть проблему в целом и выработать стратегию типа "Списка вызовов" для использования в случае чрезвычайной ситуации?

c) Навыки - Есть ли специалисты, способные спроектировать, внедрить и протестировать BC/DR - решение?

d) Время - Есть ли время у специалистов, и есть ли в деловой деятельности "окно" времени для создания и тестирования DR/BC решения, поскольку подобное решение является дополнительным проектом, на который требуется время и ресурсы?

3) Деньги

Затраты можно перевести в категорию операционных расходов (OpEx), а не в капитальные затраты (CapEx), варьируя требования RPO/RTO

a) Капитал всегда является ограниченным ресурсом

b) Решения BC должны начинаться с вопросов "В чем риск?" и "Как затраты ограничивают решение?"

4) Нарушение привычного порядка

Встроить BC/DR в стандартную "облачную" инфраструктуру (IaaS) малых и средних предприятий

a) Планирование BC/DR "съедает" деловые ресурсы

b) Тестирование BC также нарушает обычный ход деловой деятельности

Дополнительная информация (гиперссылки)

1. Сайт независимой консультационной организации "Восстановление после катастроф" (DisasterRecovery.org), https://www.disasterrecovery.org/

2. Вебинар компании dinCloud "Как пережить катастрофы, используя облако" (Surviving Disasters by Leveraging the Cloud), https://www.dincloud.com/webinars/surviving-disasters-by-leveraging-the-cloud

3. Комитет спонсорских организаций (COSO), см. https://www.coso.org/

4. Сайт ITIL (Библиотека инфраструктуры информационных технологий), см. https://www.axelos.com/best-practice-solutions/itil

5. Стандарт COBIT® 2019 CobiT (от Control Objectives for Information and Related Technology - "Цели управления информационными и смежными технологиями") на сайте Международной ассоциации аудита и контроля информационных систем (ISACA), см. https://www.isaca.org/resources/cobit

6. Концепция архитектуры "Открытой группы" (The Open Group Architecture Framework, TOGAF) версии 9.2, http://www.opengroup.org/togaf/

7. Международный стандарт ИСО/МЭК 27000:2018 "Информационная технология. Методы и средства обеспечения безопасности. Системы менеджмента информационной безопасности. Общий обзор и терминология" (Information technology - Security techniques - Information security management systems - Overview and vocabulary), https://www.iso.org/standard/73906.html, свободно доступен по адресу https://standards.iso.org/ittf/PubliclyAvailableStandards/c073906_

ISO_IEC_27000_2018_E.zip. В России стандарт адаптирован (в более ранней редакции) как ГОСТ Р ИСО/МЭК 27000-2012, см. http://protect./v.aspx?control=8&baseC=6&id=175549

8. Некоммерческая организация по надзору за отчетностью публичных компаний, США (PCAOB), https://pcaobus.org/

Название

Грузоперевозки

Предметная область

Отрасль грузоперевозок

Автор/организация/ эл.почта

Уильям Миллер (William Miller)/компания MaCT USA/[email protected]

Акторы/

заинтересованные лица, их роли и ответственность

Конечные пользователи (отправители/получатели).

Лица, обслуживающие транспортные средства (грузовик/корабль/самолет).

Операторы связи (сотовая связь/спутниковая связь).

Грузоотправители (отправка и получение)

Цели

Хранение и анализ объектов ("вещей") в процессе перевозки

Описание варианта использования

В настоящем варианте использования дается общее представление о приложения "больших данных" для отрасли грузоперевозок, в которой работают такие компании, как FedEx, UPS, DHL и т.д. Отрасль грузоперевозок, вероятно, является самым крупным из широко распространенных сегодня потенциальных вариантов использования больших данных. Он охватывает идентификацию, транспортировку и обработку грузов ("вещей") в цепочке поставок. Идентификация груза начинается с отправителя, и используется получателями и всеми стоящими между ними посредниками, которым необходимо знать место и время прибытия транспортируемых грузов. Новым аспектом станут сведения о статусе и состоянии объекта, включая информацию с датчиков и получаемые от глобальной системы позиционирования (GPS) координаты, а также уникальная схема идентификации, основанная на международном стандарте ИСО/МЭК 29161:2016 "Информационные технологии. Структура данных. Уникальная идентификация для Интернета вещей", разработанном подкомитетом SC31 Объединенного технического комитета ИСО/МЭК СТК1.

Данные обновляются в масштабе времени, близком к реальному, когда грузовик прибывает на склад или при доставке товара получателю. Промежуточные состояния в настоящее время неизвестны; данные о местоположении в реальном времени не обновляются; а товары, утерянные на складе или во время транспортировки, могут представлять собой потенциальную проблему для безопасности страны. Сведения хранятся в архиве и остаются доступными в течение xx дней

Текущие решения

Вычислительная система

Неизвестно

Хранилище данных

Неизвестно

Сеть связи

LAN/T1/веб-страницы интернета

Программное обеспечение

Неизвестно

Характеристики больших данных

Источник данных (распределенный/ централизованный)

В настоящее время - централизованный

Объем (количество)

Большой

Скорость обработки (например, в реальном времени)

В настоящее время система в реальном масштабе времени не работает

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Данные обновляются, когда водитель прибывает на склад и загружает время и дату принятия груза. Это в настоящее время осуществляется не в режиме реального времени

Вариативность (темпы изменения)

Сейчас информация обновляется только после сканирования объектов с помощью сканера штрих-кода, который отправляет данные на центральный сервер. В настоящее время местоположение объекта в реальном времени не отображается

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Визуализация

Нет

Качество данных (синтаксис)

Да

Типы данных

Нет сведений

Аналитика данных

Да

Иные проблемы больших данных

Обеспечение более быстрой оценки идентичности, местоположения и состояния грузов, предоставление подробной аналитики и локализация проблем в системе в режиме реального времени

Проблемы пользовательского интерфейса и мобильного доступа

В настоящее время мониторинг условий на борту грузовиков, кораблей и самолетов не осуществляется

Технические проблемы обеспечения безопасности и защиты персональных данных

Безопасность должна быть более надежной

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

В данном варианте использования применяются локальные базы данных, а также существует требование синхронизации с центральным сервером. Эти операции в итоге будут распространены на мобильные устройства и бортовые системы, способные отслеживать местонахождение грузов и обеспечивать обновление информации в режиме реального времени, включая передачу сведений об условиях, протоколирование событий и рассылку оповещений лицам, которым соответствующая информация необходима

Дополнительная информация (гиперссылки)

Название

Данные о материалах

Предметная область

Производство, исследования в области материаловедения

Автор/организация/ эл.почта

Джон Рамбл (John Rumble)/компания R&R Data Services/[email protected]

Акторы/

заинтересованные лица, их роли и ответственность

Разработчики продуктов (вводят данные о материалах в системы автоматизированного проектирования).

Исследователи свойств материалов (производят данные о материалах; в некоторых случаях являются пользователями таких данных).

Испытатели материалов (производят данные о материалах; разработчики стандартов).

Распространители данных (поставщики доступа к данным материалам, часто на коммерческой основе)

Цели

Улучшить доступность, качество и удобство использования данных о материалах, а также преодолеть проприетарные барьеры для обмена такими данными. Создать достаточно крупные хранилища данных о материалах, способствующие поиску и раскрытию этой информации

Описание варианта использования

Каждый физический продукт изготовлен из материалов, которые были выбраны исходя из их свойств, стоимости и доступности. Каждый год принимаются связанные с выбором материалов решения на общие суммы, исчисляемые сотнями миллиардов долларов.

Помимо того, как столь убедительно показала инициатива "Геном материала" (Materials Genome Initiative), внедрение новых материалов обычно занимает два-три десятилетия, а не несколько лет, отчасти из-за того, что сведения о новых материалах не являются легкодоступными.

Все действующие лица в рамках жизненного цикла материалов сегодня имеют доступ к очень ограниченным объемам данных о материалах, что приводит к принятию неоптимальных, неэффективных и затратных решений, связанных с материалами. В то время, как в рамках инициативы "Геном материала" рассматривается один важный существенный аспект проблемы, а именно, базовые данные о материалах, необходимые для компьютерного проектирования и испытания материалов, - вопросы, связанные с физическими измерениями на физических материалах (от базовых структурных и термических свойств до сложных эксплуатационных свойств и свойства новых наноразмерных материалов) не рассматриваются систематически, широко (междисциплинарно и на международном уровне) или же эффективно (практически отсутствуют встречи по тематике данных о материалах, группы по разработке стандартов и целевые финансируемые программы).

Одной из наиболее сложных проблем, которые способны решить методы "больших данных", является предсказание поведения и характеристик реальных материалов (в количествах от грамма до тонны), начиная с описаний на атомном, нано- и/или микрометровом уровнях.

По перечисленным выше причинам решения об использовании материалов в настоящее время излишне консервативны, часто основываясь на более старых, а не на последних данных соответствующих исследований и разработок, и не используют достижения в области построения моделей и моделирования. Информатика материалов (materials informatics) - это та область, в которой новые инструменты науки о данных могут оказать существенное влияние

Текущие решения

Вычислительная система

Нет

Хранилище данных

Широко рассеянное, существует множество препятствий для доступа

Сеть связи

Практически отсутствует

Программное обеспечение

Узкие подходы в рамках национальных программ (Япония, Южная Корея и Китай), прикладных программ (ядерная программа Евросоюза); проприетарные решения (Granta, и др.)

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Чрезвычайно сильно распределенный, при этом хранилища данных обеспечивают хранение сведений лишь об очень немногих базовых свойствах

Объем (количество)

Согласно оценке, сделанной в 1980-х годах, за последние пятьдесят лет появилось более 500 тыс. коммерческих материалов. В последние три десятилетия этот показатель значительно вырос

Скорость обработки (например, в реальном времени)

С течением времени растет количество материалов, спроектированных с использованием компьютерных средств и разработанных теоретически (примером являются наноматериалы)

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Много наборов данных при практическом отсутствии стандартов, поддерживающих комбинирование этих данных

Вариативность (темпы изменения)

Материалы постоянно изменяются, и постоянно создаются новые данные, описывающие новые материалы

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Для точного описания более сложных свойств материалов может потребоваться множество (сотни?) независимых переменных. В настоящее время не предпринимается практически никаких усилий, направленных на выявление этих переменных и систематизацию сбора их значений с целью создания надежных наборов данных

Визуализация

Важна для отыскания подходящих материалов. Потенциально важна для понимания зависимости свойств материалов от множества независимых переменных. Практически остается без внимания

Качество данных (синтаксис)

За исключением базовых данных о структурных и тепловых свойствах качество данных является низким или непонятным. См. написанное Мунро (Munro) Руководство NIST по рекомендуемой практике

Типы данных

Числовая информация, графики, графические образы

Аналитика данных

Эмпирическая и узкая по сфере охвата

Иные проблемы больших данных

1) Создание хранилищ данных о материалах, помимо существующих, которые ориентированы на хранение лишь базовых данных.

2) Разработка международных стандартов регистрации данных, которые могут использоваться очень многообразным сообществом специалистов по материалам, включающим разработчиков стандартов испытаний материалов (таких, как ассоциация ASTM International и Международная организация по стандартизации ИСО), занимающиеся испытаниями материалов компании, производителей материалов, а также научно-исследовательские и опытно-конструкторские лаборатории.

3) Разработка инструментов и процедур, помогающих организациям, которым требуется депонировать в хранилищах данных сведения о проприетарных материалах, маскировать проприетарную информацию, сохраняя при этом пригодность данных к использованию.

4) Разработка многопараметрических инструментов визуализации данных о материалах, способных работать с достаточно большим количеством переменных

Проблемы пользовательского интерфейса и мобильного доступа

В настоящее время не являются существенными

Технические проблемы обеспечения безопасности и защиты персональных данных

По своей природе многие проприетарные данные являются весьма конфиденциальными и "чувствительными"

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Разработка стандартов; создание крупномасштабных хранилищ данных; привлечение отраслевых пользователей; интеграция с системами автоматизированного проектирования (не стоит недооценивать сложность этой работы - специалисты в области материаловедения обычно не столь хорошо разбираются в компьютерах, как химики, специалисты по биоинформатике и инженеры)

Дополнительная информация (гиперссылки)

Название

Геномика материалов на основе результатов моделирования

Предметная область

Научные исследования, материаловедение

Автор/организация/ эл.почта

Дэвид Скиннер (David Skinner)/Национальная лаборатория имени Лоуренса в Беркли (LBNL), [email protected]

Акторы/ заинтересованные лица, их роли и ответственность

Поставщики ресурсов

В обязанности Национальных лабораторий и энергетических центров входит предоставление расширенных возможностей для работ по геномике материалов, с использованием в качестве инструментов вычислений и данных.

Сообщество пользователей

Министерство энергетики США, отраслевые и академические исследователи являются сообществом пользователей, ищущих ресурсы и возможности для быстрых инноваций в материалах

Цели

Ускорение разработки материалов с улучшенными свойствами с помощью проектов моделирования, управление которыми осуществляется с использованием искусственного интеллекта

Описание варианта использования

Осуществление инноваций в технологиях электрических батарей и аккумуляторов посредством масштабных проектов моделирования, охватывающих большое количество возможных проектных решений. Систематические вычислительные исследования с целью поиска возможностей для инноваций в фотовольтаике (фотоэлектрических технологиях). Рациональное проектирование материалов на основе поиска и моделирования

Текущие решения

Вычислительная система

Суперкомпьютер Cray XE6 "Hopper" (150 тысяч процессоров); аппаратные ресурсы для аналитики данных аналогичные тем, что используются "омиками" (omics - направлениями биологической науки, такими как геномика, протеомика, метаболомика и др.)

Хранилище данных

GPFS, MongoDB

Сеть связи

10 гигабит/с

Программное обеспечение

PyMatGen, FireWorks, VASP, ABINIT, NWChem, BerkeleyGW; различное ПО, разработанное сообществом

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Потоки данных поступают от проектов моделирования, выполняемых на централизованных пета/экзафлопсных вычислительных системах. Сильно распределенная сеть потоков данных от центрального шлюза до пользователей

Объем (количество)

100 терабайт (текущий), 500 терабайт через 5 лет. Требуются масштабируемые базы данных для данных типа "ключ-значение" и для библиотек объектов

Скорость обработки (например, в реальном времени)

Высокопроизводительные вычисления (HTC), детальное управление задачами и очередями. Быстрый старт/остановка для группы задач. Анализ данных в режиме реального времени для оперативного реагирования

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Комбинирование результатов моделирования от разных программ и на различном теоретическом уровне. Форматирование, регистрация и интеграция наборов данных. Комбинирование данных, полученных при различных масштабах моделирования

Вариативность (темпы изменения)

Цели при проектировании материалов будут в большей степени поисковыми и ориентированными на потребности потребителей. Вычислительная база должна гибко адаптироваться к новым целям

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Проверка и оценка неопределенностей результатов моделирования путем сопоставления с экспериментальными данными различного качества. Проверка на наличие ошибок и оценка границ путем сопоставления разных результатов моделирования

Визуализация

Использование программ просмотра данных о материалах ввиду роста объемов, выдаваемых в ходе поиска данных. Визуальное проектирование материалов

Качество данных (синтаксис)

Количественная оценка неопределенности в результатах на основе нескольких наборов данных. Распространение ошибок в системах знаний

Типы данных

Пары ключ-значение, JSON, файловые форматы данных о материалах

Аналитика данных

Технологии Map/Reduce и поиска, позволяющие комбинировать данные моделирования и экспериментальные данные

Иные проблемы больших данных

Масштабное применение высокопроизводительных вычислений для выполнения проектов моделирования. Гибкие методы обработки данных в масштабе для неупорядоченных данных. Системы машинного обучения и управления знаниями, объединяющие данные из публикаций, результаты экспериментов и моделирования для развитие направленного на результат мышления при проектировании материалов

Проблемы пользовательского интерфейса и мобильного доступа

Существует потенциал для широкого распространения практически применимых знаний в области материаловедения. Многие программные приложения геномики материалов могут быть перенесены на мобильную платформу

Технические проблемы обеспечения безопасности и защиты персональных данных

Возможность работать в изолированной зоне - "песочнице" или же создавать независимые рабочие зоны для заинтересованных в данных сторонах. Объединение наборов данных на основе политик

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Проект Управления администрации президента США по вопросам науки и технической политики (Office of Science and Technology Policy, OSTP) по достижению более масштабных целей в области геномики материалов был опубликован в мае 2013 г.

Дополнительная информация (гиперссылки)

Сайт поддерживаемого Министерством энергетики США проекта "Материалы" (The Materials Project), https://www.materialsproject.org/

Название

Облачный крупномасштабный анализ и визуализация геопространственных данных

Предметная область

Оборона (но вариант также применим во многих других областях)

Автор/организация/ эл.почта

Дэвид Бойд (David Boyd)/компания Data Tactics/[email protected]

Акторы/ заинтересованные лица, их роли и ответственность

Аналитики геопространственных данных

Принимающие решения лица

Лица, определяющие политику

Цели

Поддержка крупномасштабного анализа и визуализации геопространственных данных

Описание варианта использования

По мере того, как увеличивается количество датчиков и источников данных с географической привязкой, объемы требующих сложного анализа и визуализации геопространственных данных увеличиваются в геометрической прогрессии. Традиционные географические информационные (геоинформационные) системы (ГИС) обычно способны анализировать миллионы и легко визуализируют тысячи объектов. Современные интеллектуальные системы часто содержат триллионы геопространственных объектов и должны быть способны визуализировать и взаимодействовать с миллионами объектов

Текущие решения

Вычислительная система

Системы вычислений и хранения - от ноутбуков до больших серверов (см. примечание о кластерах).

Системы визуализации - от карманных устройств до ноутбуков

Хранилище данных

Системы вычислений и хранения - локальный жесткий диск или сеть хранения данных (SAN).

Системы визуализации - локальный жесткий диск, оперативная флеш-память

Сеть связи

Системы вычислений и хранения - гигабитное или более скоростное сетевое соединение по локальной сети.

Системы визуализации - гигабитные беспроводные соединения, беспроводная связь включая WiFi (802.11), сотовую связь (3G/4G) и радиорелейную связь

Текущие решения

Программное обеспечение

Системы вычислений и хранения - обычно Linux или Windows Server с реляционной СУБД с геопространственной поддержкой; геопространственный сервер/программное обеспечение для анализа - ESRI ArcServer, Geoserver. Системы визуализации - Windows, Android, iOS - браузерная визуализация. На некоторых ноутбуках может быть установлена локальная версия ArcMap

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Сильно распределенный

Объем (количество)

Растровая графика - сотни терабайт; векторные данные - десятки гигабайт, но при этом миллиарды точек

Скорость обработки (например, в реальном времени)

Некоторые датчики передают векторные данные в масштабе времени, близком к реальному. Визуализация изменений должна быть в масштабе времени, близком к реальному

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Растровые изображения (различные форматы: NITF, GeoTiff, CADRG).

Векторная графика (различные форматы: формат Shapefile, язык разметки Keyhole (Keyhole Markup Language, KML) и текстовые потоки. Типы объектов включают точки, линии, области, ломаные линии (polylines), окружности и эллипсы)

Вариативность (темпы изменения)

От умеренной до высокой

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Точность данных имеет критически важное значение и обычно контролируется на основе трех факторов:

1) точность датчика - является большой проблемой,

2) датум (система геодезических координат)/сфероид (двухосного эллипсоид),

3) точность регистрации изображений

Визуализация

Отображение осмысленным образом больших наборов данных (миллионы точек) на небольших устройствах (карманных устройствах), являющихся оконечными точками сетей с низкой пропускной способностью

Качество данных (синтаксис)

Типичной проблемой является визуализация в том случае, когда отсутствуют сведения о качестве/точности первичных данных. Все данные должны включать метаданные, указывающие точность или круговое вероятное отклонение

Типы данных

Растровые изображения (различные форматы: NITF, GeoTiff, CADRG).

Векторная графика (различные форматы: формат Shapefle, язык разметки Keyhole (Keyhole Markup Language, KML) и текстовые потоки. Типы объектов включают точки, линии, области, ломаные линии (polylines), окружности и эллипсы)

Наука о больших данных (сбор, курирование, анализ, операции)

Аналитика данных

Ближайшая точка подхода, отклонение от маршрута, плотность точек во времени, метод главных компонентов (principal component analysis, PCA) и метод анализа независимых компонентов (independent component analysis, ICA)

Иные проблемы больших данных

Индексация, поиск/извлечение и распределенный анализ. Формирование и передача визуализации

Проблемы пользовательского интерфейса и мобильного доступа

Визуализация данных на устройствах, являющихся оконечными точками беспроводных сетей с низкой пропускной способностью

Технические проблемы обеспечения безопасности и защиты персональных данных

Данные являются чувствительными, и должна быть обеспечена их полная безопасность при передаче и при хранении (особенно на портативных/карманных устройствах)

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Геопространственные данные требуют уникальных подходов к индексации и проведению распределенного анализа

Дополнительная информация (гиперссылки)

Применимые стандарты:

- стандарты "Открытого геопространственного консорциума" (Open Geospatial Consortium, OGC), https://www.ogc.org/standards

- спецификации формата GeoJSON, https://geojson.org/

- спецификации формата Compressed ARC Digitized Raster Graphics (CADRG), https://earth-info.nga.mil/publications/specs/printed/CADRG/cadrg.html

Индексирование геопространственных данных: Quad-деревья; заполняющие пространство кривые (кривые Гильберта) - многочисленные источники можно найти в Интернете

Примечание - В Министерстве обороны США проводилась определенная работа, связанная с этим набором проблем. В частности, стандартное облако (DSC, DCGS-A Standard Cloud) для унифицированной армейской наземной станция с распределенными терминалами (DCGS-A, Distributed Common Ground System - Army) хранит, индексирует и анализирует некоторые источники больших данных. Однако все еще остается много проблем с визуализацией.

Название

Идентификация и отслеживание объектов по данным WALF-формат видео с высоким разрешением (WALF) или FMV-формат высококачественного видео - Постоянное наблюдение

Предметная область

Оборона (разведка)

Автор/организация/ эл.почта

Дэвид Бойд (David Boyd)/компания Data Tactics/[email protected]

Акторы/ заинтересованные лица, их роли и ответственность

1) Гражданские и военные лица, принимающие решения.

2) Специалисты по анализу разведданных.

3) Участники боевых действий

Цели

Способность обрабатывать первичные фото/видеоданные и выделять из них/ отслеживать во времени объекты (транспортные средства, люди, грузы). В частности, идея заключается в том, чтобы редуцировать петабайты собранных в ходе непрерывного наблюдения данных к разумному размеру (например, векторным путям)

Описание варианта использования

Датчики постоянного наблюдения легко могут за считанные часы собирать петабайты фото- и видеоданных. Человек не способен обработать такие объемы данных в целях предупреждения о событиях или отслеживания. Обработка данных должна осуществляться рядом с датчиком, который, вероятно, развернут на передовой, поскольку объемы данных слишком велики для того, чтобы их можно было легко передать. Данные должны быть редуцированы к набору геопространственных объектов (например, точек, путей), которые можно легко интегрировать с другими данными для формирования общей оперативной картины

Текущие решения

Вычислительная система

Различные, варьируются от простых устройств хранения, соединенных с датчиком, и простых средств отображения и хранения до систем, поддерживающих ограниченное выделение объектов. Типичные системы выделения объектов в настоящее время представляют собой небольшие (от 1 до 20 узлов) кластеры расширенных за счет использования графических процессоров (GPU) компьютерных систем

Хранилище данных

В настоящее время - плоские файлы, хранимые в большинстве случаев на жестком диске. Иногда индексы реляционных СУБД указывают на файлы или части файлов на основе метаданных/данных телеметрии

Сеть связи

Обмен информацией с датчиками, как правило, осуществляется или в пределах прямой видимости, или с использованием спутниковой связи

Программное обеспечение

Широкий спектр специализированного программного обеспечения и инструментов, включая, в том числе, традиционные реляционные СУБД и средства отображения

Характеристики больших данных

Источник данных (распределенный/ централизованный)

В число передающих фото/видеоданные датчиков входят стационарные и установленные на летательных аппаратах оптические и инфракрасные датчики, а также радары с синтезированной апертурой (SAR)

Объем (количество)

FMV - от 30 до 60 кадров в секунду при полноцветном разрешении 1080 пикселей

WALF - от 1 до 10 кадров в секунду при полноцветном разрешении 10 тысяч на 10 тысяч пикселей

Скорость обработки (например, в реальном времени)

В реальном времени

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Данные обычно представлены в одном или нескольких стандартных форматах для графических изображений или видео

Вариативность (темпы изменения)

Небольшая

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Достоверность извлеченных объектов имеет жизненно важное значение. Если система дает сбой или генерирует ложные срабатывания, подвергаются риску жизни людей

Визуализация

Извлеченные результаты обычно визуализируются путем наложения на отображение геопространственных данных. Наложенные объекты должны отсылать к соответствующему сегменту исходного изображения/видеопотока

Качество данных (синтаксис)

Качество данных, как правило, определяется сочетанием характеристик датчиков и погодных условий (маскирующим фактором является пыль/влажность, а фактором стабильности - ветер)

Типы данных

Исходные данные представлены в стандартных форматах для графических изображений и видео. Выходные данные должны быть в форме веб-функций, соответствующих стандартам "Открытого геопространственного консорциума" (Open Geospatial Consortium, OGC), либо в виде стандартных геопространственных файлов [Shapefile, язык разметки Keyhole (Keyhole Markup Language, KML)]

Аналитика данных

1) Идентификация объекта (тип, размер, цвет) и его отслеживание.

2) Анализ закономерностей поведения объекта (проходил ли сегодня днем грузовик, который ездит каждую среду после полудня, по иному маршруту; есть ли стандартный маршрут, которому каждый день следует конкретный человек).

3) Групповое поведение/динамика (есть ли небольшая группа, пытающаяся спровоцировать бунт; выделяется ли данный человек в толпе, ведет ли он себя не так, как все?)

4) Хозяйственная деятельность:

a) Есть ли очередь в хлебном магазине, мясной лавке или за мороженым?

b) Больше ли грузовиков движется с товарами на север, чем на юг?

c) Увеличилась или уменьшилась на данном рынке активность лавок и/или их размер за последний год?

5) Объединение (слияние) данных

Иные проблемы больших данных

Обработка больших объемов данных почти в режиме реального времени (NRT) для поддержки оповещения о событиях и осведомленности о ситуации

Проблемы пользовательского интерфейса и мобильного доступа

Доставка данных с мобильного датчика на обработку

Технические проблемы обеспечения безопасности и защиты персональных данных

Значительные - нельзя допустить компрометацию источников данных и методов их обработки; враг не должен знать, что именно мы видим

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Как правило, данный тип обработки хорошо вписывается в массово-параллельные вычисления, поддерживаемые, например, графическими процессорами. Типичной проблемой является интеграция этой обработки в более крупный кластер, способный параллельно обрабатывать данные от нескольких датчиков и в масштабе времени, близком к реальному. Передача данных с датчика в систему также является большой проблемой

Дополнительная информация (гиперссылки)

Стандарты по вопросам управления видеоматериалами:

Страница Бюро стандартов управления видеоматериалами (Motion Imagery Standards Board, MISB) на сайте Национального агентства геопространственной разведки США (National Geospatial - Intelligence Agency, NGA), https://gwg.nga. mil/misb/index.html

Некоторые из многочисленных статей по теме выделения/отслеживания объектов:

Erik Blasch, Haibin Ling, Yi Wu, Guna Seetharaman, Mike Talbert, Li Bai, Genshe Chen "Dismount Tracking and Identification from Electro-Optical Imagery", http://www.dabi.temple.edu/~hbling/publication/SPIE12_

Dismount_Formatted_v2_BW.pdf Fang-Hsuan Cheng, Yu-Liang Chen "Real time multiple objects tracking and identification based on discrete wavelet transform", https://www.sciencedirect.com/ science/article/abs/pii/S0031320305004863

Статьи о потребностях общего характера:

John Keller "Persistent surveillance relies on extracting relevant data points and connecting the dots", 2012, https://www.militaryaerospace.com/computers/ article/16719589/persistent-surveillance-relies-on-extracting-

relevant-data-points-and-connecting-the-dots

"Wide Area Persistent Surveillance Revolutionizes Tactical ISR", by Lexington institute, 2012,

https://www.defencetalk.com/wide-area-persistent-surveillance-

revolutionizes-tactical-isr-45745/

Название

Обработка и анализ разведывательных данных

Предметная область

Оборона (разведка)

Автор/организация/ эл.почта

Дэвид Бойд (David Boyd)/компания Data Tactics/dboyd@data- tactics.com

Акторы/ заинтересованные лица, их роли и ответственность

Высшее гражданское и военное руководство.

Полевые командиры.

Специалисты по анализу разведданных.

Участники боевых действий

Цели

1) Выдача автоматических оповещений аналитикам, участникам боевых действий, командирам и высшему руководству на основе поступающих разведданных.

2) Предоставление аналитикам разведанных возможностей для выявления по этим данным:

a) взаимосвязей между объектами (например, людьми, организациями, местами, оборудованием),

b) тенденции в настроениях или намерениях как населения в целом, так и групп лидеров, таких как государственные деятели и представители негосударственных структур,

c) определить место и, по возможности, время проведения враждебных действий, включая установку самодельных взрывных устройств,

d) отслеживать местоположение и действия (потенциально) враждебных действующих лиц.

3) Способность осмысливать и извлекать знания из многообразных, разрозненных и часто неструктурированных (например, текстовых) источников данных.

4) Способность обрабатывать данные вблизи точки сбора и обеспечивать легкий обмен данными с/между отдельными солдатами, подразделениями, отрядами передового базирования и высшим руководством гарнизонов

Описание варианта использования

1) Ввод/прием данные от широкого спектра датчиков и источников, принадлежащих к различным направлениям разведывательной деятельности, таким, как сбор и анализ изображений, полученных фотографической, оптико - электронной или радиолокационной аппаратурой (imagery intelligence, IMINT), разведка физических полей (measurement and signatures intelligence, MASINT), геопространственная разведка (geospatial intelligence, GEOINT), сбор информации людьми и от людей (human intelligence, HUMINT), радиоэлектронная разведка (signals intelligence, SIGINT), разведка на основе открытых источников (open source intelligence, OSINT) и т.д.

2) Обработка, преобразование или согласование данных из различных источников в разных форматах в единое пространство данных с целью поддержки: a) поиска; b) осмысления; c) сопоставления.

3) Оповещение пользователей о существенных изменениях в состоянии контролируемых объектов или о существенной активности в определенной области.

4) Обеспечение связи с периферией для участников боевых действий (в этом случае понятие периферии будет охватывать даже отдельного солдата в пешем патруле)

Текущие решения

Вычислительная система

Стационарные и мобильные вычислительные кластеры с количеством узлов в диапазоне от 10 до 1000

Хранилище данных

От десятков терабайт до сотен петабайт в случае периферийных и стационарных кластеров. У пехотинцев, как правило, имеется от одного до сотен гигабайт данных (обычно на портативном/карманном устройстве с объемом памяти менее 10 гигабайт)

Сеть связи

Сеть связи внутри и между стационарными гарнизонами является надежной. Связь с передним краем ограничена и часто отличается большими задержками и потерей пакетов. Дистанционная связь может быть спутниковой (с большой задержкой) или даже ограничена радиосвязью на линии прямой видимости

Программное обеспечение

Основными в настоящее время являются:

1) Hadoop

2) Accumulo (с системой хранения данных BigTable)

3) Solr

4) NLP (несколько вариантов)

5) Puppet (управление жизненным циклом ИТ, обеспечение безопасности)

6) Storm

7) Специализированные приложения и инструменты визуализации

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Сильно распределенный

Объем (количество)

Некоторые передающие графические изображения/видео (IMINT) датчики способны генерировать более петабайта данных в течение нескольких часов. Другие данные столь же малы, как результаты нечастых срабатываний датчиков или текстовые сообщения

Скорость обработки (например, в реальном времени)

Большая часть данных с датчиков поступает в реальном времени (полнокадровое видео, данные радиоэлектронной разведки), остальные - в режиме "менее реального" времени. Критически важным аспектом является возможность принимать, обрабатывать и распространять оповещения в масштабе времени, близком к реальному

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Все, что угодно, включая текстовые файлы, первичные данные с датчиков (raw media), графические образы, видео, аудио, электронные данные и данные, созданные человеком

Вариативность (темпы изменения)

Хотя форматы интерфейсов с датчиками имеют тенденцию быть стабильными, большинство других данных не контролируется, и они могут быть в любом формате. Большая часть данных не структурирована

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Происхождение данных (включая, например, отслеживание всех передач и преобразований) должно контролироваться в течение жизненного цикла данных.

Установление достоверности "мягких" источников данных (как правило, данных, созданных человеком) является критически важным требованием

Визуализация

Основными видами визуализации будут наложения на геопространственную картину и сетевые графики (network diagrams). Данные могут включать миллионы точек на карте и тысячи узлов на сетевом графике

Качество данных (синтаксис)

Качество генерируемых датчиком обычно известное (качество изображения, соотношение сигнал/шум) и хорошее.

Качество неструктурированных или "захваченных" данных существенно варьируется и зачастую не поддается контролю

Типы данных

Графические изображения, видео, текст, электронные документы всех типов, аудио, цифровые сигналы

Аналитика данных

1) Оповещения в масштабе времени, близком к реальному, основанные на закономерностях и изменениях основных параметров,

2) Анализ взаимосвязей,

3) Геопространственный анализ,

4) Аналитика текстов (определение настроений, выделение сущностей и т.д.)

Иные проблемы больших данных

1) Передача больших данных (или даже данных умеренного размера) по тактическим сетям.

2) Данные, которые в настоящее время существуют в разрозненных хранилищах, должны быть доступны через семантически интегрированное пространство данных.

3) Большинство ключевых по важности данных либо являются неструктурированными, либо хранятся в виде графических образов или видеоматериалов, что требует значительной обработки для выделения объектов и извлечения информации

Проблемы пользовательского интерфейса и мобильного доступа

Результаты этого анализа и информация должны передаваться или быть доступными для пехотинцев передовых отрядов

Технические проблемы обеспечения безопасности и защиты персональных данных

Имеют первостепенную важность. Данные должны быть защищены от:

1) несанкционированного доступа или раскрытия,

2) несанкционированного вмешательства

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Широкий спектр типов, источников, структур данных различного качества будет охватывать рад предметных областей и требует интегрированного поиска и анализа

Дополнительная информация (гиперссылки)

Чарльз Уэллс (Col. Charles A. Wells) "Обзор программы унифицированной армейской наземной станция с распределенными терминалами" (DCGS-A, Distributed Common Ground System - Army Program Overview), 2012, http://aberdeen.afceachapter.org/files/presentations/AFCEAAberdeen_DCGSA_

COLWells_PS.pdf Barry Smith, Tatiana Malyuta, William S. Mandrick, Chia Fu, Kesny Parent, Milan Patel "Horizontal Integration of Warfighter Intelligence Data- A Shared Semantic Resource for the Intelligence Community", 2012, http://stids.c4i.gmu.edu/papers/STIDSPapers/ STIDS2012_T14_SmithEtAl_

HorizontalIntegrationOfWarfighterIntel.pdf Salmen David, Malyuta Tatiana, Hansen Alan, Cronen Shaun, Smith Barry "Integration of Intelligence Data through Semantic Enhancement", 2011, http://stids.c4i.gmu.edu/ STIDS2011/papers/STIDS2011_CR_T1_SalmenEtAl.pdf

Название

Электронная медицинская карта (EMR)

Предметная область

Здравоохранение

Автор/организация/эл.почта

Шон Грэнис (Shaun Grannis)/Университет Индианы, США/sgrannis@ regenstrief.org

Акторы/

заинтересованные лица, их роли и ответственность

Ученые-исследователи в области биомедицинской информатики (внедряют и оценивают усовершенствованные методы для бесшовной интеграции, стандартизации, анализа и практического использования сильно неоднородных, высокообъемных потоков клинических данных);

Исследователи в службах здравоохранения (используют интегрированные и стандартизированные данные электронной медицинской документации для получения знаний, поддерживающих внедрение и оценку трансляционных (ориентированных на практическое использование), сопоставительных (comparative effectiveness), ориентированных на интересы пациента исследований результатов деятельности систем здравоохранения);

Поставщики медицинских услуг - врачи, медсестры, сотрудники государственных органов здравоохранения (используют информацию и знания, извлеченные из интегрированных и стандартизированных данных электронной медицинской документации, для поддержки непосредственного ухода за пациентами и обеспечения здоровья населения)

Цели

Применение развитых методов для стандартизации выделения понятий (concept identification), связанных с пациентом, поставщиком, учреждением и клинической деятельностью, осуществляемого внутри отдельных организаций сферы здравоохранения и между ними, с целью развития моделей, используемых для определения и извлечения клинических фенотипов (проявлений болезни) из нестандартных, дискретных и представленных в виде свободного текста клинических данных с использованием методов выделения признаков, извлечения информации и моделей принятия решений на основе машинного обучения. Данные клинического фенотипа должны быть использованы для поддержки отбора пациентов в группы (cohort selection), изучения результатов лечения и поддержки принятия клинических решений

Описание варианта использования

По мере того, как системы здравоохранения все в большей степени собирают и потребляют данные электронной медицинской документации, появляются крупные национальные инициативы, направленные на эффективное использование таких данных. В их числе разработка электронной медицинской системы с использованием технологий машинного обучения, поддерживающей принятие клинических решений, все больше основанных на фактических данных, посредством предоставления своевременной, точной и актуальной клинической информации, ориентированной на пациента; использование электронных данных клинических наблюдений для эффективного и быстрого преобразования научных открытий в эффективные клинические методы лечения; и электронный обмен интегрированными данными о здоровье в интересах повышения эффективности и результативности процесса оказания медицинских услуг.

Все эти ключевые инициативы опираются на высококачественные, крупномасштабные, стандартизированные и агрегированные данные о здоровье. Несмотря на надежды и обещания, связанные с все более распространенными и вездесущими данными электронной медицинской документации, существует потребность, по целому ряду причин, в развитых методах для интеграции и рационализации этих данных. Данные в клинических системах с течением времени эволюционируют. Это связано с тем, что концептуальное пространство в здравоохранении постоянно развивается: новые научные открытия приводят к выделению новых заболеваний, появлению новых методов диагностики и новых подходов к лечению заболеваний. Это, в свою очередь, приводит к появлению новых клинических понятий, которые являются движущей силой эволюции онтологий для понятий в сфере здравоохранения.

Используя неоднородные данные инфраструктуры клинических данных по уходу за пациентами штата Индиана, США (INPC), крупнейшей и старейшей в США системы обмена медицинской информацией, хранящей свыше 4 млрд дискретных закодированных клинических наблюдений данных из более чем 100 больниц для более чем 12 млн пациентов, мы будем использовать методы извлечения информации для выявления высокорелевантных клинических признаков из электронных данных наблюдений. Для извлечения клинических признаков мы будем использовать методы извлечения информации и обработки естественного языка. Проверенные признаки будут использоваться для параметризации моделей принятия решений по клиническим фенотипам на основе метода оценки максимального правдоподобия и Байесовских сетей. Используя эти модели принятия решений, мы намерены выявить ряд клинических фенотипов, таких как диабет, хроническая сердечная недостаточность и рак поджелудочной железы

Текущие решения

Вычислительная система

Новый суперкомпьютер Cray "Big Red II" в Университете Индианы

Хранилище данных

Teradata, PostgreSQL, MongoDB

Сеть связи

Разное. Требуется интенсивная обработка ввода/вывода.

Программное обеспечение

Hadoop, Hive, R. На основе Unix

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Клинические данные из более чем 1100 отдельных оперативных медицинских источников в составе инфраструктуры клинических данных по уходу за пациентами штата Индиана, США (INPC), которая является крупнейшей и старейшей в США системой обмена медицинской информацией

Объем (количество)

Свыше 12 млн пациентов, более 4 млрд отдельных клинических наблюдений, более 20 терабайт первичных данных

Скорость обработки (например, в реальном времени)

Ежедневно добавляется от 500 тыс. до 1,5 млн новых клинических транзакций в режиме реального времени

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Мы интегрируем широкий спектр клинических наборов данных из ряда источников: записи поставщиков медицинских услуг в виде свободного текста; сведения о лечении в стационаре, амбулаторном лечении, о лечении в отделении интенсивной терапии, о лабораторных исследованиях; данные хромосомной и молекулярной патологии, химических анализов, кардиологических, гематологических, микробиологических и неврологических исследований, записи поставщиков медицинских услуг, данные специализированных лабораторий (referral labs), серологических исследований, хирургической патологии и цитологии, банков крови и токсикологических исследований

Вариативность (темпы изменения)

Данные в клинических системах с течением времени эволюционируют, потому что клиническое и биологическое концептуальные пространства постоянно развиваются: новые научные открытия приводят к выделению новых заболеваний, появлению новых методов диагностики и новых подходов к лечению заболеваний. Это, в свою очередь, приводит к появлению новых клинических понятий, которые являются движущей силой эволюции онтологий для понятий в сфере здравоохранения, которые кодируются самыми разнообразными способами

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Данные каждого клинического источника обычно собираются с использованием отличающихся методов и представлений, что приводит к существенной неоднородности. Это приводит к систематическим ошибкам и отклонениям, требующих применения надежных методов обеспечения семантической совместимости

Визуализация

Объем, точность и полнота входящих данных должны контролироваться на регулярной основе с использованием нацеленных на это методов визуализации. Внутренне присущие информационные характеристики источников данных должны визуализироваться для выявления неожиданных тенденций

Качество данных (синтаксис)

Главным препятствием для эффективного использования данных электронной медицинской документации являются сильно различающиеся и уникальные местные названия и коды для одного и того же клинического теста или измерения при выполнении их в разных учреждениях. При интеграции многочисленных источников данных необходимо проводить сопоставление локальных терминов с общей стандартизированной концепцией, с применением, при необходимости, комбинации вероятностных и эвристических методов классификации

Типы данных

Типы клинических данных весьма разнообразны, включая числовые и структурированные числовые данные, тексты в свободном формате, структурированные тексты, дискретные номинальные данные, дискретные порядковые данные, дискретные структурированные данные, большие двоичные объекты (изображения и видео)

Аналитика данных

Методы извлечения информации с целью выявления соответствующих клинических признаков (статистическая мера TF-IDF, латентно-семантический анализ и статистическая функция "взаимная информация" (mutual information)). Методы обработки естественного языка (natural language processing, NLP) для извлечения релевантных клинических признаков. Проверенные признаки будут использоваться для параметризации моделей принятия решений по клиническим фенотипам на основе метода оценки максимального правдоподобия и Байесовских сетей. Модели принятия решений будут использоваться для выявления ряда клинических фенотипов, таких как диабет, хроническая сердечная недостаточность и рак поджелудочной железы

Иные проблемы больших данных

Устранение систематических ошибок и отклонений в крупномасштабных неоднородных клинических данных в интересах поддержки принятия решений в отношении проведения исследований, ухода за пациентами и в сфере административного управления требует сложной многоэтапной обработки и аналитики, для чего необходимы значительные вычислительные мощности. Кроме того, появляются оптимальные методы для точного и эффективного вывода знаний из данных клинических наблюдений

Проблемы пользовательского интерфейса и мобильного доступа

В рамках всей экосистемы здравоохранения в целом биологические и клинические данные требуются в различных контекстах. Эффективной доставке клинических данных и знаний в рамках экосистемы здравоохранения будет способствовать мобильная платформа, такая как mHealth

Технические проблемы обеспечения безопасности и защиты персональных данных

Неприкосновенность частной жизни и конфиденциальность данных физических лиц должны быть обеспечены в соответствии с требованиями федерального законодательства и законодательства штатов, в том числе Закона США о переносимости и подотчетности медицинского страхования (Health Insurance Portability and Accountability Act, HIPAA) 1996 г. Разработка аналитических моделей с использованием всесторонних интегрированных клинических данных требует агрегирования и последующей деидентификации (обезличивания) перед применением методов сложной аналитики

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Пациенты все чаще получают медицинские услуги в различных местах. Как следствие, данные электронной медицинской документации оказываются фрагментированными и неоднородными. Для того, чтобы реализовать идею самообучающейся медицинской системы (Learning Health Care system), которую продвигает Национальная академия наук и Институт медицины США, данные электронной медицинской документации должны быть рационализированы и интегрированы. Методы, которые мы предлагаем в этом варианте использования, поддерживают интеграцию и рационализацию клинических данных в интересах поддержки принятия решений на различных уровнях

Дополнительная информация (гиперссылки)

Сайт Института Регенстриф (Regenstrief Institute), https://www.regenstrief.org/ Сайт программного обеспечения LOINC (Logical observation identifiers names and codes - "Логичные идентификаторы, имена и коды наблюдений"), https:// loinc.org/

Сайт Центра обмена медицинской информацией Индианы (Indiana Health Information Exchange), https://www.ihie.org/

"Самообучающаяся медицинская система. Итоги семинара" (The Learning Healthcare System - Workshop Summary), Круглый стол Института доказательной медицины (медицины, основывающейся на фактах) (IOM roundtable on evidencebased medicine), 2007 год, 375 стр., https://www.nap.edu/catalog/11903/ the-learning-healthcare-system-workshop-summary (возможно бесплатное скачивание)

Название

Анализ графических образов в патологии/Цифровая патология

Предметная область

Здравоохранение

Автор/организация/

эл.почта

Ван Фушен (Fusheng Wang)/Университет Эмори (Emory University)/[email protected]

Акторы/

заинтересованные лица, их роли и ответственность

Исследователи в сфере биомедицины, занимающиеся трансляционными исследованиями; врачи больниц, занимающиеся диагностикой на основе изображений

Цели

Разработка высокоэффективных алгоритмов анализа изображений для извлечения из них пространственной информации; поддержка эффективных пространственных запросов и аналитики, а также кластеризации и классификации признаков

Описание варианта использования

Анализ цифровых графических образов в патологии (digital pathology imaging) является нарождающейся областью, в которой изучение сделанных с высоким разрешением изображений образцов тканей позволяет создавать новые и более эффективные способы диагностики заболеваний. В рамках патологического анализа изображений выделяется огромное (миллионы на изображение) количество пространственных объектов, таких как ядра клеток и кровеносные сосуды, представленные их границами, наряду со многими извлеченными по изображению признаками этих объектов. Полученная информация используется для многих сложных запросов и аналитики, поддерживающих биомедицинские исследования и клиническую диагностику. Недавно стал возможен патологический анализ трехмерных изображений, на основе использования трехмерных лазерных технологий либо последовательного размещения сотен срезов тканей на предметные стекла и их сканирования в цифровые изображения. Выделение трехмерных гистологических объектов на основе серий зафиксированных изображений может породить десятки миллионов трехмерных объектов по одному трехмерному изображению. В результате формируется глубокая "карта" тканей человека для использования в методах диагностики следующего поколения

Текущие решения

Вычислительная система

Суперкомпьютеры; облако

Хранилище данных

SAN или HDFS

Сеть связи

Требуется отличное внешнее сетевое соединение

Программное обеспечение

MPI для анализа изображений; Map/Reduce + Hive с пространственным расширением

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Оцифрованные графические образы образцов человеческих тканей для целей патологического анализа

Объем (количество)

1 гигабайт первичных данных + 1,5 гигабайта аналитических результатов на двумерное изображение; 1 терабайт первичных данных + 1 терабайт аналитических результатов на трехмерное изображение. 1 петабайт данных в год в средней больнице

Скорость обработки (например, в реальном времени)

После создания данные не подвергаются изменениям

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Характеристики изображений и виды аналитики зависят от типа заболевания

Вариативность (темпы изменения)

Изменений нет

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Важнейшее значение имеет высокое качество результатов, подтвержденное сделанными человеком аннотациями

Визуализация

Необходима для проверки и обучения

Качество данных (синтаксис)

Зависит от предварительной обработки предметных стекол, такой, как химическое окрашивание, и от качества алгоритмов анализа изображений

Типы данных

Первичные изображения представляют собой полные графические образы предметных стекол (в основном на основе BIGTIFF), а аналитические результаты представляют собой структурированные данные (пространственные границы и признаки)

Аналитика данных

Анализ изображений, пространственные запросы и аналитика, кластеризация и классификация признаков

Иные проблемы больших данных

Экстремально большие объемы; многомерность; аналитика является специфической для конкретных заболеваний; корреляция с данными других типов (клинические данные, данные "омиков" (omics) - таких направлений биологической науки, как геномика, протеомика, метаболомика и др.)

Проблемы пользовательского интерфейса и мобильного доступа

Трехмерная визуализация трехмерных патологических изображений маловероятна на мобильных платформах

Технические проблемы обеспечения безопасности и защиты персональных данных

Следует обеспечить защиту защищаемой информации о здоровье (protected health information); общедоступные данные должны быть де-идентифицированы

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Данные графических изображений; многомерная пространственная аналитика данных

Дополнительная информация (гиперссылки)

"Digital Pathology: Data-Intensive Frontier in Medical Imaging", Proceedings of the IEEE, Volume 100, Number 4, 2012, https://open.library.emory.edu/publications/emory:tzzn8/

Fusheng Wang et al. "A data model and database for high-resolution pathologyanalytical image informatics", J.Pathol.Inform., 2011; 2:32, https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3153692/

Fusheng Wang "Hadoop-GIS: A high performance query system for analyticalmedical imaging with MapReduce", 2011, https://www.researchgate.net/publication/291559237_Hadoop-gis_A_

high_performance_query_system_for_analytical_medical_imaging_with_

mapreduce

Ablimit Aji, Fusheng Wang, Hoang Vo, Rubao Lee, Qiaoling Liu, Xiaodong Zhang, Joel Saltz "Hadoop-GIS: A High Performance Spatial Data Warehousing System over MapReduce", Proceedings of the VLDB Endowment, Volume 6, Number 11, 2013, https://open.library.emory.edu/publications/emory:v0fvn/

Название

Вычислительный анализ биоизображений (Computational Bioimaging)

Предметная область

Научные исследования, биология

Автор/организация/эл.почта

Дэвид Скиннер (David Skinner), [email protected], и Хоакин Корреа (Joaquin Correa), [email protected] , - оба из Национального научно-исследовательского вычислительного центра энергетических исследований Министерства энергетики США (NERSC) при Национальной лаборатории имени Лоуренса в Беркли, США (LBNL),

Дэниэла Ушидзима (Daniela Ushizima), [email protected], и Йорг Мейер (Joerg Meyer), [email protected], оба из Отделения вычислительных исследований (Computational Research Division) Национальной лаборатории имени Лоуренса в Беркли, США

Акторы/

заинтересованные лица, их роли и ответственность

Поставщики возможностей и ресурсов: операторы оборудования для работы с биоизображениями, разработчики микроскопов, организации и подразделения по обработке графических образов, специалисты в области прикладной математики и кураторы данных.

Сообщество пользователей: Министерство энергетики США, представители теоретической и отраслевой науки, стремящиеся совместными усилиями создавать модели на основе данных, содержащихся в графических образах

Цели

Данные биоизображений все более автоматизированно создаются с более высоким разрешением и являются более мультимодальными. В результате возникает узкое место в анализе данных, устранение которого может способствовать новым открытиям в биологических науках посредством применения технологий больших данных. Цель заключается в том, чтобы устранить данное узкое место с помощью экстремально масштабных вычислений.

Достижение этой цели потребует не только вычислений. Потребуется создать сообщества вокруг ресурсов данных и разработать продвинутые алгоритмы для массового анализа изображений. Высокопроизводительные вычислительные решения могут использоваться ориентированными на эти сообщества научными шлюзами с целью направлять применение массового анализа данных к огромным наборам данных, полученных из изображений.

Компоненты потока рабочих процессов включают сбор, хранение, улучшение качества данных, минимизацию шума, сегментацию представляющих интерес областей, групповой отбор и извлечение признаков, классификацию объектов, а также организацию и поиск

Описание варианта использования

Интернет-точка обслуживания по принципу одного окна, обеспечивающая высокопроизводительную, с высокой пропускной способностью обработку изображений в интересах создателей и потребителей моделей, построенных на основе данных биоизображений

Текущие решения

Вычислительная система

Суперкомпьютер Hopper (150 тысяч процессоров) в Национальном научно-исследовательском вычислительном центре энергетических исследований Министерства энергетики США (NERSC)

Хранилище данных

База данных и коллекции изображений

Сеть связи

10 гигабит/с, желательны 100 гигабит/с и расширенные сетевые возможности (программно-конфигурируемая сеть [передачи данных] SDN)

Программное обеспечение

ImageJ, OMERO, VolRover, разработанные прикладными математиками продвинутые методы сегментации и выявления признаков

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Распределенные экспериментальные источники биоизображений (приборы). Запланированные потоки большого объема от автоматизированных оптических и электронных микроскопов высокого разрешения

Объем (количество)

Объемы данных растут очень быстро. Необходимы масштабируемые базы данных для данных типа "ключ-значение" и для библиотек объектов. Является актуальной обработка данных и аналитика непосредственно в базах данных. Проект в настоящее время работает с 50 терабайтами, однако в целом объем таких данных превышает петабайт. Объем данных в результате одного сканирования на появляющихся установках составляет 32 терабайта

Скорость обработки (например, в реальном времени)

Высокопроизводительные вычисления (high throughput computing, HTC), гибкий анализ

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Мультимодальный сбор и анализ изображений (multimodal imaging), по сути, должен обеспечить комбинирование поступающих по разрозненным каналам данных, с акцентом на регистрацию и форматы наборов данных

Наука о больших данных (сбор, курирование, анализ, операции)

Вариативность (темпы изменения) Достоверность (вопросы надежности, семантика)

Биологические образцы сильно различаются, и рабочие процессы их анализа должны с этим справляться

Данные в целом неупорядоченные, как и обучение классификаторов

Визуализация

Очень интенсивно используются трехмерные структурные модели

Качество данных (синтаксис)

Типы данных

Файловые форматы изображений

Аналитика данных

Машинное обучение (метод опорных векторов (Support Vector Machine, SVM) и алгоритм "случайный лес" (random forest, RF) для сервисов классификации и рекомендательных сервисов

Иные проблемы больших данных

Масштабные высокопроизводительные вычисления для программ моделирования. Гибкие методы массовой обработки неупорядоченных данных. Системы машинного обучения и знаний, которые извлекают из данных растровой графики информацию, связанную с биологическими объектами и моделями

Проблемы пользовательского интерфейса и мобильного доступа

Технические проблемы обеспечения безопасности и защиты персональных данных

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Существует потенциал для обобщения концепций поиска в контексте обработки биоизображений

Дополнительная информация (гиперссылки)

Название

Геномные измерения

Предметная область

Здравоохранение

Автор/организация/эл.почта

Джастин Зук (Justin Zook)/Национальный институт стандартов и технологий (NIST)/[email protected]

Акторы/заинтересованные лица, их роли и ответственность

Поддерживаемое американским Национальным институтом стандартов и технологий (NIST) государственно - частно - академическое партнерство "Консорциум "Геном в бутылке"" (Genome in a Bottle Consortium, https://www.nist.gov/programs-projects/genome-bottle)

Цели

Разработка надежных и хорошо изученных эталонных материалов, данных и методов, необходимых для оценки эффективности секвенирования генома

Описание варианта использования

Объединение данных, полученных в результате применения различных технологий и методов секвенирования с целью создания высоконадежных описаний полных геномов человека в качестве эталонных материалов; а также разработка методов использования этих эталонных материалов для оценки эффективности алгоритмов секвенирования генома

Текущие решения

Вычислительная система

72-ядерный кластер нашей группы в NIST, взаимодействие с ~1000-ядерными кластерами Управления по контролю за качеством пищевых продуктов и медикаментов (Food and Drug Administration, FDA). Некоторые группы используют облако

Хранилище данных

Около 40 терабайт в файловой системе NFS в NIST, петабайты геномных данных в Национальных учреждениях здравоохранения (NIH)/Национальном центре биотехнологической информации (NCBI)

Сеть связи

Разное. Требуется интенсивная обработка ввода/вывода

Программное обеспечение

Программное обеспечение с открытым исходным кодом для секвенирования в биоинформатике, разработанное академическими группами (на основе UNIX)

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Секвенсоры распределены по многим лабораториям, хотя существует ряд ключевых центров

Объем (количество)

40-терабайтная файловая система NFS в NIST заполнена. В течение года-двух в NIST потребуется >100 терабайт. Сообществу здравоохранения в целом потребуется много петабайт для хранения данных

Скорость обработки (например, в реальном времени)

Секвенсоры ДНК способны генерировать порядка ~300 гигабайт сжатых данных в день; рост объемов данных идет намного быстрее закона Мура

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Файловые форматы недостаточно хорошо стандартизированы, хотя некоторые стандарты существуют. Как правило, структурированные данные

Вариативность (темпы изменения)

Технологии секвенирования развиваются очень быстро, и новые технологии уже появились на горизонте

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

У всех технологий секвенирования имеются значительные систематические ошибки и погрешности, для выявления которых требуются сложные методы анализа и совместное применение ряда технологий, часто с использованием машинного обучения

Визуализация

Для визуализации обработанных данных были разработаны "браузеры генома"

Качество данных (синтаксис)

У технологий секвенирования и методов биоинформатики имеются значительные систематические ошибки и погрешности

Типы данных

В основном, структурированный текст

Аналитика данных

Обработка первичных данных с целью выделения вариаций (variant calls), а также клиническая интерпретация вариаций, которая в настоящее время является серьезной проблемой

Иные проблемы больших данных

Обработка данных требует значительных вычислительных мощностей, что создает проблемы - особенно для клинических лабораторий, по мере того они начинают проводить широкомасштабное секвенирование. Долговременное хранение данных клинического секвенирования может быть дорогостоящим. Методы анализа быстро эволюционируют. Многие части генома сложно анализировать, а систематические ошибки трудно выявлять

Проблемы пользовательского интерфейса и мобильного доступа

Врачам может понадобиться доступ к геномным данным на мобильных платформах

Технические проблемы обеспечения безопасности и защиты персональных данных

Необходимо обеспечить безопасность и защиту неприкосновенности частной жизни в отношении данных секвенирования, хранимых в составе медицинской документации или в базах данных клинических исследований. В то же время данные Консорциума являются общедоступными

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

У нас есть ряд идей по обобщению описанных выше работ по секвенированию генома в медицине; однако основное внимание мы уделяем работе в рамках деятельности NIST/Консорциума "Геном в бутылке". В настоящее время наша лаборатории занимается секвенированием разного масштаба, от малого до очень большого. В будущем в состав данных могут входить результаты измерений, сделанных в рамках других направлений биологической науки - "омиков" (omics, например, геномика), объем которых будет даже больше, чем объемы результатов секвенирования ДНК

Дополнительная информация (гиперссылки)

Сайт Консорциума "Геном в бутылке" (Genome in a Bottle Consortium), https://www.nist.gov/programs-projects/genome-bottle

Название

Сравнительный анализ метагеномов и геномов

Предметная область

Научные исследования, геномика

Автор/организация/эл.почта

Эрнест Сзето (Ernest Szeto)/Национальная лаборатория имени Лоуренса в Беркли, США (LBNL), [email protected]

Акторы/заинтересованные лица, их роли и ответственность

Проект "Интегрированные микробные геномы" (IMG) Объединенного института генома (JGI) Министерства энергетики США; руководители Виктор Маркович (Victor M.Markowitz) и Никос Кипридес (Nikos C.Kyrpides).

Сообщество пользователей

JGI, биологи и специалисты по биоинформатике различных стран

Цели

Создание интегрированной системы сравнительного анализа метагеномов и геномов. Сюда входит разработка интерактивного пользовательского веб-интерфейса к основным данным, предварительные вычисления на сервере (backend precomputations) и отправка пакетных заданий из пользовательского интерфейса

Описание варианта использования

Для метагеномных образцов:

(1) Определить состав изучаемой колонии/сообщества с точки зрения присутствия других эталонных изолированных геномов;

(2) Охарактеризовать функции его генов;

(3) Начать выявление возможных функциональных путей (functional pathways);

(4) Охарактеризовать сходство или различие по сравнению с другими метагеномными образцами;

(5) Начать характеризацию изменений в составе и функциях сообщества в связи с изменениями воздействием факторов окружающей среды;

(6) Выделить подразделы данных на основе показателей качества и состава сообщества

Текущие решения

Вычислительная система

Linux-кластер, сервер реляционной СУБД Oracle, большие системы хранения данных, стандартные интерактивные хосты Linux

Хранилище данных

Реляционная СУБД Oracle, файлы SQLite, плоские текстовые файлы, Lucy (версия Lucene) для поиска по ключевым словам, базы данных BLAST, базы данных USEARCH

Текущие решения

Сеть связи

Обеспечивается Национальным научно-исследовательским вычислительным центром энергетических исследований Министерства энергетики США (NERSC)

Программное обеспечение

Стандартные инструменты биоинформатики (BLAST, HMMER, инструменты множественного выравнивания последовательностей и филогенетики, программы поиска/предсказания генов и генных структур (gene callers), программы предсказания свойств по результатам секве-нирования (sequence feature predictors) и т.д.), скрипты Perl/Python, планировщик задач Linux-кластера

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Централизованный

Объем (количество)

50 терабайт

Скорость обработки (например, в реальном времени)

Веб-интерфейс пользователя должен быть интерактивным в реальном времени. Возможности обработки загружаемых данных на сервере должны соответствовать экспоненциальному росту объемов данных секвенирования из-за быстрого снижения стоимости технологии секвенирования

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Биологические данные по своей природе неоднородны, сложны, структурны и иерархичны - начинается с последовательностей, за которыми следуют свойства последовательностей, таких как гены, мотивы, регуляторные области; далее следует организация находящихся по соседству генов (опероны); и так вплоть до белков и их структурных особенностей; координации и экспрессии генов в путях. Помимо базовых геномных данных, в систему сравнительного анализа должны быть включены новые типы данных таких направлений биологической науки - "омиков" (omics), как транскриптомика, метиломика (methylomics) и протеомика, описывающих экспрессии генов в различных условиях

Вариативность (темпы изменения)

Размеры метагеномных образцов могут варьироваться на несколько порядков величины - от нескольких сотен тысяч до миллиарда генов (как, например, в сложном образце почвы)

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Методы отбора и анализа метагеномных проб в настоящее время являются предварительными и экспериментальными. Процедуры оценки набора сильно фрагментированных данных первичных измерений проработаны лучше, но все еще остаются открытой областью исследований

Визуализация

Проблемой остается быстрота интерактивного пользовательского веб-интерфейса при работе с очень большими наборами данных. Пользовательский веб-интерфейс, судя по всему, по-прежнему является предпочтительным для большинства биологов. Он используется для базовых запросов и просмотра данных. Из него могут быть запущены более специализированные инструменты, например, для просмотра множественных выравниваний. Еще одним требованием к системе является возможность загружать большие объемы данных для анализа в автономном (offline) режиме

Качество данных (синтаксис)

Улучшение качества метагеномной "сборки" (metagenomic assembly) по-прежнему является ключевой проблемой. Улучшение качества эталонных изолированных геномов, с точки зрения как охвата филогенетического дерева, так и улучшенного поиска/предсказания генов и генных структур и функциональной аннотации - более зрелый процесс, который, однако, постоянно продолжается

Типы данных

См. выше раздел "Разнообразие"

Аналитика данных

Описательная статистика, статистическая значимость при проверке гипотез, выявление новых взаимосвязей, кластеризация и классификация данных являются стандартными элементами аналитики. Менее "количественная" часть включает в себя возможность визуализации структурных элементов на разных уровнях разрешения. Редукция данных, устранение избыточности посредством кластеризации, более абстрактные представления, такие как представление группы очень похожих геномов в виде пангенома, - все это стратегии, предназначенные как для управления данными, так и для аналитики

Иные проблемы больших данных

Главным другом и союзником в деле управления неоднородными биологическими данными по-прежнему является реляционная СУБД. К сожалению, она не масштабируется на ныне имеющиеся объемы данных. Решения класса NoSQL (СУБД, существенно отличающиеся от традиционных реляционных) должны были обеспечить альтернативу, но, к сожалению, они не всегда пригодны для интерактивного использования в реальном времени или же для быстрой параллельной массовой загрузки; и иногда у них возникают проблемы с надежностью.

Наш текущий подход в настоящее время является нестандартным, специфическим для нашей ситуации, и мы опираемся главным образом на Linux - кластер и файловую систему в качестве дополнения к реляционной СУБД Oracle. Наше решение часто полагается на знание особенностей данных, что позволяет нам разрабатывать схемы горизонтального секционирования, а также осуществлять, когда это уместно, реорганизацию данных

Проблемы пользовательского интерфейса и мобильного доступа

Каких-то особых проблем нет. Требуется лишь доступ в интернет

Технические проблемы обеспечения безопасности и защиты персональных данных

Каких-то особых проблем нет. Данные либо являются общедоступными, либо для доступа к ним требуются обычные логин и пароль

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Для всех принесло бы пользу появление альтернативы реляционным СУБД в сфере больших данных. Многие решения типа NoSQL пытаются выполнить эту роль, однако у них есть свои ограничения

Дополнительная информация (гиперссылки)

Страница проекта "Интегрированные микробные геномы и микробиомы" (Integrated Microbial Genomes and Microbioms, IMG/M) на сайте Объединенного института генома (JGI), https://img.jgi.doe.gov/

Название

Индивидуальное управление лечением диабета

Предметная область

Здравоохранение

Автор/организация/эл.почта

Питер Ли (Peter Li), Йин Дин (Ying Ding), Филип Юи (Philip Yu), Джоффри Фокс (Geoffrey Fox), Дэвид Уальд (David Wild)/Клиника Мейо (Mayo Clinic), университет Индианы (IU), университет Иллинойса в Чикаго (UIC)/[email protected]

Акторы/заинтересованные лица, их роли и ответственность

Клиника Мейо + университет Индианы - семантическая интеграция данных из электронных медицинских документов.

Университет Иллинойса в Чикаго - интеллектуальный анализ семантических данных из электронных медицинских документов. Университет Индианы - облачные и параллельные вычисления

Цели

Разработка передовых методов интеллектуального анализа данных, представленных в виде графов, и их применение в отношении электронной медицинской документации, с целью выявления демографических когорт и извлечения из электронных медицинских документов соответствующих данных для оценки результатов лечения.

Эти методы расширят границы масштабируемости и технологий интеллектуального анализа данных; будут способствовать развитию знаний и практики в этих областях, а также клиническому управлению лечением сложных заболеваний

Описание варианта использования

Диабет - это болезнь, которая становится все более распространенной среди населения Земли, затрагивая как развивающиеся, так и развитые страны. Современные стратегии управления лечением не учитывают должным образом индивидуальные профили пациентов, в том числе наличие сопутствующих заболеваний и прием соответствующих лекарств - обычное явление у пациентов с хроническими заболеваниями. Мы предлагаем устранить этот недостаток путем выявления похожих пациентов из большой базы данных электронной медицинской документации (т.е. путем формирования индивидуализированной демографической когорты), и оценки результатов их лечения с тем, чтобы выбрать наилучшее решение, подходящее для конкретного больного диабетом.

Ниже описаны этапы выполнения проекта:

Этап 1: Применение "метода семантического связывания для значений свойств" (Semantic Linking for Property Values) для преобразования данных из хранилище данных в Клинике Мейо, США (EDT), в триплеты RDF, что дает нам возможность гораздо эффективнее выявлять похожих пациентов за счет связывания как словарных, так и числовых значений.

Этап 2: Требуются эффективные параллельные алгоритмы поиска и извлечения, подходящие для облачных и/или высокопроизводительных вычислений. Нереляционная СУБД Hbase с открытым исходным кодом используется для поиска по индексу и настраиваемого поиска с целью выявления потенциально представляющих интерес пациентов.

Этап 3: Данные из электронных медицинских документов, представленные в виде RDF-графа, предоставляют собой богатую среду для интеллектуального анализа закономерностей в графе. Требуются новые алгоритмы распределенного интеллектуального анализа графов с целью выполнения анализа закономерностей и применения метода индексации графов в интересах поиска закономерностей в графах на основе триплетов RDF.

Этап 4: Учитывая размер и сложность графов, интеллектуальный анализ закономерностей в подграфах может сгенерировать множество ложноположительных и ложноотрицательных результатов. Требуются надежные инструменты статистического анализа для контроля частоты ложных срабатываний, определения истинной значимости подграфа и проверки результатов в рамках нескольких клинических вариантов использования

Текущие решения

Вычислительная система

Суперкомпьютеры, облако

Хранилище данных

Распределенная файловая система HDFS (Hadoop distributed file system)

Сеть связи

Разное. Требуется интенсивная обработка ввода/вывода

Программное обеспечение

Внутреннее хранилище данных в Клинике Мейо, США (EDT)

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Распределенные данные электронной медицинской документации

Объем (количество)

База данных электронных медицинских документов Клини Мейо (Clinic Mayo) представляет собой очень большой набор данных, охватывающий более 5 млн пациентов с тысячами свойств по каждому, и многие другие сведения, полученные из первичных данных

Скорость обработки (например, в реальном времени)

Не в режиме реального времени, но данные периодически обновляются

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Структурированные данные. Значения свойств пациента могут быть как из контролируемых словарей (демография, диагностические коды, лекарства, процедуры и т.д.), так и непрерывные числовые величины (лабораторные анализы, количество лекарств, показатели жизненно важных функций и т.д.). Число значений свойств может варьироваться от менее 100 (новый пациент) до более чем 100 тысяч (длительно наблюдаемый пациент), при этом типичным для пациента является около 100 значений свойств из контролируемых словарей и 1000 непрерывных числовых величин. Большинство значений привязаны ко времени, т.е. отметка времени фиксируется вместе со значением в момент наблюдения

Вариативность (темпы изменения)

Данные обновляются или добавляются при каждом визите пациента

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Данные аннотируются на основе онтологий или таксономий предметной области. Семантика данных может варьироваться от лаборатории к лаборатории

Визуализация

Отсутствует

Качество данных (синтаксис)

Сведения о происхождение (provenance) имеют важное значение для отслеживания происхождения данных и оценки их качества

Типы данных

Текстовые данные, непрерывные числовые величины

Аналитика данных

Интеграция данных в семантический граф, использование обхода графа взамен операции join в SQL. Разработка алгоритмов интеллектуального анализа семантических графов с целью выявления закономерностей в графе, индексирования графа и поиска по нему. СУБД Hbase с индексированием. Специализированная программа для выявления новых свойств пациента на основе хранящихся данных

Иные проблемы больших данных

В рамках индивидуализированной демографической когорты, мы по существу создадим информационное табло (datamart) для каждого пациента, поскольку важнейшие свойства и показатели будут индивидуальными для каждого пациента. Из-за количества пациентов создание таких табло в индивидуальном порядке становится непрактичным. По сути, парадигма меняется от поиска строки - столбца в таблицах реляционной базы данных на обход семантического графа

Проблемы пользовательского интерфейса и мобильного доступа

Врачам и пациентам может понадобиться доступ к этим данным на мобильных платформах

Технические проблемы обеспечения безопасности и защиты персональных данных

Должны быть обеспечены безопасность и защита персональных данных в медицинских документах и клинических базах данных

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Интеграция данных: непрерывные числовые величины, онтологическая аннотация, таксономия.

Поиск по графу: индексирование графа и поиск по нему.

Валидация: статистическая валидация

Дополнительная информация (гиперссылки)

Название

Статистический реляционный искусственный интеллект для здравоохранения

Предметная область

Здравоохранение

Автор/организация/эл.почта

Шрирам Натараджан (Sriraam Natarajan)/Университет Индианы (Indiana University)/[email protected]

Акторы/заинтересованные лица, их роли и ответственность

Исследователи в области информатики и медицины, практики в области медицины

Цели

Целью проекта является анализ больших, мультимодальных данных длительного наблюдения (longitudinal data). Анализ различных типов, таких, как изображения, электронные данные (карта) здоровья (EHR), генетические данные и данные на естественном языке, требует богатых средств представления (rich representation). В рамках данного подхода используются реляционные вероятностные модели, способные работать с богатыми реляционными данными и моделирующие неопределенности на основе теории вероятности. Программное обеспечение обучает модели на основе ряда типов данных, и, возможно, сможет интегрировать информацию и логические рассуждения о сложных запросах

Описание варианта использования

Пользователи могут представить набор сведений, например образы магнитно-резонансной томографии (МРТ) и демографические данные о конкретном субъекте. Затем они могут сделать запрос о начале конкретного заболевания (например, болезни Альцгеймера), и система выдаст распределение вероятностей для возможного возникновения этого заболевания

Текущие решения

Вычислительная система

Для исполнения программы обработки данных нескольких сотен пациентов необходим высокопроизводительный компьютер (48 ГБ ОЗУ). Кластеры нужны в случае обработки больших наборов данных

Хранилище данных

Обычно тестовые данные хранятся на жестком диске емкостью от 200 гигабайт до 1 терабайта. При выполнении алгоритмов соответствующие данные извлекаются в основную память. Данные на сервере хранятся в базе данных или в хранилищах типа NoSQL

Сеть связи

Интранет

Программное обеспечение

В основном на основе Java, для обработки данных используются инструменты собственной разработки

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Все данные о пользователях хранятся в одном файле на диске. Иногда должны быть извлечены из Интернета такие ресурсы, как опубликованные тексты

Объем (количество)

Объем может варьироваться из-за разного количества собранных данных. Типичный объем измеряется сотнями гигабайт для одной когорты из нескольких сотен человек. Когда речь идет о миллионах пациентов, объем данных может быть порядка 1 петабайта

Скорость обработки (например, в реальном времени)

Различная. В некоторых случаях электронные медицинские документы постоянно обновляются. В других контролируемых исследованиях данные часто поступают партиями через равные промежутки времени

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Это ключевое свойство наборов медицинских данных. Такие данные обычно содержатся в ряде таблиц, которые необходимо объединить для выполнения анализа

Вариативность (темпы изменения)

Поступление данных во многих случаях непредсказуемо, поскольку они поступают в режиме реального времени

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Проблематична, ввиду различной модальности данных, человеческих ошибок при сборе и проверке данных

Визуализация

Визуализация всей совокупности исходных данных практически невозможна. Обычно данные визуализируются частично. Построенные модели могут быть визуализированы при определенных разумных допущениях

Качество данных (синтаксис)

Типы данных

Электронные медицинские документы, графические изображения, генетические данные, которые хранятся в нескольких базах данных

Аналитика данных

Иные проблемы больших данных

Во многих направлениях медицины данные имеются в изобилии. Ключевой вопрос заключается в том, что данных может быть слишком много (таких как изображения, генетические последовательности и т.д.), что может усложнить анализ. Реальной проблемой является согласование данных и слияние данных из нескольких источников в форме, полезной для их совместного анализа.

Еще одна проблема заключается в том, что иногда доступны большие объемы данных об одном субъекте, но число субъектов пи этом не очень велико (то есть имеется дисбаланс данных). Это может привести к тому, что в ходе анализа алгоритмы обучения расценят случайные корреляции между данными нескольких типов как важные свойства.

Ввиду этого имеют первостепенное значение робастные методы обучения, способные верно моделировать данные. Еще одним аспектом дисбаланса данных является частота позитивных примеров (случаев). Некоторые заболевания могут встречаться редко, что делает отношение позитивных примеров к "контролям" крайне искаженным, и в этом случае алгоритмы обучения могут моделировать шум вместо примеров

Технические проблемы обеспечения безопасности и защиты персональных данных

Обеспечение безопасности при подготовке и обработке данных имеет критически важное значение в медицинских областях

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Модели, обученные на одной группе населения, трудно обобщить на другие группы населения с отличающимися характеристиками. Для этого необходимо, чтобы обученные модели можно было обобщать и уточнять в соответствии с изменением характеристик населения

Дополнительная информация (гиперссылки)

Название

Эпидемиологическое исследование в масштабе всего населения Земли

Предметная область

Эпидемиология, моделирование в социальных (общественных) науках, вычислительные социальные науки

Автор/организация/эл.почта

Мадхав Марате (Madhav Marathe, [email protected]), Стивен Юбанк (Stephen Eubank, [email protected]) и Крис Барретт (Chris Barrett, [email protected])/Институт биосложности (Biocomplexity Institute, ранее Институт биоинформатики) Политехнического университета/университета штата Вирджиния (Virginia Tech)

Акторы/заинтересованные лица, их роли и ответственность

Государственные и некоммерческие учреждения, занимающиеся вопросами здравоохранения, государственной политики и смягчения последствий стихийных бедствий и катастроф.

Социологи, желающие изучить взаимодействие между поведением и распространением инфекции

Цели

(a) Сформировать синтетическую глобальную популяцию; и

(b) Провести моделирование в масштабе глобальной популяции с тем, чтобы сделать выводы о вспышках заболеваемости и различных стратегиях вмешательства

Описание варианта использования

Прогнозирование и контроль над пандемиями, аналогичными пандемии гриппа H1N1 в 2009 г.

Текущие решения

Вычислительная система

Распределенная на основе использования интерфейса передачи сообщений MPI (Message Passing Interface) система моделирования, написанная на Charm++. Параллелизм достигается за счет использования меры "время присутствия болезни" (disease residence time period)

Хранилище данных

Сетевая файловая система NFS (Network file system). Изучаются методы на основе баз данных

Сеть связи

Высокоскоростная коммутируемая компьютерная сеть Infiniband. Топология трехмерного тора с высокой пропускной способностью

Программное обеспечение

Charm++, MPI

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Данные генерируются с помощью генератора синтетической популяции, в настоящее время - централизованно. Тем не менее генерация может быть сделана распределенной как часть постобработки

Объем (количество)

100 терабайт

Скорость обработки (например, в реальном времени)

Взаимодействие с экспертами и процедуры визуализации производят большие объемы данных в реальном времени. Подача данных в программу моделирования мала, однако в ходе моделирования создаются огромные объемы данных

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Разнообразие зависит от сложности используемой в моделировании модели. Модель может быть очень сложной, если принять во внимание иные аспекты мировой популяции, такие как тип деятельности, географические, социально-экономические и культурные различия

Вариативность (темпы изменения)

Зависит от эволюции модели и соответствующих изменений в программе. Это сложная работа, требующая много времени, - отсюда и низкая скорость изменения

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Стабильность результатов моделирования зависит от качества модели. В то же время стабильность собственно вычислений - вопрос решаемый, хотя и нетривиальный

Визуализация

Для подключения визуализации потребуется пересылать очень большие объемы данных

Качество данных (синтаксис)

Данные согласованы благодаря генерации на основе модели

Типы данных

В основном сетевые данные

Аналитика данных

Сводка по различным прогонам и повторам моделирования

Иные проблемы больших данных

Вычисления в процессе моделировании требуют как значительных вычислительных ресурсов, так и обработки больших объемов данных. Более того, из-за неструктурированного и нерегулярного характера обработки графов, проблему сложно решать по частям. По этой причине также требуется широкая полоса пропускания. Следовательно, суперкомпьютер подходит больше, чем кластеры облачного типа

Проблемы пользовательского интерфейса и мобильного доступа

Нет

Технические проблемы обеспечения безопасности и защиты персональных данных

Есть ряд проблем на этапе моделирования синтетической популяции (см. модель распространения социального влияния)

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

В общем случае можно моделировать и вычислять распространение явлений различного рода: информации, болезней, социальных волнений. Во всех этих случаях применяется модель на основе лиц-агентов (agent-based model), которая использует базовую сеть взаимодействий для изучения эволюции рассматриваемых явлений

Дополнительная информация (гиперссылки)

Название

Моделирование распространения социального влияния

Предметная область

Социальное поведение (включая вопросы национальной безопасности, здравоохранения; вирусный маркетинг, городское планирование, готовность к чрезвычайным ситуациям и катастрофам)

Автор/организация/эл.почта

Мадхав Марате (Madhav Marathe, [email protected]) и Крис Кульман (Chris Kuhlman, [email protected])/Институт биосложности (Biocomplexity Institute, ранее Институт биоинформатики) Политехнического университета/университета штата Вирджиния (Virginia Tech)

Акторы/заинтересованные лица, их роли и ответственность

Цели

Создать вычислительную инфраструктуру, которая моделирует процессы распространения социального влияния.

Эта инфраструктура позволяет моделировать различные типы взаимодействия между людьми (например, лицом к лицу либо через социальные сети; отношения мать - дочь в сравнении с отношениями мать - коллега). Учитываются не только взаимоотношения между людьми, но и взаимоотношения между людьми и сервисами (например, транспорт) либо инфраструктурой (например, Интернет, электроснабжение)

Описание варианта использования

Социальные волнения. Люди выходят на улицы, чтобы выразить свое недовольство либо поддержку руководству государства. Среди граждан есть как те, кто поддерживает правительство, так и те, кто ему противостоит. Ставятся задачи количественно определить степень, в которой нормальная деловая деятельность и активность населения нарушаются из-за страха и гнева; количественно определить вероятность мирных демонстраций и/или насильственных протестов; определить диапазон возможных ответных мер правительства, начиная от умиротворения, разрешения протестов и до угроз в адрес протестующих и действий по срыву протестов. Для решения таких вопросов потребуются модели и наборы данных с высоким разрешением

Текущие решения

Вычислительная система

Программное обеспечение для распределенной обработки, исполняемое на коммерческих кластерах и в более новых архитектурах и системах (например, в облаке)

Хранилище данных

Файловые серверы (включая архивы), базы данных

Сеть связи

Ethernet, Infiniband и аналогичные им решения

Программное обеспечение

Специализированные программы моделирования, программное обеспечение с открытым исходным кодом и проприетарные среды моделирования. Базы данных

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Множество источников данных: сведения о населении, местах работы, типичных маршрутах поездок, коммунальных услугах (например, электросети) и иных созданных человеком инфраструктурах, онлайн-источниках информации и социальных сетях

Объем (количество)

Десятки терабайт новых данных ежегодно

Скорость обработки (например, в реальном времени)

Во время социальных волнений взаимодействие между людьми и мобильность являются ключом к пониманию динамики системы. Быстрые изменения в данных, например о том, кто на кого подписан в Твиттере

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Разнообразие данных проявляется в широком диапазоне источников данных. Данные, изменяющиеся с течением времени. Объединение данных.

Одной из важных проблем является объединение данных (data fusion). Как комбинировать данные из разных источников и что делать в случае отсутствия или неполноты данных?

Многочисленные одновременно протекающие процессы распространения социального влияния

Вариативность (темпы изменения)

Ввиду стохастической природы событий необходимо выполнить ряд запусков моделирования при различных параметрах модели и исходных данных, чтобы оценить диапазоны разброса результатов

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

В качестве меры обеспечения достоверности результатов проводится анализ поступающих данных в "мягком" реальном времени

Визуализация

Большие наборы данных; эволюция во времени; моделирование нескольких процессов распространения социального воздействия на нескольких представлениях сети. Различные уровни детализации (например, уровень отдельного человека, микрорайона, города, штата, страны)

Качество данных (синтаксис)

Проверки с целью обеспечения согласованности данных, на наличие порчи данных. Предварительная обработка первичных данных для использования их в моделях

Типы данных

Очень разнообразные данные, от характеристик человека до данных о коммунальных и транспортных системах и взаимодействии между ними

Аналитика данных

Модели поведения людей и физических инфраструктур, а также взаимодействия между ними. Визуализация результатов

Иные проблемы больших данных

Как учесть разнородные особенности сотен миллионов или миллиардов людей и модели культурных различий между странами, которые приписаны отдельным агентам? Как проверить эти большие модели?

Различные типы моделей (например, с несколькими процессами распространения социального влияния): болезни, эмоции, поведение. Моделирование различных систем городской инфраструктуры, в условиях которой действуют люди.

Поскольку для оценки стохастичности требуется повторное моделирование, создаются большие объемы выходных данных; соответственно, требования к их хранению

Проблемы пользовательского интерфейса и мобильного доступа

Где и как выполнять эти вычисления? Комбинации облачных вычислений и кластеров. Как добиться максимальной эффективности вычислений - переместить данные к вычислительным ресурсам?

Технические проблемы обеспечения безопасности и защиты персональных данных

В данном вопросе есть два аспекта. Во-первых, обеспечение неприкосновенности частной жизни и анонимности людей, сведения о которых использованы при моделировании (это, например, данные о пользователях Twitter и Facebook). Во-вторых, обеспечении защиты данных и вычислительных платформ

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Объединение данных различных типов. В зависимости от конкретной рассматриваемой проблемы необходимо комбинировать разные наборы данных. Встает вопрос о том, каким образом обеспечить быструю разработку, проверку и валидацию новых моделей для новых приложений. Проблема выбора надлежащего уровня детализации, позволяющего схватить изучаемое явление, обеспечивая в то же время достаточно быстрое получение результатов, - то есть это вопрос о том, как сделать решение масштабируемым. Визуализация и извлечение данных с разной степенью детализации

Дополнительная информация (гиперссылки)

Название

LifeWatch - европейская электронная инфраструктура для исследований в области экологии и биологического разнообразия

Предметная область

Научные исследования, медико-биологические науки

Автор/организация/эл.почта

Ваутер Лос (Wouter Los), Юрий Демченко (Yuri Demchenko, [email protected]), университет Амстердама

Акторы/заинтересованные лица, их роли и ответственность

Конечные пользователи (биологи, экологи, полевые исследователи) Аналитики данных, менеджеры архивов данных, менеджеры инфраструктуры электронной науки, национальные представители стран - членов Евросоюза

Цели

Мониторинг и изучение различных экосистем, биологических видов, их динамики и миграции

Описание варианта использования

Целью проекта LifeWatch является обеспечение интегрированного доступ к различным данным, инструментам аналитики и моделирования, предоставленным рядом сотрудничающих с ним проектов. Он также будет предлагать данные и инструменты в составе отдельных рабочих процессов конкретным научным сообществам. Помимо этого, LifeWatch предоставит возможности для создания персонализированных "виртуальных лабораторий", также позволяя вводить/подключать новые данные и аналитические инструменты.

Новые данные будут коллективно использоваться сотрудничающими с LifeWatch центрами обработки данных.

Конкретные тематические исследования: мониторинг чужеродных видов, мигрирующих птиц и водно-болотных угодий

Текущие решения

Вычислительная система

Полевые объекты: будут определены позднее

Центр обработки данных: Типичные ресурсы сетевых параллельных вычислений и облачные ресурсы, предоставляемые национальными центрами электронной науки

Хранилище данных

Распределенное; архивируются исторические данные и данные о тенденциях

Сеть связи

Может потребоваться специальная выделенная или оверлейная (наложенная) сенсорная сеть

Программное обеспечение

Веб-сервисы, грид-сервисы, реляционные базы данных

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Экологическая информация от многочисленных пунктов наблюдения и мониторинга и сенсорной сети, спутниковые изображения/информация, данные о климате и погоде, вся зарегистрированная информация. Информация от полевых исследователей

Объем (количество)

Охватывает множество существующих наборов данных/источников.

Суммарный объем данных предстоит определить

Скорость обработки (например, в реальном времени)

Данные анализируются поэтапно, динамика обработки соответствует динамике биологических и экологических процессов.

Может, однако, потребоваться обработка и анализ в реальном времени в случае стихийных бедствий или техногенных катастроф.

Может потребоваться обработка потоковых данных

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Разнообразие и количество задействованных баз данных и данных наблюдений в настоящее время ограничено возможностями доступных инструментов. В принципе оно является неограниченным, с учетом растущих возможностей для обработки данных с целью выявления экологических изменений, факторов/причин, эволюции видов и тенденций.

См. ниже в разделе дополнительной информации

Вариативность (темпы изменения)

Структура наборов данных и моделей может изменяться в зависимости от этапа обработки данных и поставленных задач

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

В обычном режиме мониторинга данные статистически обрабатываются для достижения надежности результатов.

Для некоторых исследований в области биоразнообразия достоверность данных (их надежность и возможность им доверять) имеет критически важное значение.

В случае стихийных бедствий и техногенных катастроф достоверность данных имеет критически важное значение

Визуализация

Требуются развитая и богатая визуализация, средства визуализации высокой четкости, данные визуализации, поддерживающие:

- 4D-визуализацию;

- визуализацию влияния изменения параметров в (вычислительных) моделях;

- сравнение полученных по модели результатов с реальными наблюдениями (многомерное)

Качество данных (синтаксис)

Качество зависит и является следствием качества исходных данных наблюдений.

Качество аналитических результатов зависит от используемых моделей и алгоритмов, которые постоянно совершенствуются. Нужна возможность повторного анализа данных с целью переоценки исходных данных наблюдений.

Данные, на основе которых должны приниматься решения, контролируются человеком

Типы данных

Данные многих типов. Реляционные данные, пары ключ-значение, сложные данные с развитой семантикой

Аналитика данных

Аналитика параллельных потоков данных и аналитика данных, поступающих в потоковом режиме

Иные проблемы больших данных

Хранение и архивация данных, обмен данными и их интеграция; связь данных: от исходных данных наблюдений до обработанных данных и данных отчетности/визуализированных данных:

- уникальные исторические данные;

- курированные (авторизованные) эталонные данные (т.е. списки названий видов), алгоритмы, программные коды, рабочие процессы;

- обработанные (вторичные) данные, являющиеся исходным материалом для других исследователей;

- контроль происхождения с присвоением постоянного идентификатора (PID) данных, алгоритмов и рабочих процессов

Проблемы пользовательского интерфейса и мобильного доступа

Требуется поддержка мобильных датчиков (например, при изучении миграции птиц) и мобильной работы исследователей (как в плане передачи информации, так и в плане поиска в каталоге)

- Оснащенные инструментами полевые транспортные средства, корабли, самолеты, подводные лодки, плавучие буи; сенсорные бирки на особях

- Фотографии, видео- и звукозаписи

Технические проблемы обеспечения безопасности и защиты персональных данных

Целостность данных, ссылочная целостность наборов данных.

Объединенное управление идентификацией для мобильных исследователей и мобильных датчиков

Обеспечение конфиденциальности, контроля доступа и учета информации об охраняемых видах, экологической информации, космических снимков, климатической информации

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Поддержка распределенной сенсорной сети

Комбинирование и установление связей между данными различных типов; потенциально неограниченное разнообразие данных.

Управление жизненным циклом данных: происхождение данных, ссылочная целостность и идентификация.

Доступ и интеграция нескольких распределенных баз данных

Дополнительная информация (гиперссылки)

Сайт европейского проекта LifeWatch-ERIC, https://www.lifewatch.eu/web/ guest/home

Сайт реестра веб-сервисов в области биоразнообразия BiodiversityCatalogue, https://www.biodiversitycatalogue.org/

Примечание - Разнообразие данных, используемых в исследованиях по биоразнообразию:

Генетическое (геномное) разнообразие:

- последовательности ДНК и ДНК - баркодирование;

- метаболомические функции.

Информация о биологических видах:

- названия видов;

- сведения о наблюдениях (по времени и месту);

- отличительные признаки вида и данные об истории его развития;

- взаимоотношения хозяин-паразит;

- данных об образцах в коллекции.

Экологическая информация:

- биомасса, диаметр ствола/корня и другие физические характеристики;

- плотность населения и т.п.;

- структуры среды обитания;

- геохимические циклы углерода, азота, фосфора и т.д.

Данные об экосистеме:

- видовой состав и динамика сообщества;

- данные дистанционного и наземного наблюдения;

- потоки

;

- характеристики почвы;

- цветение водорослей;

- температура, соленость, кислотность морской среды, течения и т.д.

Эксплуатация экосистемы:

- продуктивность (т.е. производство биомассы в единицу времени);

- динамика пресной воды;

- эрозия;

- буферизация тепла и влажности;

- генетические пулы.

Концепции данных:

- концептуальная основа каждого вида данных;

- онтологии;

- данные о происхождении.

Алгоритмы и потоки рабочих процессов:

- программный код и происхождение;

- протестированные рабочие процессы.

Многочисленные источники данных и информации:

- данные сбора образцов;

- наблюдения (в сделанной человеком интерпретации);

- датчики и сенсорные сети (наземные, морские, почвенных организмов), кольцевание птиц и т.д.;

- спектры воздушного и спутникового наблюдения;

- полевые и лабораторные эксперименты;

- данные радаров и лазерных радаров (лидаров);

- данные о рыболовстве и сельском хозяйстве;

- данные о заболеваниях и эпидемиях.

Название

Крупномасштабное глубокое обучение

Предметная область

Машинное обучение, искусственный интеллект

Автор/организация/эл.почта

Адам Коутс (Adam Coates)/Стэнфордский университет (Stanford University)/[email protected]

Акторы/заинтересованные лица, их роли и ответственность

Исследователям и практикам в области машинного обучения приходится иметь дело с большими объемами данных и сложными задачами прогнозирования. Данный вариант использования поддерживает новейшие разработки в области компьютерного зрения, управления беспилотным автомобилем, распознавания речи и обработки естественного языка в научно-исследовательских и отраслевых системах

Цели

Увеличение объема наборов данных и размера моделей, с которыми способны работать алгоритмы глубокого обучения. Большие модели (например, нейронные сети с большим количеством нейронов и соединений) в сочетании с большими наборами данных все чаще показывают наилучшие результаты при выполнении эталонных задач в области зрения, речи и обработки естественного языка

Описание варианта использования

Научный сотрудник или специалист-практик в области машинного обучения хочет обучать глубокую нейронную сеть на большом (намного более 1 терабайта) массиве данных, обычно состоящем из изображений, видео-, аудиоматериалов и/или текста. Такие процедуры обучения часто требуют специфической настройки архитектуры нейронной сети, критериев обучения и предварительной обработки набора данных. Помимо вычислительных затрат, которых требуют алгоритмы обучения, чрезвычайно высока потребность в быстрой разработке прототипа и удобстве разработки

Текущие решения

Вычислительная система

Кластер графических процессоров с высокоскоростными соединениями (например, Infiniband, 40 гигабит в секунду)

Хранилище данных

Файловая система Lustre объемом 100 терабайт

Сеть связи

В кластере высокопроизводительных вычислений - Infiniband; 1-гигабитный Ethernet для сетевых соединений с внешней инфраструктурой (такой как интернет, файловая система Lustre)

Программное обеспечение

Программное обеспечение для информационного обмена между ядрами графических профессоров и для взаимодействия на основе MPI, разработанное на факультете вычислительных наук Стэнфордского университета. Исходный код на языках C ++ / Python

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Централизованная файловая система, содержащая один большой обучающий набор данных. Набор данных может обновляться путем включения новых учебных примеров по мере их появления

Объем (количество)

Типичный объем наборов данных обычно составляет от 1 до 10 терабайт. С ростом вычислительных мощностей, позволяющим использовать модели гораздо большего размера, могут потребоваться наборы данных объемом 100 терабайт и более для использования в полной мере репрезентативной способности более крупных моделей. Для обучения беспилотного автомобиля могут потребоваться 100 млн изображений

Скорость обработки (например, в реальном ремени)

Требуется намного более быстрая обработка, чем в реальном времени. Современные приложения компьютерного зрения включают обработку сотен кадров в секунду с тем, чтобы обеспечить разумное время обучения. Для требовательных приложений (таких, как управление беспилотным автомобилем) мы предвидим потребность в обработке многих тысяч изображений с высоким разрешением (6 мегапикселей и более) в секунду

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Отдельные приложения могут использовать широкий спектр данных. В настоящее время изучаются, в частности, нейронные сети, которые активно учатся на разнородных задачах, таких как обучение выполнению тегирова-ние, разбивки на фрагменты и разбора текста, или обучение чтению по губам с использованием комбинации видео и аудиозаписей

Вариативность (темпы изменения)

Вариативность низкая. Большая часть данных поступает в постоянном темпе в потоковом режиме из общего источника. Из-за высоких вычислительных требований нагрузка на сервер может сделать передачу данных неравномерной

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Наборы данных для приложений машинного обучения часто размечаются и проверяются вручную. При подготовке чрезвычайно больших наборов данных разметка может выполняться с использованием краудсорсинга, тем самым возникает риск неоднозначных ситуаций, когда метка непонятна. Автоматизированные системы разметки по-прежнему требуют проведения человеком проверки результатов на соответствие здравому смыслу. Активной областью исследований являются умные методы построения больших наборов данных

Визуализация

Визуализация обученных сетей является открытой областью исследований, хотя отчасти рассматривается как метод отладки. Некоторые визуальные приложения включают использование визуализации для прогнозирования (visualization predictions) на основе тестовых изображений

Качество данных (синтаксис)

Некоторые из собранных данных (например, сжатое видео или аудио) могут быть представлены в неизвестные форматах, использовать неизвестные кодеки или оказаться поврежденными. Автоматическая фильтрация исходных данных удаляет такие данные

Типы данных

Изображения, видео, аудио, текст (на практике, почти любые)

Аналитика данных

В небольшой степени выполняется пакетная статистическая предварительная обработка; весь остальной анализ данных выполняется самим алгоритмом обучения

Иные проблемы больших данных

Требования к обработке даже для скромных объемов данных являются чрезвычайно высокими. Хотя обученные представления могут использовать много терабайт данных, основная проблема заключается в обработке всех данных во время обучения. Современные системы глубокого обучения способны использовать нейронные сети с более чем 10 млрд свободных параметров (аналогичных синапсам мозга), что требует триллионов операций с плавающей запятой для каждого учебного примера. Распределение этих вычислений по высокопроизводительной инфраструктуре является серьезной проблемой, для решения которой в настоящее время мы в основном используем специализированную программную систему

Проблемы пользовательского интерфейса и мобильного доступа

После завершения обучения больших нейронных сетей, обученная сеть может быть скопирована на другие устройства с кардинально меньшими вычислительными возможностями для использования в прогнозировании в реальном времени. (Например, при управлении беспилотными автомобилями, процедура обучения выполняется с использованием высокопроизводительного кластера с 64 графическими процессорами. Результатом обучения является нейронная сеть, которая кодирует необходимые знания для принятия решений о пилотировании и обходе препятствий. Эта сеть может быть скопирована во встроенное в транспортные средства оборудование или в датчики.)

Технические проблемы обеспечения безопасности и защиты персональных данных

Нет

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Глубокое обучение имеет много общих черт с более широкой областью машинного обучения. Первостепенными требованиями являются высокая вычислительная пропускная способность (computational throughput), главным образом, для операций линейной алгебры с плотными матрицами, а также чрезвычайно высокая продуктивность. Для обеспечения лучшей производительности большинство систем глубокого обучения требуют значительных усилий по настройке на целевое приложение и, следовательно, требуют большого количества экспериментов, с вмешательством проектировщика между экспериментами. В результате ключевое значение имеет минимизация времени на проведение эксперимента и ускорение процесса разработки.

Эти два требования - высокая вычислительная пропускная способность и высокая продуктивность - резко противоречат друг другу. Существуют системы высокопроизводительных вычислений (HPC), которые можно использовать для ускорения экспериментов, однако текущую программную HPC-инфраструктуру сложно использовать, что удлиняет время разработки и отладки, а во многих случаях, делает невозможными в остальном посильные в вычислительном плане приложения.

В число основных компонент, необходимых для этих приложений (которые в настоящее время являются программами нашей собственной разработки), входят операции линейной алгебры над плотными матрицами, выполняемые в высокопроизводительных вычислительных системах с распределенной памятью. Если библиотеки для вычислений на одной машине или на одном графическом процессоре доступны (например, BLAS, CuBLAS, MAGMA и др.), то распределенные вычисления с плотными матрицами на графических процессорах, подобные тем, что поддерживаются BLAS или LAPACK, остаются слабо развитыми. Существующие решения (например, ScaLapack для центральных процессоров) не очень хорошо интегрированы с языками высокого уровня и требуют низкоуровневого программирования, что удлиняет время эксперимента и процесса разработки

Дополнительная информация (гиперссылки)

Недавние популярные публикации в прессе о технологии глубокого обучения:

Джон Марков (John Markoff) "Ученые видят потенциал у программ глубокого обучения" (Scientists See Promise in Deep-Learning Programs), "Нью-Йорк таймс", 23 ноября 2012 г., https://www.nytimes.com/2012/11/24/science/scientists-see-

advances-in-deep-learning-a-part-of-artificial-intelligence.html

Джон Марков (John Markoff) "Сколько компьютеров нужно, чтобы идентифицировать кошку? 16 тысяч" (How Many Computers to Identify a Cat? 16,000), "Нью-Йорк таймс", 25 июня 2012 г., https://www.nytimes.com/2012/06/26/technology/in-a-

big-network-of-computers-evidence-of-machine-learning.html

Даниэла Эрнандес (Daniela Hernandez) "Теперь Вы можете задешево создать искусственный мозг, который Google обошелся в миллион долларов" (Now You Can Build Google’s $1M Artificial Brain on the Cheap), Wired, 17 июня 2013 г., https://www.wired.com/2013/06/andrew-ng/

Название

Организация крупномасштабных, неструктурированных коллекций сделанных потребителями фотографий

Предметная область

Научные исследования, искусственный интеллект

Автор/организация/эл.почта

Дэвид Крендал (David Crandall), Университет Индианы, [email protected]

Акторы/заинтересованные лица, их роли и ответственность

Исследователи в области компьютерного зрения (развитие данного направления), новостные агентства и компании - владельцы социальных сетей (способствование организации крупномасштабных коллекций фотографий), потребители (просмотр как личных, так и публичных коллекций фотографий), исследователи и другие специалисты, заинтересованные в создании дешевых трехмерных моделей (археологи, архитекторы, градостроители, дизайнеры интерьеров и т.д.)

Цели

Создание трехмерных реконструкций сцен с использованием коллекций, содержащих от миллионов до миллиардов сделанных потребителями фотографий, когда ни структура сцены, ни положение камеры заранее не известны. Использование полученных трехмерных моделей для поддержки эффективного и результативного просмотра крупномасштабных коллекций фотографий по географическому положению. Географическая привязка новых изображений осуществляется путем сопоставления с трехмерными моделями. Для каждого изображения может быть выполнено распознавание объектов

Описание варианта использования

Задача трехмерной реконструкции обычно формулируется как задача робастной нелинейной оптимизации с использованием метода наименьших квадратов, в рамках которой наблюдаемые (зашумленные) соответствия между изображениями являются ограничениями, а в число неизвестных входят 6-мерные координаты, задающие положение камеры для каждого изображения и 3-мерные координаты положения каждой точки сцены. Разреженность и большая степень шума в ограничениях обычно приводят к тому, что базовые методы оптимизации сходятся в локальные минимумы, которые далеки от реальной структуры сцены.

Типичные конкретные шаги включают:

(1) извлечение признаков из изображений,

(2) сопоставление изображений для выявления пар с общими структурами сцены,

(3) оценку первоначального решения, которое близко к структуре сцены и/или параметрам камеры,

(4) непосредственную оптимизация нелинейной целевой функции. Можно отметить, что операции на шаге (1) прекрасно распараллеливаются; шаг (2) - это проблема сопоставления всех пар, обычно с использованием эвристик, которые на ранней стадии отбрасывает маловероятные пары.

Шаг (3) выполняется нами путем дискретной оптимизации, использующей вероятностный вывод в графе (марковское случайное поле), после чего применяется робастный алгоритм Левенберга-Марквардта в непрерывном пространстве. Другие выполняют шаг (3), решая задачу шага (4) для небольшого числа изображений, а затем постепенно добавляя новые изображения и используя выходные данные последнего этапа расчетов в качестве начальных условий очередного этапа.

Шаг (4) обычно выполняется с помощью алгоритма уравнивания по связкам (bundle adjustment), который является реализацией нелинейного метода наименьших квадратов, оптимизированного под конкретные структуры ограничений, возникающих в задачах трехмерной реконструкции. Решение задачи распознавания образов обычно хорошо распараллеливается, хотя обучения моделей объектов включают в себя обучение классификатора (например, метода опорных векторов) - процесс, который зачастую трудно распараллелить

Текущие решения

Вычислительная система

Кластер Hadoop (около 60 узлов, 480 ядер)

Хранилище данных

Hadoop DFS и плоские файлы

Сеть связи

Простой Unix

Программное обеспечение

Написанные вручную простые многопоточные инструменты (ssh и сокеты для обмена информацией)

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Общедоступные коллекции фотографий, например, на Flickr, Panoramio и др.

Объем (количество)

Более 500 млрд фотографий на Facebook, более 5 млрд фотографий на Flickr

Скорость обработки (например, в реальном времени)

Ежедневно в Facebook добавляется более 100 миллионов новых фотографий

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Изображения и метаданные, включая теги EXIF (фокусное расстояние, тип камеры и т.д.).

Вариативность (темпы изменения)

Темпы поступления фотографий значительно варьируются. Например, на Facebook в Новый год выкладывается примерно в 10 раз больше фотографий, чем в другие дни. Географическое распределение фотографий подчиняется распределению "с длинным хвостом", при этом с 1000 примечательных объектов на местности (общей площадью всего около 100 кв.км) связаны более 20% фотографий на сайте Flickr

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Важна максимальная точность, с учетом ограничений технологии компьютерного зрения

Визуализация

Визуализация крупномасштабных трехмерных реконструкций и навигация по крупномасштабным коллекциям изображений, которые были согласованы с картами

Качество данных (синтаксис)

Наблюдаемые в изображениях признаки достаточно сильно зашумлены как из-за несовершенного извлечения признаков, так и из-за неидеальных свойств конкретных изображений (дисторсия объектива, шум сенсора, добавленные пользователем к изображению эффекты и т.д.)

Типы данных

Изображения, метаданные

Аналитика данных

Иные проблемы больших данных

Аналитика нуждается в постоянном мониторинге и совершенствовании

Проблемы пользовательского интерфейса и мобильного доступа

Многие/большинство изображений захватываются мобильными устройствами. Конечная цель заключается в том, чтобы приблизить процессы реконструкции и организации коллекции к телефону и сделать возможным взаимодействие с пользователем в реальном времени

Технические проблемы обеспечения безопасности и защиты персональных данных

Необходимо обеспечить неприкосновенность частной жизни для пользователей и цифровые права для средств массовой информации

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Компоненты этого варианта использования, включая извлечение признаков, сопоставление признаков и крупномасштабную машину вероятностных логических выводов, появляются при решении многих или даже большинства проблем компьютерного зрения и обработки изображений, включая распознавание, разделение по глубине (stereo resolution), устранение шума в изображениях и т.д.

Дополнительная информация (гиперссылки)

Сайт лаборатории компьютерного зрения (Computer Vision Lab) Университета Индианы, http://vision.soic.indiana.edu/projects/disco/

Название

Truthy - Исследование распространения информации на основе данных Твиттера

Предметная область

Научные исследования: Изучение сложных сетей и систем

Автор/организация/эл.почта

Филиппо Менцер (Filippo Menczer), Университет Индианы, [email protected]

Алессандро Фламмини (Alessandro Flammini), Университет Индианы,

[email protected]

Эмилио Феррара (Emilio Ferrara), Университет Индианы, [email protected]

Акторы/заинтересованные лица, их роли и ответственность

Исследования финансируются Национальным научным фондом США (National Science Foundation, NSF), Агентством по передовым военным научно-техническим проектам (Defense Advanced Research Projects Agency, DARPA), фондом Макдоннела (James S. McDonnell Foundation)

Цели

Понять, как информация распространяется по социально-техническим сетям. Обнаружение потенциально опасной информации (например, вводящих в заблуждение сообщений, скоординированных кампаний и недостоверной информации и т.п.) на ранних стадиях ее распространения

Описание варианта использования

(1) Сбор и хранение большого объема данных, поступающих непрерывным потоком от Твиттера (

100 млн сообщений в день, темпы роста объемов данных

500 гигабайт данных в день);

(2) Анализ таких данных в режиме времени, близком к реальному, с целью выявления аномалий, кластеризации потока, классификации сигналов и онлайн-обучения;

(3) Поиск и извлечение данных, визуализация больших данных, интерактивные веб-интерфейсы к данным и общедоступные программные интерфейсы (API) для запросов к данным

Текущие решения

Вычислительная система

В настоящее время: собственный кластер, поддерживаемый Университетом Индианы. Критическое требование: большой кластер для хранения данных, манипулирования ими, выполнения запросов и анализа

Хранилище данных

В настоящее время: первичные данные (с августа 2010 г.), хранящиеся в больших сжатых плоских файлах. Требуется переход на Hadoop/Indexed HBase и распределенное хранение в файловой системе HDFS. База данных в оперативной памяти под СУБД Redis как буфер для анализа в реальном времени

Сеть связи

Требуется 10-гигабитный Infiniband

Программное обеспечение

Hadoop, Hive, Redis для управления данными; Python/SciPy/NumPy/MPI для анализа данных

Характеристики больших данных

Источник данных (распределенный/ централизованный)

Распределенный - с репликацией/избыточностью

Объем (количество)

Скорость обработки (например, в реальном времени)

Хранение данных, выполнение запросов и анализ в масштабе времени, близком к реальному

Разнообразие (множество наборов данных, комбинация данных из различных источников)

Схема данных предоставлена социальной сетью - источником данных. В настоящее время используются только данные Твиттера. Мы планируем расширять проект, охватив Google+ и Facebook

Вариативность (темпы изменения)

Непрерывный поток данных в реальном времени, поступающий из каждого источника

Наука о больших данных (сбор, курирование, анализ, операции)

Достоверность (вопросы надежности, семантика)

Для получения данных в реальном времени требуется, чтобы система 99,99% времени находилась в рабочем состоянии. Перебои в работе могут нарушить целостность данных и уменьшить их значимость

Визуализация

Уже существуют возможности для визуализации распространения информации, кластеризации и для динамической визуализации сети

Качество данных (синтаксис)

Данные структурированы в стандартизированных форматах, общее качество данных чрезвычайно высокое. Мы генерируем агрегированную статистику; расширяем набор признаков и т.д., производя высококачественные производные данные

Типы данных

Полностью структурированные данные (формат JSON), обогащенные пользовательскими метаданными данными геолокации и т.д.

Аналитика данных

Кластеризация потока: данные агрегируются по темам, метаданным и дополнительным признакам с использованием специализированных онлайн-алгоритмов кластеризации.

Классификация: используя многомерные временные ряды для генерации сетевых признаков, признаков пользователей, географических, контента и т.д., мы классифицируем производимую на платформе информацию.

Обнаружение аномалий: идентификация аномальных событий в реальном времени (например, вызванных внешними факторами).

Онлайн-обучение: применение методов машинного обучения/глубокого обучения для анализа в режиме реального времени закономерностей распространения информации, профилирования пользователей и т.д.

Иные проблемы больших данных

Обеспечение анализа в реальном времени большого объема данных. Обеспечение масштабируемой инфраструктуры для выделения по требованию ресурсов, пространства хранения и т.д., если это потребуется ввиду увеличения с течением времени объема данных

Проблемы пользовательского интерфейса и мобильного доступа

Реализация низкоуровневых функциональных возможностей инфраструктуры хранения данных с целью обеспечения эффективного мобильного доступа к данным

Технические проблемы обеспечения безопасности и защиты персональных данных

Твиттер раскрывает в открытом доступе данные, собранные нашей платформой. Поскольку источники данных включают в себя пользовательские метаданные (которых, как правило, недостаточно для однозначной идентификации физических лиц), необходимо реализовать определенную политику обеспечения безопасности хранения данных и защиты неприкосновенности частной жизни

Перечислите основные характеристики и связанные варианты использования (например, в интересах эталонной архитектуры)

Определение высокоуровневой схемы данных для подключения нескольких источников данных, предоставляющих аналогично структурированные данные

Дополнительная информация (гиперссылки)

Сайт проекта Truthy Университета Индианы, http://truthy.indiana.edu/

Страница проекта Truthy на сайте Центра исследований сложных сетей и систем (Center for Complex Network and System Research, CNetS) Университета Индианы, https://cnets.indiana.edu/groups/nan/truthy/

Страница проекта "Выявление ранних признаков подстрекательства в информационных каскадах" (Detecting Early Signature of Persuasion in Information Cascades, DESPIC) на сайте Центра исследований сложных сетей и систем (Center for Complex Network and System Research, CNetS) Университета Индианы, https://cnets.indiana.edu/groups/nan/despic/

Название

Краудсорсинг в гуманитарных науках как источник больших и динамических данных

Предметная область

Гуманитарные науки, социальные науки

Автор/организация/эл.почта

Себастьян Друде (Sebastian Drude)/Институт психолингвистики общества Макса Планка (Max Planck Institute for Psycholinguistics, Неймеген, Нидерланды)/[email protected]

Акторы/заинтересованные лица, их роли и ответственность

Ученые (социологи, психологи, лингвисты, политологи, историки и т.д.), специалисты по управлению данными и аналитики, архивы данных. Представители широкой общественности как поставщики данных и участники

Цели

Сбор информации (введенные вручную данные, записанные мультимедийные материалы, время реакции, изображения, информация от датчиков) у многих людей и с их устройств.

Это позволяет, охватить многообразные индивидуальные, социальные, культурные и лингвистические различия в нескольких измерениях (пространство, социальное пространство, время)

Описание варианта использования

Множество различных возможных вариантов использования: собрав записи, отражающие использование языка (слов, предложений, описаний значений и т.д.), ответы на опросы, информацию о фактах культуры, описания изображений и тексты - соотнести их с другими явлениями, выявить новые культурные практики, поведение, ценности и убеждения, определить индивидуальные вариации

Текущие решения

Вычислительная система

Индивидуальные системы, в которых проводится ручной сбор данных (в основном, веб-сайты)

Хранилище данных

Традиционные сервера

Сеть связи

Помимо ввода данных через интернет используется мало