Asp структура метабазы

Содержание

Metabase is the easy , open source way for everyone in your company to ask questions and learn from data.

Ask your own questions

Explore on your own

Easily filter and group your data to find just what you’re looking for, all without ever writing a line of sql or having to wait on a co-worker.

See connections

It just takes a click to see individual records and explore connections between your data, so you can move from who, to what effortlessly.

Visualize results

Move from your data to beautiful graphs and charts with just a few clicks.

SQL when you need it

When you need to dig into the complicated stuff, Metabase provides an elegant SQL interface for people who need a little more power.

Metabase has helped these fine folks learn more about their data.

Share what you find.

Activity

Get a real-time glimpse into what your company is learning about your data. Activity helps people in your company find an answer, jump start their own exploration, or improve existing questions.

Dashboards

Let everyone on your team create, organize and share collections of data.

Open source and constantly improving.

Metabase is built and maintained by a dedicated team, and is open source, so the community can help improve it too. You get new features, interface improvements, and bug fixes for free, and can forget about building or maintaining your own analytics platform.

Free and simple to set up.

Start out simple and run Metabase on your own laptop, or set it up for your entire company on your own servers. You get full control of how and where you run Metabase which means:

  • No storage limits, pricing tiers, or caps.
  • Your data stays private and on your own servers.

Setup Guide

Реферат: Метаданные

федеральное агентство по образованию

Реферат

Различие между данными и метаданными

Классификация и структура метаданных

Проблемы стандартизации метаданных

Метаданные (от греч. Meta и лат. Data), буквально переводится как «данные о данных», информация о другом наборе данных.

1. Метаданные — это структурированные, кодированные данные, которые описывают характеристики объектов-носителей информации, способствующие идентификации, обнаружению, оценке и управлению этими объектами.

2. Метаданные (Майкл Брэкет) – любые данные об информационных ресурсах организации».

3. Метаданные (Адриен Танненбаум) – детальное описание сущности данных.

4. Метаданные – это данные о данных, информация об информации, описание контента.

Различие между данными и метаданными

Обычно невозможно провести однозначное разделение на данные и метаданные в документе, поскольку:

1. что-то может являться как данными, так и метаданными. Так, заголовок статьи можно одновременно отнести как к метаданным (как элемент метаданных — заголовок), так и к собственно данным (поскольку заголовок является частью самого текста).

2. данные и метаданные могут меняться ролями. На стихотворение, рассматриваемое как данные, может быть написана музыка, в этом случае всё стихотворение может быть «прикреплено» к музыкальному файлу и в этом случае рассматриваться как метаданные. Таким образом, отнесение к одной или другой категории зависит от точки зрения (или пространства имён, системы отсчёта).

Классификация и структура метаданных

Существуют различные классификации метаданных, отличающиеся между собой, главным образом, степенью детализации. Две большие группы:

1. Метаданные описания контента. Контентные метаданные охватывают описание всех аспектов данного информационного объекта, как отдельной сущности. Иногда их дополнительно подразделяют на структурные и описательные.

2. Административные метаданные. Административные метаданные объединяют различные группы и отличаются большим разнообразием. Например, они позволяют владельцу ресурса проводить четкую и гибкую политику в отношении информационного объекта, включая авторизацию, аутентификацию, управление авторскими правами, доступом, а также служат для идентификации и категоризации объектов в рамках специальной коллекции или организации. Метаданные для архивирования могут включать в себя не только метаданные, необходимые для нахождения ресурсов, возможные правила и условия доступа и т.д., но и периоды времени для классифицированной информации, информацию об открытом или закрытом хранении, данные об использовании, историю миграции с одной объединение аппаратной платформы на другую и т.д. Другая группа административных метаданных может использоваться для позиционирования данного информационного ресурса в контексте группы подобных документов, информационно-поисковой системы, предметной области и т.д. Существует группа административных метаданных, которые можно назвать «техническими» . В качестве примера можно назвать схемы хранения данных в базах данных, схемы распределенных баз данных и др. Наконец, метаданные можно использовать для «кодирования» содержательной информации о том, для каких групп пользователей предназначен ресурс, для ориентирования пользователей относительно его философского, мировоззренческого смысла (т.е. метаданные будут содержать сравнительную и оценочную компоненты, призванные помочь пользователю «встроить» данную информацию в структуру его миропонимания).

Метаданные состоят из элементов, объединенных в наборы. Широко известным примером набора элементов метаданных является т.н. Дублинское ядро (Dublin Core, DC). Такие наборы разрабатываются с различными целями (например, для описания различных информационных объектов) различными организациями, которые предпринимают в случае целесообразности усилия по распространению и стандартизации своих разработок. В том случае, если набор элементов метаданных рассматривается и принимается соответствующей уполномоченной организацией (например, International Standart Organisation, ISO), он становится официальным стандартом метаданных.

Необходимо подчеркнуть, что реальные наборы метаданных обычно содержат элементы как контентных, так и административных метаданных. Т.е. необходимо понимать, что вышеприведенное разделение вполне условное, хотя есть несколько специализированных наборов именно для целей администрирования.

метаданные информационный стандартизация интернет

Метаданные – понятие исключительно широкое и емкое. Данный обзор ориентирован прежде всего на пользователей и создателей электронных информационных ресурсов. Применительно к этой области применения, роль метаданных об электронных ресурсах, прежде всего, состоит в:

предоставлении возможностей более быстрого, точного и полного обнаружения необходимых ресурсов;

обеспечении гибких и разнообразных механизмов отбора в соответствии с требованиями пользователя (поисковым запросом);

предоставлении информации о необходимых требованиях к возможностям использования (требуемое прикладное программное обеспечение, свободное дисковое пространство и т.п.);

управлении жизненным циклом информационных ресурсов (создания, использования и храненения цифровых документов).

Метаданные способны ускорить процесс международного доступа к информации, т.к. могут быть представлены на языках, отличных от языка объекта.

Возможности использования метаданных исключительно широки и еще до конца не осознанны. Например, метаданные можно использовать для объединения и оценки электронных объектов в рамках обучающих ситуаций. Можно предположить, что роль метаданных для учебных материалов, а также метаданных для документов, которые, по мнению пользователя, могут быть интегрированы в образовательный процесс, будет постоянно возрастать. Рабочая группа по разработке образовательных элементов набора метаданных занимается определением дополнительных элементов и квалификаторов в конкретных областях.

Проблемы стандартизации метаданных

Электронные информационные ресурсы интернета в целом и различных информационных систем в частности различаются исключительным разнообразием. Поэтому единственное средство описания метаданных не может удовлетворить все потребности и решить все возникающие задачи. Кроме этого, даже если такой универсальный стандарт и был бы разработан и утвержден, нет возможности добиться его неуклонного выполнения всеми создателями информационных ресурсов. Затем, возникает сложный многофакторный выбор, т.к. подобный стандарт неизбежно будет исключительно сложным и громоздким, что влечет большие затраты на его имплементацию, поддержку, сопровождение, обучение персонала и т.п. Другой аспект связан с тем, что значительная часть ресурсов в сети создается непрофессионалами, которые и не могут, и не хотят вникать в сложные правила генерации метаданных различных типов. Исходя из сказанного, можно предложить ряд принципов, определяющих политику в области метаданных в перспективных информационных системах (ИС) в публичном интернете (например, электронных библиотеках):

поддерживать несколько наборов метаданных, заведомо покрывающих все перспективные потребности ИС;

обеспечить отображение всех наборов в один, принятый за стандарт обмена;

хранить все метаданные в центральном каталоге метаданных;

если создателю коллекции или ИС необходим оригинальный набор элементов метаданных, то на нем лежит ответственность за разработку методов его отображения в один из распространенных стандартов.

Метаданные на уровне коллекций и ИС оправданно создавать с участием профессионалов в данной предметной области, а на уровне объектов (документов) метаданные желательно генерировать автоматически, для чего требуется разработка или использование соответствующего программного обеспечения.

При этом в каталоге метаданных могут храниться записи:

на уровне коллекции (содержание, предназначение, протоколы, форматы, наборы, условия доступа) – созданные специалистами в наборе элементов, принятом за стандарт обмена (например, Дублинское ядро);

на уровне объекта (документа, item) – в одном из поддерживаемых данной ИС стандартов метаданных;

нормализованные записи на уровне объектов – отражение оригинального набора элементов метаданных в некоторый формат обмена.

Метаданными на практике обычно называют данные, представленные в соответствии с одним из форматов метаданных.

Формат метаданных — представляет собой стандарт, предназначенный для формального описания некоторой категории ресурсов (объектов, сущностей и т. П.). Такой стандарт обычно включает в себя набор полей (атрибутов, свойств, элементов метаданных), позволяющих характеризовать рассматриваемый объект. Например, формат MARC позволяет описывать книги (и не только книги), содержит поля для описания названия, автора, тематики и огромного множества других характеристик (формат MARC позволяет описать сотни характеристик).

Форматы можно классифицировать, во-первых, по охвату и подробности типов описываемых ресурсов. Во-вторых, по ширине и подробности области описания ресурсов и мощности структуры элементов метаданных. Кроме этого, можно классифицировать по предметным областям, или целям разработки и использования формата метаданных.

Форматы метаданных часто разрабатываются международными организациями, включающими в себя заинтересованные в появлении стандарта государственные организации и частные компании. Разработанный формат часто закрепляется как стандарт в одной или нескольких организациях, занимающихся разработкой и принятием стандартов.

Описание структуры метаданных

Конфигуратор позволяет вывести в виде текста информацию обо всех объектах метаданных конфигурации. Для этого следует выбрать пункт «Описание структуры метаданных» из меню «Конфигурация» главного меню программы. Создание описания объектов метаданных для сложных конфигураций может занимать продолжительное время.

После окончания создания описания конфигурации будет открыто окно текстового редактора с описанием. Описание можно сохранить в текстовом файле, воспользовавшись меню «Файл» главного меню Конфигуратора.

Редактирование объектов метаданных, интерфейсов и пользовательских нрав не оказывает немедленного влияния на информационную базу. Для «переноса» в информационную базу изменений, сделанных в конфигурации, следует выполнить процедуру сохранения, которая, при необходимости, будет сопровождаться реструктуризацией информационной базы.

Внимание! Перед выполнением любых операций с информационной базой рекомендуется выполнить сохранение данных. Как это сделать — см. в главе «Сохранение и восстановление данных».

Перед выполнением сохранения конфигурации убедитесь в наличии достаточного свободного пространства на жестком диске: если ожидается реорганизация информационной базы, размер свободного пространства должен быть не меньше текущего размера информационной базы.

Чтобы выполнить сохранение конфигурации, выберите пункт «Сохранить» в меню «Файл» главного меню Конфигуратора.

Автоматическая проверка на не сохраненную информацию выполняется также при закрытии окна «Конфигурация» или при выходе из Конфигуратора. Если необходимо, запускается процедура сохранения конфигурации.

Процесс сохранения конфигурации сопровождается выдачей различных предупредительных и информационных сообщений.

Если изменения не затрагивают структуры метаданных — например, были отредактированы только печатные формы документов, — реорганизация базы данных не требуется. В этом случае выдается запрос «Данные были модифицированы. Сохранить?».

Окно запроса содержит 2 кнопки. Для сохранения всех сделанных изменений нажмите кнопку «Да». Для отказа от сохранения сделанных изменений нажмите кнопку «Нет».

Если в процессе редактирования конфигурации изменялись объекты метаданных; добавлялись новые документы, справочники, константы и так далее; редактировались свойства у существующих объектов метаданных, — процесс сохранения таких изменений требует реорганизации информационной базы и может занять длительное время. В этом случае выдается запрос о сохранении метаданных. Для отказа от сохранения изменений в конфигурации следует нажать кнопку запроса «Нет». Если нажать кнопку запроса «Да», то программа начнет анализ изменений, произведенных в конфигурации. Через некоторое время на экран будет выдан запрос, в котором будут перечислены те изменения, которые предстоит сделать в информационной базе.

Если в нем нажать кнопку «Отмена», никаких изменений сделано не будет и произойдет возвращение в программу. После нажатия кнопки «Принять» будет произведена реорганизация информационной базы и, в случае ее успешного завершения, на экран будет выдано соответствующее сообщение.

Получение информации о структуре хранения базы данных в терминах 1С:Предприятие и СУБД

Часто возникает необходимость определить в какой таблице СУБД хранится тот или иной объект метаданных. Или наоборот, какой объект метаданных соответствует определенной таблице СУБД. Здесь стоит упомянуть, что имена таблиц и полей СУБД, в которых хранятся объекты метаданных 1С:Предприятия, не соответствуют именам объектов метаданных, их реквизитам, измерениям, ресурсам. Получение такой информации не представляет особой сложности, тем не менее, если Вы никогда этого не делали, данная статья будет Вам полезна.

Получение структуры хранения базы данных

В целом, эту статью можно было бы изложить в одном коротком предложении: для получения информации о структуре хранения базы данных, а также соответствие имен объектов в терминах 1С:Предприятие и СУБД необходимо воспользоваться методом ПолучитьСтруктуруХраненияБазыДанных () . Но мы пойдем дальше и попробуем разобраться с областью применимости этого метода, а также организуем удобную работу с возвращаемыми методом данными.

Давайте, для начала, посмотрим что же возвращает данный метод. Результатом вычисления данной функции будет таблица значений, в которой каждая строка таблицы определяет одну таблицу СУБД. В первых двух колонках указано имя таблицы в терминах СУБД и в терминах 1С:Предприятия. Далее идут колонки описывающие к какому метаданному относится таблица и назначение этой таблицы СУБД. Последние две колонки содержат вложенные таблицы значений полей и индексов таблицы СУБД. В таблице полей содержится соответствие имен полей в терминах СУБД и терминах 1С:Предприятие, а так же связь поля с объектом метаданного (какой реквизит/ресурс/измерение). Таблица индексов содержит набор имен индексов, а так же вложенную таблицу значений, содержащую поля таблицы СУБД, включенные в состав индекса, и соответствие их имен в терминах СУБД и 1С:Предприятие.

Структура хранения базы данных

Как мы видим, структура, возвращенная методом, включает несколько уровней вложенности и требует создания инструмента для удобного использования. Мы не будем рассматривать как его сделать, поскольку, эта задача с одной стороны простая, с другой каждый может привнести в нее свои «фишки». Пример такого инструмента (обработки) вы можете найти во вложении к статье. Ниже приведен скриншот обработки.

Обработка «Структура хранения базы данных»

Область применимости

Давайте попробуем проанализировать ту информацию, которую нам предоставляет платформа с помощью метода ПолучитьСтруктуруХраненияБазыДанных () и сопоставим ее с реальной структурой СУБД (рассмотрим на примере MS SQL Server). Сразу оговорюсь что метод имеет 2 параметра: первый устанавливает отбор на метаданные по которым необходимо получить информацию; второй устанавливает режим вывода информации: «В терминах СУБД» или «В терминах 1С:Предприятие» (данная опция так же присутствует в обработке). Представленный ниже текст относится к режиму вывода «В терминах 1С:Предприятие» если не указано иного.

Подготовка базы

Давайте создадим пустую информационную базу в режиме совместимости с 8.2.16, основной режим запуска установим «обычное приложение». В конфигурацию добавим 2 документа (со значениями по умолчанию) и регистр сведений «АнализСтруктурыХранения» (периодичность в пределах дня). У регистра добавим реквизиты:

  1. «Число»: тип число
  2. «Строка»: тип строка
  3. «ДокументСсылка»: тип ДокументСсылка1
  4. «СоставнойЧислоСтрока»: составной тип Число и Строка
  5. «СоставнойДокументСсылка»: составной тип ДокументСсылка1 и ДокументСсылка2
  6. «СоставнойЧислоСтрокаДокументСсылки»: составной тип Число, Строка, ДокументСсылка1, ДокументСсылка2

Далее добавим общий реквизит «Разделитель» (тип Число), в состав включим наши документы и регистр сведений. Установим «Разделение данных» в «разделять» и разрешим создать параметры сеансов, «Использование разделяемых данных» установим в значение «независимо и совместно». Обновим конфигурацию.

Набор таблиц базы данных в СУБД и методе платформы

Откроем обработку в 1С:Предприятие, а также откроем список таблиц базы данных в СУБД и сравним их. Как видно, метод ПолучитьСтруктуруХраненияБазыДанных () вернул не полный список таблиц базы, который мы можем увидеть на уровне СУБД, а набор таблиц за исключением системных таблиц, таких как Config, ConfigSave, v8users и другие.

Структура базы данных на уровне СУБД и платформы

Набор полей (колонок) в таблице

Перейдем теперь к нашему регистру сведений. Получим набор полей таблицы регистра с помощью обработки, а так же получим набор колонок в СУБД и сравним их. Как видно, для не составных типов (вне зависимости от типа) в СУБД используется 1 колонка таблицы, структура хранения 1С:Предприятия отражает аналогичную информацию. Если же мы перейдем к полям составного типа, то в обработке все так же выводится информация только об 1 поле, как мы его и задавали в конфигурации, а в СУБД это поле хранится в нескольких колонках и их количество может быть различно в зависимости от состава типа поля, определенного в конфигурации. Это связано со способом хранения информации платформой и более подробно можно прочесть на сайте ИТС. Замечу, что при анализе запроса в СУБД или анализе плана запроса необходимо учитывать этот факт и правильно интерпретировать имена колонок.
Структура полей (колонок) в таблице базы данных

Состав индексов

Проведем аналогичное сравнение индексов и их состава, полученных обработкой и реально существующих в СУБД. Первое что бросается в глаза, это 12 индексов в таблице СУБД, в то время как обработка выводит только 2. По своей сути все верно, если индексы разделить по «назначению» («ByDims» — по измерениям, и «ByPeriod» — по периоду). Размножение произошло по причине того что в составных типах включено более 1 примитивного типа или примитивный тип включен вместе с ссылочным — в этом случае платформа создает для каждой комбинации свой индекс. Так, в нашем примере реквизит «СоставнойЧислоСтрока» включает 2 примитивных типа, а «СоставнойЧислоСтрокаДокументСсылки» включает 2 примитивных типа и ссылочные (их количество не важно, важно наличие хотя бы одного). Таким образом, платформа создала комбинации индексов: ЧислоЧисло, ЧислоСтрока, ЧислоСсылка, СтрокаЧисло, СтрокаСтрока, СтрокаСсылка.

Откроем состав одного из индексов и сопоставим поля. Как видно, в СУБД первым полем индекса стоит «Fld12», (по таблице полей можно определить что это «Разделитель«) и оно отсутствует составе индекса, выведенного в обработке.

Структура и состав индексов на уровне СУБД и платформы

Продолжаем эксперименты

Давайте продолжим наши эксперименты и (в исследовательских целях) нарушим лицензионное соглашение. Для того чтобы быть уверенными что не сломаем нашу базу данных, сделаем ее резервное копирование средствами СУБД.

Сделаем следующие вещи:

  1. Откроем в СУБД индекс «ByDocNum» объекта Документ1 и поменяем порядок следования полей Number и IDRRef
  2. Удалим в СУБД индекс «ByDocDate» объекта Документ1
  3. Добавим в СУБД колонку, например, «MyColumn» с числовым типом в таблицу регистра сведений
  4. Добавим в СУБД в нашу базу данных новую таблицу, например, «MyTable»

Откроем нашу обработку и проверим что получилось:

  1. Платформа не знает о том что порядок полей в индексе был изменен
  2. Платформа не знает о том что индекс удален
  3. Платформа не видит добавленную колонку
  4. Платформа не видит добавленную таблицу

Задание для самостоятельной работы

Как ранее было сказано, вышеприведенное исследование выполнено для режима «В терминах 1С:Предприятие». Предлагаю проделать всю вышеприведенную работу для режима «В терминах СУБД» самостоятельно и сделать соответствующие выводы. Оговорюсь лишь о том, что большая часть расхождений между реальной структурой в СУБД и структурой возвращенной методом платформы — исчезают.

Выводы

Метод ПолучитьСтруктуруХраненияБазыДанных () предоставляет достаточно полную и корректную информацию о структуре хранения базы данных, а так же выводит соответствия имен таблиц, их колонок, и индексов в терминах СУБД и 1С:Предприятие. Но, при этом есть некоторые ограничения при работе с этим методом:

  1. Нет информации о системных таблицах (но она особо и не нужна)
  2. Состав полей отражается с точки зрения 1С, а не с точки зрения хранения в СУБД (только в терминах 1С:Предприятие)
  3. Набор индексов так же отражается с точки хранения 1С, а не с точки зрения СУБД (только в терминах 1С:Предприятие)
  4. Некоторые существующие поля индекса могут быть не отражены в составе индекса на уровне платформы (только в терминах 1С:Предприятие)
  5. Информация, видимо, строится не по структуре базы данных, а по некому представлению платформы о структуре базы на основании метаданных конфигурации и их свойств
  6. Необходимо иметь ввиду что механизм работы метода может быть изменен в другой версии платформы

Таким образом, если необходимо получить точную информацию о структуре базы данных, необходимо получать эту информацию с помощью СУБД, а при получении данных методом ПолучитьСтруктуруХраненияБазыДанных () лучше использовать режим «В терминах СУБД»

Asp структура метабазы

ГОСТ Р 54719-2011

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

АРХИВИРОВАНИЕ ТЕЛЕРАДИОПРОГРАММ. ОПИСАНИЕ АУДИОВИЗУАЛЬНЫХ МАТЕРИАЛОВ. СТРУКТУРА МЕТАДАННЫХ

Archiving of the teleradio programmes. Audio and video materials description. Metadata structure.

Дата введения 2012-12-01

Цели и принципы стандартизации в Российской Федерации установлены Федеральным законом от 27 декабря 2002 г. N 184-ФЗ «О техническом регулировании», а правила применения национальных стандартов Российской Федерации — ГОСТ Р 1.0-2004 «Стандартизация в Российской Федерации. Основные положения»

Сведения о стандарте

1 РАЗРАБОТАН Закрытым акционерным обществом «Всероссийский научно-исследовательский институт телевидения и радиовещания» (ЗАО «ВНИИТР»).

2 ВНЕСЕН Министерством связи и массовых коммуникаций Российской Федерации

4 Настоящий стандарт разработан с учетом основных технических документов Европейского вещательного союза EBU Tech 3293 — v.1.2-2010 и EBU Tech 3295 — v.2.1-2009; стандартов Международной организации стандартизации: ИСО 15836-2003, ИСО 8601-2004, ИСО 639-2002, ИСО 3166-2006; стандартов Американского национального института по стандартизации ANSI и Общества инженеров кино и телевидения SMPTE: ANSI/SMPTE 298М-1997, SMPTE 330-1999, SMPTE 335М-2001, SMPTE 336М-2001, SMPTE 377М-2004, SMPTE 379М-2004, SMPTE 400-2004, SMPTE EG-37-2001*
________________
* Доступ к международным и зарубежным документам, упомянутым здесь и далее по тексту, можно получить перейдя по ссылке на сайт http://shop.cntd.ru. — Примечание изготовителя базы данных.

5 ВВЕДЕН ВПЕРВЫЕ

Информация об изменениях к настоящему стандарту публикуется в ежегодно издаваемом информационном указателе «Национальные стандарты», а текст изменений и поправок — в ежемесячно издаваемых информационных указателях «Национальные стандарты». В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ежемесячно издаваемом информационном указателе «Национальные стандарты». Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет

Введение

Настоящий стандарт определяет требования к архивированию телерадиопрограмм, описанию аудиовизуальных материалов и структуре метаданных.

В настоящем стандарте учтены основные нормативные положения законодательных актов, а также отечественных и международных стандартов и других нормативных документов, указанных в [1]-[20].

1 Область применения

Настоящий стандарт распространяется на процесс архивирования телерадиопрограмм и на системы описания аудиовизуальных материалов, а также устанавливает требования к структуре метаданных в таких системах. Стандарт ограничивает зону распространения своих требований внешними, по отношению к действующим телерадиокомпаниям и другим службам производства медиаконтента, связями, не регламентируя внутренние (корпоративные) методики работы с метаданными.

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ Р 52210-2004 Телевидение вещательное цифровое. Термины и определения

ГОСТ 7.1-2003 Система стандартов по информации, библиотечному и издательскому делу. Библиографическая запись. Библиографическое описание. Общие требования и правила составления

ГОСТ 7.59-2003 Система стандартов по информации, библиотечному и издательскому делу. Индексирование документов. Общие требования к систематизации и предметизации

ГОСТ 7.69-95 (ИСО 5127-11-83) Система стандартов по информации, библиотечному и издательскому делу. Аудиовизуальные документы. Основные термины и определения

ГОСТ 7.74-96 Система стандартов по информации, библиотечному и издательскому делу. Информационно-поисковые языки. Термины и определения

ГОСТ 7.75-97 Система стандартов по информации, библиотечному и издательскому делу. Коды наименований языков

ГОСТ 7.82-2001 Система стандартов по информации, библиотечному и издательскому делу. Библиографическая запись. Библиографическое описание электронных ресурсов. Общие требования и правила составления

ГОСТ 7.83-2001 Система стандартов по информации, библиотечному и издательскому делу. Электронные издания. Основные виды и выходные сведения

ГОСТ ИСО 8601-2001 Система стандартов по информации, библиотечному и издательскому делу. Представление дат и времени. Общие требования

Примечание — При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодно издаваемому информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по соответствующим ежемесячно издаваемым информационным указателям, опубликованным в текущем году. Если ссылочный стандарт заменен (изменен), то при пользовании настоящим стандартом следует руководствоваться заменяющим (измененным) стандартом. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, применяется в части, не затрагивающей ссылку.

3 Термины, определения и сокращения

3.1 В настоящем стандарте применены термины по ГОСТ Р 52210, ГОСТ 7.69, ГОСТ 7.74 и следующие термины с соответствующими определениями:

3.1.1 аудио (audio): Звуковая информация (звук) в форме электрического сигнала или записи его на носителе.

3.1.2 атрибут (attribute): Дополнительная единица из совокупности понятий, составляющих базовый набор метаданных, определяющая одно из свойств элемента, с которым указанное понятие ассоциировано.

3.1.3 база метаданных (metadata base): Структурированный набор метаданных, сохраняющих сведения об аудиовизуальных материалах, графических материалах и фотографиях, находящихся на хранении в архиве.

3.1.4 базовый набор метаданных (metadata base set): Совокупность понятий, составляющая минимально необходимый перечень элементов и ассоциированных с частью из них атрибутов для описания аудиовизуальных материалов, в том числе графических материалов и фотографий, а также данных, не относящихся к описанию указанной информации.

3.1.5 видео (video): Визуальная информация (изображение) в форме электрического сигнала или записи его на носителе.

3.1.6 данные (data): Цифровое представление информации (например, текста), не относящейся к описанию аудиовизуальных материалов, в том числе графических материалов и фотографий, в форме электрического сигнала или записи его на носителе.

3.1.7 категория телерадиопрограммы (format of the television and radio programme): Общее понятие, используемое для классификации формальной структуры телерадиопрограмм (схемы их построения) вне зависимости от содержания.

3.1.8 контент (content): Сумма сущности (аудиовизуальные материалы, в том числе графические материалы и фотографии, а также данные, не относящиеся к описанию указанной информации) и метаданных.

3.1.9 контролируемый словарь (controlled vocabulary): Словарь, содержащий значения терминов или их формы, предопределенные и поддерживаемые уполномоченными на то организациями.

3.1.10 метаданные (metadata): Данные, предназначенные для описания условий и фактов создания, распространения, обмена, изменений и архивирования сущности.

3.1.11 субъект (entity): Наименование элемента базового набора метаданных, указывающего на субъект права, физическое или юридическое лицо, а также группу лиц и организаций.

3.1.12 сущность (essence): Цифровое представление аудиовизуальных материалов, в том числе графических материалов и фотографий, а также данных, не относящихся к описанию указанной информации.

3.1.13 телерадиопрограмма (teleradio programme): Телевизионный или радиовыпуск, созданный производителями программ для вещания.

3.1.14 тип телерадиопрограммы (type of the television and radio programme): Понятие, отражающее наиболее существенные свойства телерадиопрограмм и связи явлений в них: по действию, по времени, месту и героям действия, а также по психоэмоциональному воздействию на зрителя и слушателя.

3.1.15 тег (tag): Уникальный признак начала или конца XML-документа.

3.1.16 тема (subject): Наименование элемента базового набора метаданных, содержащего описание предметной области (тематической направленности) аудиовизуальных материалов.

3.1.17 формат (format): Наименование элемента базового набора метаданных, содержащего описание характеристик технических средств производства, распространения, обмена и хранения аудиовизуальных материалов.

3.1.18 элемент (element): Единица из совокупности понятий, составляющих базовый набор метаданных.

3.1.19 корневой элемент (root element): Определяет местоположение текста или других данных для каждого XML-документа строго между единственным начальным (корневым) тегом и соответствующим ему конечным тегом

3.2 В настоящем стандарте приняты следующие сокращения:

АВД — Аудиовизуальный документ, являющийся единицей обмена законченными аудиовизуальными программами (либо их отдельными фрагментами);

ANSI (American National Standards Institute) — АНСИ (Американский национальный институт стандартов);

В2В (Business-to-Business) — бизнес для бизнеса, характеризует деловое сотрудничество между, как правило, юридическими лицами;

В2С (Business-to-Consumers) — бизнес для потребителя, характеризует прямые взаимоотношения бизнеса с потребителями, как правило, с физическими лицами;

EBU (European Broadcasting Union) — ЕВС (Европейский вещательный союз);

FTR (File Transfer Protocol) — протокол передачи файлов;

ISO (International Organization of Standardization) — ИСО (Международная организация стандартизации);

MXF (Material Exchange Format) — файловый способ обмена материалами;

SMPTE (Society of Motion Picture and Television Engineers) — СМПТИ (Общество инженеров кино и телевидения);

XML (eXtended Markup Language) — метаязык для обмена данными между компьютерными системами;

XSD (XML Schema Definition) — файл, определяющий схему XML-документа, его структуру и порядок элементов, а также правила, которым должен соответствовать документ.

4 Архивирование телерадиопрограмм

4.1 Хранение материалов телерадиопрограмм

4.1.1 В соответствии с [1, статья 34] редакция радио и телепрограммы обязана:

— сохранять материалы собственных передач, вышедших в эфир, в записи;

— фиксировать в регистрационном журнале передачи, вышедшие в эфир.

В регистрационном журнале должны указываться дата и время выхода в эфир, тема передачи, ее автор, ведущий и участники.

4.1.2 В соответствии с [2, статья 12]:

— производители аудиовизуальной продукции в целях ее учета, хранения и использования доставляют в Государственный фонд телевизионных и радиопрограмм по два обязательных экземпляра фонопродукции, кинопродукции в виде позитивных копий, а также по два обязательных экземпляра видеопродукции, аудиовизуальной продукции на электронных носителях, созданной для телевидения и радиовещания, не позднее чем через месяц со дня ее выхода в эфир;

— на хранение в Государственный фонд телевизионных и радиопрограмм передаются материалы организаций по производству телерадиопродукции и телерадиовещательных организаций, в том числе которые созданы по их заказу, производство которых закончено и которые вышли в эфир, не позднее чем через месяц со дня их выхода в эфир.

4.1.3 Комплектование, регистрация, ведение государственного учета, обеспечение сохранности и использования обязательного экземпляра аудиовизуальной продукции, а также информирования о нем потребителей возлагаются на Государственный фонд телевизионных и радиопрограмм.

4.1.4 Телерадиопроизводящие организации имеют право:

— на использование аудиовизуальных документов, передаваемых ими на государственное хранение, в собственном эфире;

— на соблюдение получателем обязательного экземпляра прав производителей в соответствии с законодательством Российской Федерации об интеллектуальной собственности;

— на письменное подтверждение доставки обязательного экземпляра;

— на бесплатное предоставление по их запросам фактографических и статистических данных, касающихся их продукции;

— на постоянное хранение производимых ими аудиовизуальных документов в Государственном фонде телевизионных и радиопрограмм.

4.2 Архивы телерадиопрограмм

4.2.1 Наиболее перспективными для хранения аудиовизуальной продукции являются цифровые архивы, которые должны стать основой производственного комплекса телерадиокомпаний и других профильных организаций.

4.2.2 Настоящий стандарт определяет в первую очередь механизм описания телерадиопрограмм в цифровых архивах и не затрагивает понятия технического характера, такие, например, как требования к оцифровке аудиовизуальных материалов или способам их реставрации.

4.3 Основные технологические процессы в архивах телерадиопрограмм

Основными технологическими процессами в архивах телерадиопрограмм являются:

4.3.1 Получение телерадиопрограмм, сопровождаемое анализом сопутствующих метаданных.

4.3.2 Описание входящих телерадиопрограмм, сопровождаемое вводом сопутствующих метаданных.

4.3.3 Создание и публикация новых метаданных.

4.3.4 Хранение телерадиопрограмм и обеспечение их сохранности.

4.3.5 Поиск и просмотр телерадиопрограмм.

4.3.6 Экспорт (вывод) и распространение телерадиопрограмм.

4.3.7 Реставрация контента.

4.3.8 Перевод находящихся на хранении аналоговых телерадиопрограмм в цифровую форму.

Настоящий стандарт распространяется на пункты 4.3.1-4.3.6.

5 Описание аудиовизуальных материалов

5.1 Под описанием аудиовизуальных материалов понимается их индексирование (ГОСТ 7.59).

5.2 Различают описательную и содержательную части индексирования. К первой части относятся процессы, связанные с описанием телерадиопрограмм на основе использования метаданных и с учетом международных стандартов и схем классификации, ко второй части — процессы раскрытия содержания телерадиопрограмм и поиска информации о них.

5.3 В Российской Федерации основные этапы описания аудиовизуальных материалов определены в ГОСТ 7.59, ГОСТ 7.69, ГОСТ 7.74, ГОСТ 7.75, ГОСТ 7.82, ГОСТ 7.83, ГОСТ ИСО 8601 и заключаются в следующем:

— в анализе и определении содержания аудиовизуальных материалов как объектов индексирования;

— в выборе понятий, характеризующих содержание объекта индексирования;

— в выборе терминов индексирования для обозначения понятий;

— в создании поискового образа объекта индексирования при помощи классификационных и предметизационных информационно-поисковых языков (ГОСТ 7.74).

5.4 При индексировании аудиовизуальных материалов используются стандартизованные схемы классификации и контролируемые словари.

5.5 В качестве стандартизованной схемы классификации аудиовизуального контента принята схема [3] (см. 6.1.2), а терминами индексирования являются элементы и ассоциированные с частью из них атрибуты, входящие в состав базового набора метаданных (см. 6.1.1).

6 Структура и состав метаданных

6.1 Базовый набор метаданных

6.1.1 Базовый набор метаданных для описания аудиовизуального контента — совокупность понятий, составляющая минимально необходимый перечень элементов и ассоциированных с частью из них атрибутов для описания аудио- и видеоресурсов, пригодная к широкому диапазону вещательных приложений, в том числе для архивов, обмена и публикаций.

6.1.2 В основе русскоязычного базового набора метаданных лежит рекомендация [3]. Ее действие распространяется на все виды создания, управления и сохранения контента, который может повторно использоваться в исходном виде или для составления новых программ, будь то результат обмена программами между вещателями или между производственными компаниями в распределенной среде. Описываемый базовый набор метаданных также может использоваться для описания контента с целью его распространения и обмена.

6.1.3 Содержание 6.1.2 настоящего стандарта иллюстрируется рисунком 6.1, который ограничивает зону распространения требований к базовому набору метаданных внешними по отношению к действующим телерадиокомпаниям и другим службам производства медиаконтента связями типа В2В или В2С. Поэтому настоящий стандарт не регламентирует внутренние (корпоративные) методики работы с метаданными, а устанавливает семантику и синтаксис контейнера внешнего информационного обмена.

Рисунок 6.1 — Связи, на которые распространяется действие настоящего стандарта

Рисунок 6.1 — Связи, на которые распространяется действие настоящего стандарта

6.1.4 Для лучшего взаимодействия с сообществом пользователей базовый набор метаданных полностью гармонизирован с одним из наиболее распространенных форматов метаданных, пригодных для описания ресурсов любого типа, указанных в [4-6]. Соответствующий перечень элементов набора в количестве 15 единиц, приведенный в международном стандарте [6], полностью входит в описываемый в настоящем стандарте базовый набор метаданных (см. приложение А).

6.2 Технологические аспекты описания аудиовизуального контента и инкапсуляции метаданных

6.2.1 В качестве языка, используемого при описании аудиовизуального контента, должен быть принят расширяемый язык разметки XML [7] — метаязык, созданный в 1996 году Консорциумом W3C (World Wide Web Consortium) для интернет-решений и широко применяемый при разработке систем хранения структурированных данных, стандартов и форматов обмена на уровне предприятий и отраслей, а также для разработки на его основе более специализированных языков разметки.

6.2.2 В качестве файлов, определяющих схему организации XML-документов, необходимо использовать файлы XSD [8, 9]. Схемой фиксируются правила, которым должен соответствовать XML-документ, а также определяются элементы базового набора метаданных и их ассоциированные атрибуты, которые будут присутствовать в документе, типы данных этих элементов и атрибутов, значения по умолчанию или фиксированные значения. Также возможно добавление определений дочерних элементов, их порядка и количества.

6.2.3 Настоящий стандарт предлагает файловый способ обмена материалами MXF [10-12] в качестве основного для архивных применений.

Справочное приложение П содержит описание MXF-файлов, обеспечивающих расширяемую рабочую среду для обмена материалами и метаданными вне зависимости от методов компрессии. При их использовании возможна поддержка произвольного доступа и передачи файла по частям, в том числе возможность потоковой передачи в реальном времени и передачи во время записи, а также реализуется функция связывания метаданных и содержимого. Путем инкапсуляции метаданных в MXF вводится информация о его структуре и содержимом, записываются ключевые слова заголовка, субтитры, ссылки и порядковые номера, информация о редактировании, о месте и времени съемки, номер версии и до полутора тысяч других технических и описательных данных.

6.3 Описание элементов базового набора метаданных

6.3.1 Описание двадцати одного элемента и ассоциированных с частью из них двадцати атрибутов базового набора метаданных приведено в таблицах А.1-А.41 приложения А настоящего стандарта. Для каждого из них в соответствующих графах, аналогично указанным в таблице 6.1, раскрывающих детали описания и специфику применения корневого элемента 00, приводятся следующие данные:

— условный порядковый номер;

— имя и статус (обязательный или дополнительный);

— краткое описание, назначение и область применения;

— обозначение на метаязыке XML;

— необходимые пояснения.

Таблица 6.1 — Спецификация для корневого элемента

Имя и статус элемента

Корневой элемент («Core Main»)

Корневой элемент базового набора метаданных.

Обязательное синтаксическое требование метаязыка XML заключается в единственности корневого элемента (Root Element) для XML-документа. При этом данные всего документа должны располагаться между единственным начальным корневым тегом и соответствующим ему конечным тегом.

Соответственно внутренняя часть XML-документа должна включать в себя вложенные элементы, некоторые из которых могут иметь еще атрибуты

Элемент базового набора метаданных, в том числе и корневой элемент, содержит открывающий и закрывающий теги, обрамляющие содержащийся в нем контент.

Открывающий тег в данном случае состоит из имени элемента в угловых скобках: , а закрывающий тег построен аналогично, но перед его именем добавляется еще косая черта: . Имена элементов, как и имена атрибутов, не могут содержать пробелы, но могут быть на любом языке, поддерживаемом кодировкой XML-документа

6.3.2 Структура построения базового набора метаданных и методов его описания иллюстрируется рисунком 6.2, на котором приведено графическое XML-представление базового набора в виде дерева элементов, и рисунком 6.3, отражающим в графическом виде XSD-файлы, которые определяют схему организации XML-документов (см. 6.2.1 и 6.2.2). Изображенный на рисунках 6.2 и 6.3 транзитный элемент СМ «Core Metadata» является контейнером, содержащим минимальный базовый набор элементов и ассоциированных с частью из них атрибутов.

Рисунок 6.2 — Графическое XML-представление элементов и ассоциированных с частью из них атрибутов базового набора метаданных в виде дерева элементов

Рисунок 6.2 — Графическое XML-представление элементов и ассоциированных с частью из них атрибутов базового набора метаданных в виде дерева элементов

Рисунок 6.3 — Графическое представление XSD-файла, определяющего схему организации XML-документов

Рисунок 6.3 — Графическое представление XSD-файла, определяющего схему организации XML-документов

6.3.3 Ряд элементов базового набора метаданных имеют ссылки на приложения, которые являются либо русскоязычной версией международных контролируемых словарей, либо списками понятий, которые могут быть приняты после процедуры международного согласования и утверждения как контролируемые словари:

— приложение Б: к элементу 9;

— приложение В: к элементу 3;

— приложение Г: к элементу 4;

— приложение Д: к элементу 4;

— приложение Е: к элементу 4;

— приложение Ж: к элементу 6;

— приложение И: к элементу 6;

— приложение К: к элементу 10;

— приложение Л: к элементу 11;

— приложение М: к элементу 11.

6.3.4 Приложения, указанные в 6.3.1 и 6.3.3 настоящего стандарта, приведены для использования при описании аудиовизуального контента всеми участниками процессов производства, распространения, обмена и архивирования телерадиопрограмм.

6.3.5 Рекомендуемые и справочные данные, указанные в приложениях по 6.2.3, 6.3.1 и 6.3.3 настоящего стандарта, предлагаются по умолчанию, но могут расширяться или заменяться. Для максимизации взаимодействия, например в случае обмена, рекомендуется эти расширения или альтернативные справочные данные должным образом документировать, поддерживать и делать доступными другим пользователям, например, как открытые ресурсы в сети Интернет.

6.3.6 Пример представления метаданных базового набора в формате XML приведен в справочном приложении Н.

6.4 Технологическая карта для обмена аудиовизуальным контентом

6.4.1 Унификация описания аудиовизуального контента, распространяемого во внешней по отношению к действующим телерадиокомпаниям среде (см. 6.1.3 настоящего стандарта), должна обеспечиваться за счет применения базового набора метаданных, приведенного в приложении А, и набора приложений Б-М.

6.4.2 Представленная в приложении Р технологическая карта для обмена аудиовизуальным контентом должна использоваться телерадиокомпаниями и другими службами производства и распространения контента в качестве основного документа при описании экземпляров телерадиопродукции, поступающих в архивные фонды для последующего хранения и обмена.

6.4.3 Все поля технологической карты должны заполняться только с помощью понятий, составляющих базовый набор метаданных с обязательным учетом комментариев, которые сопровождают описание каждого элемента и атрибута, или, при наличии всплывающего окна в заполняемом поле, путем выбора необходимой строки из всплывающего перечня. Содержание таких перечней должно быть идентичным содержанию соответствующих приложений к настоящему стандарту.

6.4.4 Технологическая карта, разработанная на основе вводимого настоящим стандартом базового набора метаданных и набора приложений Б-М, может быть реализована как на бумажных носителях, так и в электронном виде.

При заполнении технологической карты в электронном виде вводимая информация должна автоматически преобразовываться в расширяемый язык разметки XML (см. 6.2.1 настоящего стандарта) с учетом требований 6.2.2.

7 Правила передачи и обмена метаданными

7.1 Контейнер обмена

7.1.1 Настоящий раздел стандарта устанавливает регламент взаимодействия участников обмена аудиовизуальным контентом. Процедура обмена включает в себя обмен описательной информацией (метаданными) с помощью заполненных технологических карт (см. 6.4) и аудиовизуальным контентом.

7.1.2 Единицей обмена является законченная аудиовизуальная программа (либо отдельный ее фрагмент), называемая АВД.

7.2 Базовые сценарии обмена аудиовизуальным контентом

7.2.1 Настоящий стандарт определяет два базовых сценария обмена АВД между архивом (в частности, Государственным фондом телевизионных и радиопрограмм) и телерадиокомпанией:

— передачу АВД из архива в телерадиокомпанию;

— прием АВД от телерадиокомпании в архив.

Оба сценария формализованы в виде моделей взаимодействия, построенных на основе использования языка моделирования бизнес-процессов [13].

7.2.2 Сценарий передачи АВД из архива в телерадиокомпанию реализуется в случае запроса телерадиокомпанией АВД, хранящегося в архиве. Общие положения сценария следующие:

— Телерадиокомпания запрашивает право на использование АВД путем передачи архиву соответствующим образом заполненной технологической карты. При этом должен быть обеспечен удаленный доступ через публичный интернет к базе данных архива для поиска хранящегося АВД и просмотра копии низкого разрешения.

— Архив определяет возможность передачи права в рамках своих отношений с правообладателем АВД на основании действующего законодательства РФ.

— Основой взаимоотношений является договор на передачу ограниченного права на использование АВД, составленный с учетом действующих редакций закона [14 и 15, часть 4].

— Стороны согласуют технические характеристики передаваемой копии и методы обеспечения безопасности при передаче контента по сети.

— Передается экземпляр копии АВД, снятой с оригинала хранения в архиве.

7.2.3 Сценарий по 7.2.2 настоящего стандарта содержит пять ступеней, отображенных на рисунке 7.1.

Рисунок 7.1 — Сценарий выдачи АВД из архива по запросу телерадиокомпании

Рисунок 7.1 — Сценарий выдачи АВД из архива по запросу телерадиокомпании

7.2.3.1 Поисковый запрос

Данный запрос должен строиться на основе форм, предоставляемых унифицированной технологической картой (см. 6.4 настоящего стандарта), и содержать как можно более полное описание поискового образа АВД.

7.2.3.2 Контейнер метаданных

В процессе обработки поискового запроса службы архива проводят поиск АВД, метаданные которого близки или совпадают с поисковым образом АВД, полученным от телерадиокомпании-контрагента. По результатам этой работы формируются один или несколько контейнеров метаданных, которые в виде XML-документов (см. 6.2.1 и 6.2.4 настоящего стандарта) отправляются по адресу запроса.

Возможен вариант отсутствия запрашиваемого АВД. В этом случае отправляется сообщение об отсутствии АВД, совпадающих с поисковым запросом. Форма такого документа стандартом не устанавливается.

В процессе выбора АВД телерадиокомпания должна иметь доступ к схеме контейнера в формате XSD (см. 6.2.2 настоящего стандарта и рисунок 6.3), а также доступ к контролируемым словарям, которые использует архив для определения семантики полей метаданных (см. приложения Б-М).

7.2.3.3 Запрос АВД

После выбора АВД из предложенного списка телерадиокомпания выбирает один или несколько АВД для получения. При этом в адрес архива отправляется электронный документ «Запрос АВД», который содержит ссылку на оригинал хранения. В запросе АВД должны быть указаны технические характеристики копии АВД, которую хочет получить телерадиокомпания.

7.2.3.4 Договор на передачу АВД из архива

После принятия решения о возможности выдачи копии АВД стороны согласуют договор на использование АВД. После оформления договора в архиве изготавливается копия АВД с требуемыми техническими характеристиками. Форма договора на передачу копии АВД стандартом не регламентируется.

7.2.3.5 Контейнер АВД

Передаваемый АВД, как правило, изготавливается в виде файла, содержащего сам АВД. Допустимо использование всех принятых в медиаиндустрии файловых форматов, допускающих упаковку и компрессию аудиовидеоданных. Тем не менее настоящим стандартом рекомендуется использовать вариант, когда метаданные включаются в контейнер АВД, например, при использовании файлового способа обмена материалами MXF.

В то же время допускается и раздельная передача метаданных и собственно аудиовизуальных материалов. В этом случае метаданные в стандартном файловом контейнере, предписанном настоящим стандартом, передаются средствами электронной почты, а файл АВД передается средствами FTP или на носителе, вид которого определяется в договоре сторон.

7.2.4 Сценарий приема АВД архивом от телерадиокомпании относится к случаю передачи от телерадиокомпании — правообладателя аудиовизуального контента на хранение последнего в фонды архива в качестве оригинала хранения. Общие положения сценария таковы:

— Телерадиокомпания — правообладатель запрашивает архив о возможности сдачи в его фонды хранения произведенного АВД путем передачи ему технологической карты (см. 6.4 настоящего стандарта).

— Архив подтверждает получение от телерадиокомпании унифицированной по правилам, устанавливаемым настоящим стандартом, заполненной технологической карты. Подготовленная телерадиокомпанией карта передается в архив, где проверяются структура и семантика принятого документа.

— Основой устанавливаемых взаимоотношений является Договор на передачу АВД, составленный с учетом действующих редакций [14] и [15, часть 4].

— В архив передаются два экземпляра АВД (см. 4.1.2 настоящего стандарта).

7.2.5 Сценарий 7.2.4 настоящего стандарта включает в себя пять действий (см. рисунок 7.2).

Рисунок 7.2 — Сценарий приема АВД в архив от телерадиокомпании

Рисунок 7.2 — Сценарий приема АВД в архив от телерадиокомпании

7.2.5.1 Запрос на сдачу АВД

Данный запрос должен строиться на основе форм, предоставляемых унифицированной технологической картой (см. 6.4 настоящего стандарта), и содержать как можно более полное описание АВД, направляемое для передачи в архив.

7.2.5.2 Пустой контейнер метаданных

На основании 6.1.3 настоящего стандарта телерадиокомпании в собственных бизнес-процессах могут использовать свои модели описания контента. При отсутствии у телерадиокомпании унифицированной технологической карты архив должен направить в ее адрес незаполненную форму карты (пустой контейнер метаданных) для последующего заполнения соответствующими службами.

В процессе заполнения полей метаданных на сдаваемый АВД телерадиокомпания должна иметь доступ к схеме контейнера в формате XSD (см. 6.2.2 настоящего стандарта и рисунок 6.3), а также доступ к контролируемым словарям, которые использует архив для определения семантики полей метаданных (см. приложения Б-М).

7.2.5.3 Контейнер метаданных

Сдаваемый телерадиокомпанией АВД должен быть идентичен контейнеру метаданных, который используется в первом сценарии.

7.2.5.4 Договор на передачу АВД в архив

После анализа принятой в архив описательной информации стороны согласуют договор на передачу АВД в его фонды хранения. Форма договора на передачу АВД на хранение стандартом не регламентируется.

7.2.5.5 Контейнер АВД

Передаваемый АВД, как правило, изготавливается в виде файла, содержащего сам АВД. Возможно использование всех принятых в медиаиндустрии файловых форматов, допускающих упаковку и компрессию аудиовидеоданных. Рекомендуется использовать вариант, когда метаданные включаются в контейнер АВД, например, при использовании файлового способа обмена материалами MXF.

В то же время допускается и раздельная передача метаданных и собственно аудиовизуальных материалов. В этом случае метаданные в стандартном файловом контейнере, предписанном настоящим стандартом, передаются средствами электронной почты, а файл АВД передается средствами FTP или на носителе, вид которого определяется в договоре сторон.

Три стратегии создания хранилищ данных: данные, метаданные и НСИ

Крупнейшие компании России внедряют хранилища с середины 90х годов. Предыдущие проекты нельзя назвать неуспешными, так как они решали текущие задачи, в частности, обеспечить руководство компании достоверной непротиворечивой информацией хотя бы по некоторым направлениям деятельности. Однако рост компаний, изменение законодательства и возросшие требования к стратегическому анализу и планированию требуют дальнейшего развития стратегий построения хранилища данных.

К этому времени в компаниях уже сформировалось понимание, что для успешного создания хранилища данных необходимо создание системы централизованного ведения НСИ и системы управления метаданными. К сожалению, эти проекты все еще рассматриваются по отдельности. Принято считать, что создание корпоративных хранилищ данных (КХД) является проектом интеграции данных из разрозненных источников. В то же время, источники содержат не только данные, но и НСИ, а также элементы метаданных. Как правило, крупные компании начинают проект построения хранилищ данных без выделения средств и ресурсов на ведение метаданных или НСИ.

Спонсоры проекта, комитет управления и другие ответственные за принятие решений обычно стараются выделять средства на реализацию проекта поэтапно и склоняются к последовательному выполнению трех проектов. В итоге, бюджет проектов, сроки их исполнения и качество не соответствуют исходным требованиям из-за необходимости внесения изменений и доработок информационных систем, построенный в рамках предыдущего проекта.

Причиной построения хранилищ данных в большинстве случаев являются требования бизнес — пользователей, которые более не в состоянии сводить воедино данные из различных информационных систем. То есть, именно требования бизнес — пользователей определяют, в первую очередь, информационное содержание будущего хранилища данных.

Источниками данных для будущего хранилища являются транзакционные базы данных (OLTP), унаследованные системы, файловые хранилища, интранет-сайты, разрозненные локальные аналитические приложения. Прежде всего, необходимо определить, где находятся требуемые данные. Поскольку, как правило, эти данные хранятся в различных форматах, необходимо их привести к единому виду, для чего применяются довольно сложные системы извлечения, преобразования и загрузки (Extract, Transformation, Load -ETL) в хранилище данных.

Эта работа не может быть выполнена без сопутствующего анализа метаданных и НСИ. Более того, практика внедрения хранилищ данных показала 1 , что метаданные, созданные и импортированные из различных источников, фактически управляют всем процессом сбора данных.

В состав нормативно-справочной информации, которую иногда называют на западный манер мастер данными, входят словари (например, сокращений), справочники (например, телефонный справочник), классификаторы (БИК ОКПО, ОКАТО и даже ОКОК), нормативы, идентификаторы и кодификаторы. Кроме стандартных словарей, справочников и классификаторов, каждая информационная система обладает собственной НСИ, необходимой для ее функционирования. До тех пор, пока немногочисленные информационные системы работают изолированно друг от друга, проблем, вызванных различием в НСИ, как правило, не возникает. Однако если приходится объединить отчетные данные двух и более разных систем, расхождение в НСИ делает невозможным прямое слияние таблиц. В подобных случаях требуется наличие «переводчика» кодов, содержащихся в разных таблицах, к единому виду. Кроме того, нормативно-справочная информация нечасто, но изменяется, и согласованное обновление НСИ во всех информационных системах является непростой задачей.

Таким образом, появляется необходимость в создании системы ведения НСИ, которая облегчает согласованное внесение изменений НСИ в различных информационных системах и упрощает интеграцию данных из этих систем.

Прототипом системы управления метаданными являлись системы словарей-справочников данных, которые были предназначены для логической централизации сведений об информационных ресурсах предприятия и должны были выполнять функции инструмента управления информационными ресурсами предприятия 2 .

Источники данных, в том числе транзакционные системы, содержат метаданные в неявном виде. Например, названия таблиц и имена столбцов в таблицах являются техническими метаданными , а определения сущностей, хранящихся в таблицах, представляют собой бизнес метаданные . Статистика работы приложений, которая может вестись в системах мониторинга, должна быть отнесена к операционным метаданным . Связь между ролями в проекте и правами доступа к базе данных, в том числе правами администрирования, а также данные для аудита и управления изменениями, обычно относятся к проектным метаданным . И, наконец, самая важная часть метаданных — это бизнес метаданные , которые включают в себя бизнес-правила, определения, терминологию, глоссарии, происхождение данных и алгоритмы их обработки.

Многие источники содержат в себе элементы метаданных, но практически никогда не несут их полный набор. Результатом является рассогласование в отчетах, предоставляемых разными системами — источниками. Например, в одном отчете объем продукции может исчисляться в рублях, в другом — в штуках, в третьем — в суммарном весовом исчислении. То есть, одно и то же поле «Объем продукции» может содержать в разных отчетах самые разные данные.

Подобное рассогласование смысла данных в отчетности вынуждают компании разрабатывать и вводить единую систему унифицированных показателей, отчетов и терминов.

Структура хранилища данных включает три основных уровня информации: детальные, сводные и архивные данные, а также сопровождающие их метаданные 3 . В настоящее время стало ясно, что этот список должен быть дополнен нормативно-справочной информацией. Связь между данными, НСИ и метаданными можно наглядно представить в виде треугольника (рис. 1).

Как видно из рисунка, все взаимосвязи распадаются на три пары:

  • данные — метаданные
  • данные — НСИ
  • метаданные — НСИ

Рассмотрим каждую пару более подробно.

Взаимозависимость данных и метаданных демонстрирует следующий пример. Можно считать, что любая книга содержит данные. Библиографическая карточка к книге — это метаданные, описывающие книгу. Совокупность карточек — это библиотечный каталог, с которым можно работать как с набором данных (базой данных). Карточка заполняется по определенным правилам, которые изложены в книге по библиотечному делу (метамета данные). Эта книга также должна быть размещена в библиотеке, и к ней должна быть подготовлена каталожная карточка, которая должна быть уложена в соответствующий ящик каталожного шкафа, на котором можно найти правила пользования каталогом. Вопрос, являются ли эти правила метаметамета данными, оставим читателю в качестве самостоятельного задания.

Если у вас в руках уже есть необходимая книга, вам не нужна каталожная карточка к книге. Большинство домашних библиотек не имеет каталогов потому, что хозяин хорошо знает свою библиотеку и является ее создателем и пользователем. И библиотекарем, если кто-нибудь посторонний попросит книгу из его библиотеки. Но большая общественная библиотека обойтись без каталога не сможет.

В корпоративных информационных системах все не так просто и очевидно. Несмотря на то, что первые публикации о необходимости создания систем словарей-справочников появились в середине 80-х годов, корпоративные ресурсы все еще проектируются, разрабатываются и эксплуатируются обособленно, без создания единого смыслового пространства. Подобная ситуация в библиотечном деле означала бы, что читатель одной библиотеки даже не смог бы узнать, есть ли необходимая ему книга в другой библиотеке. В 1995г. была опубликована статья 4 , в которой было указано, что для успешной интеграции данных необходимо организовать и поддерживать поток метаданных. На языке пользователей библиотек это открытие звучит приблизительно так: «Библиотеки должны обмениваться информацией о книгах в едином формате». Сейчас стало ясно, что это требование нуждается в уточнении, так как метаданные порождаются на всех этапах создания и эксплуатации информационных систем.

На начальном этапе проектирования системы порождаются бизнес метаданные , которые включают в себя бизнес-правила, определения, терминологию, глоссарии, происхождение данных и алгоритмы их обработки, описанные на языке бизнеса.

На следующем этапе логического проектирования появляются технические метаданные , такие, как названия сущностей и связи между ними. Имена таблиц и названия столбцов также относятся к техническим метаданным и определяются на этапе физической разработки системы.

Метаданные времени эксплуатации — это операционные метаданные , которые включают в себя статистику использования вычислительных ресурсов, активность пользователей и статистику работы приложений (например, частоту исполнения, количество записей, покомпонентный анализ).

Метаданные, которые документируют усилия по разработке и предоставляют данные для аудита проекта, присваивают стюардов метаданных, и поддерживают управление изменениями, относятся к проектным метаданным .

Операционные метаданные являются самыми недооцененными. О важности ведения операционных метаданных может свидетельствовать пример крупной компании, оказывающей клиентам различные Web-услуги. В центре ИТ- инфраструктуры компании находится многотерабайтное хранилище данных, вокруг которого строятся заказные локальные клиентские базы данных и приложения. Заказы получает отдел маркетинга, договоры ведет юридический отдел, архитектурная группа разрабатывает и предоставляет документацию руководителям проектов для передачи на аутсорсинговую разработку.

Через определенное время контракт с заказчиком заканчивается, все заняты поиском новых клиентов, и нет времени сообщить администраторам, что приложения и базы данных ушедшего клиента можно удалить. В результате растут накладные расходы на архивирование данных и приложений. Кроме того, значительно затрудняется разработка новых версий, поскольку приходится поддерживать протоколы и интерфейсы, которые, возможно, уже никто не использует.

Ведение операционных метаданных обеспечивает администраторов и разработчиков системы информацией о том, как часто используются приложения. На основании этой информации можно определить неиспользуемые приложения, данные и интерфейсы, устранение которых из системы значительно снизит стоимость ее сопровождения и дальнейшей модернизации.

В реляционных базах данных, построенных в соответствии с требованиями нормализации, можно выявить два разных типа таблиц. Одни содержат, например, перечень наименований товаров и их стоимость (НСИ). Другие таблицы несут информацию о покупках (данные). Не вдаваясь в дебри определений, на этом примере можно увидеть разницу между данными и НСИ. Если в крупном магазине может совершаться каждую секунду несколько покупок, то цены на товары и их наличие, во всяком случае, пока, ежесекундно не меняются.

НСИ в реляционных базах данных выполняет несколько функций. Она предоставляет возможность снижения числа ошибок при вводе данных, обеспечивает более компактное хранение данных за счет использования коротких кодов вместо длинных названий. Кроме того, нормативно-справочная информация является основой для унификации и нормализации данных. С одной стороны, наличие соответствующего общероссийского классификатора неизбежно влияет на структуру базы данных. С другой стороны, процесс приведения данных к третьей нормальной форме, как правило, приводит к созданию внутренних кодификаторов.

Несмотря на то, что коды ОКПО, ИНН, ISBN являются уникальными и в реляционных базах могут быть первичными ключами, на практике зачастую создаются дополнительные локальные кодификаторы.

Существуют различные определения и классификации НСИ по источникам, по способу ведения, по классифицируемым данным. Для целей данной работы можно считать, что нормативно-справочная информация включает в себя словари, справочники, классификаторы, кодификаторы, нормативы и идентификаторы.

Классификатор , например, банковский идентификационный код БИК, ведется централизованно внешней организацией (Банком России) и содержит правила формирования кода. Кроме того, классификатор может определять правила использования кода. Так, повторное использование банковских идентификационных кодов участников расчётов разрешается по истечении календарного года после даты их исключения из Справочника БИК РФ, но не ранее выхода на сводный баланс Банка России по расчётам с применением авизо за указанный календарный год. Код БИК не содержит контрольного числа.

В Общероссийском классификаторе управленческой документации (ОКУД) принята иерархическая трехступенчатая классификация: класс форм (первые две цифры), подкласс форм (вторые две цифры), регистрационный номер (следующие три цифры), контрольное число (последняя цифра). Классификатор может содержать правила расчета контрольного числа или алгоритмы проверки кода (ОКПО, ОКУД).

Метаданные в классификаторах — это правила расчета контрольного числа, описание иерархической классификации и правила использования идентификационных кодов.

Идентификатор (ИНН, ISBN) ведется децентрализованно уполномоченными организациями. В отличие от случая классификатора, коды идентификатора обязательно подчиняются правилам расчета контрольного числа. Правила составления идентификатора разрабатываются централизованно и поддерживаются требованиями стандартов или иных распорядительных документов. Основное отличие от классификатора заключается в том, что идентификатор как полный список либо недоступен, либо в нем нет необходимости на этапе проектирования системы. Рабочий список пополняется индивидуальными кодами в процессе эксплуатации системы.

Отличие метаданных идентификаторов от метаданных классификаторов заключается в разном поведении на различных этапах жизненного цикла системы. Метаданные идентификаторов должны быть описаны на этапе проектирования, когда самих идентификаторов еще в системе нет или мало. В процессе эксплуатации могут появиться новые идентификаторы, не соответствующие имеющимся метаданным, которые должны быть пересмотрены для устранения возможного неверной интерпретации новых идентификаторов.

Справочник (например, телефонный) ведется сторонней организацией. Нумерация кодов (номеров телефонов) не подчиняется каким-либо правилам.

Метаданные справочника менее структурированы, как и сам справочник. Тем не менее, они так же необходимы. Например, могут быть описаны правила отправки сообщения администратору системы при ее сбое, если организация обеспечивает несколько разных способов связи (служебный, домашний, мобильный телефоны, электронная почта, средства обмена сообщениями и др.).

Кодификатор создается разработчиками конкретной базы данных для внутренних нужд. Как правило, для кода не разрабатываются ни алгоритмы расчета контрольной суммы, ни правила кодирования. В качестве простого примера можно привести кодирование номеров месяцев в году.

Несмотря на внешнее отсутствие правил, кодировка осуществляется в соответствии с замыслом проектировщика и зачастую содержит правила (метаданные) в неявном виде. Например, для проведения расчетов через Новый год в справочник может быть введен повторно месяц январь под 13-м номером.

Норматив может представлять собой просто некоторое числовое значение (например, ставка налогообложения), который получен из неструктурированного документа (приказа, закона, акта). Было бы крайне нерационально включать это числовое значение непосредственно в алгоритм расчета, так как при изменении его значения необходимо найти все его вхождения в текст программы и заменить старое значение на новое. Поэтому нормативы, выделенные в отдельные таблицы, являются важной частью НСИ.

Метаданные для нормативов определяют область их применения, сроки действия и ограничения.

Словари содержат сокращения, термины и другие строковые значения, которые необходимы на этапе генерации отчетов и форм. Наличие таких словарей в системе обеспечивает единую терминологию во всех входных и выходных документах. Словари так близки по своей сути к метаданным, что иной раз затруднительно провести между ними четкую грань.

Таким образом, НСИ всегда содержит бизнес — метаданные и технические метаданные.

Основная часть технических и бизнес — метаданных создается на этапе «Понимание» жизненного цикла управления метаданными 5 . Проектные метаданные возникают на этапе разработки и, в меньшей степени, на этапе эксплуатации (например, назначение ответственных за метаданные). Операционные метаданные создаются и накапливаются в процессе эксплуатации системы.

Название: Метаданные
Раздел: Рефераты по информатике, программированию
Тип: реферат Добавлен 21:45:32 09 июня 2011 Похожие работы
Просмотров: 1629 Комментариев: 10 Оценило: 2 человек Средний балл: 5 Оценка: неизвестно Скачать
Примеры Ведение Алгоритм проверки Правила кодирования
Кодификатор Код месяца Локальное Нет Возможны
Справочник Телефонные номера Централизованное Нет Возможны
Классификатор БИК, ОКУД Централизованное Нет / Есть Есть
Идентификатор ИНН, ISBN Децентрализованное Есть Есть
Норматив Ставка налогообложения Регулирующие органы Нет Числовое значение
Словарь Термины Бизнес-пользователи Нет Возможны

Корпоративное хранилище данных (КХД) преобразует данные, метаданные и НСИ из разнородных источников и предоставляет их пользователям аналитических систем как единую версию правды. Под источниками данных обычно понимают транзакционные базы данных, унаследованные системы, файлы различных форматов, а также иные источники, данные из которых должны быть предоставлены пользователям.

В состав КХД входят:

  1. средства ETL извлечения, преобразования и загрузки данных в центральное хранилище данных;
  2. центральное хранилище данных (ЦХД), предназначенное и оптимизированное для надежного и защищенного хранения данных;
  3. витрины данных, обеспечивающие эффективный доступ пользователей к данным, которые хранятся в структурах, оптимальных для решения конкретных задач пользователей.

Центральное хранилище включает в себя, прежде всего, три репозитория:

  1. репозиторий нормативно — справочной информации (НСИ);
  2. репозиторий данных;
  3. репозиторий метаданных.

В рассмотренную схему не входят оперативный склад данных, зоны промежуточного хранения (staging area), средства доставки данных и доступа к ним, приложения и другие компоненты КХД, несущественные для данного уровня детализации.

Необходимость в репозитории данных стала бесспорной после ряда неудачных попыток создать виртуальные хранилища данных. В этой архитектуре клиентская программа напрямую получала данные из источников, преобразуя их на лету. Время ожидания исполнения запроса и преобразования данных компенсировалось простотой архитектуры. Поскольку результат выполнения запроса не сохранялся, повторный запрос с теми же или подобными параметрами требовал повторного преобразования данных, что и привело к отказу от виртуальных хранилищ и к созданию репозиториев данных.

Текущая ситуация с метаданными и НСИ напоминает положение с виртуальными хранилищами данных. Метаданные и НСИ интенсивно используются на этапе загрузки данных. Очищенные данные размещаются в хранилище данных. Но метаданные и НСИ отбрасываются, как отработанный материал. Создание репозиториев метаданных и НСИ позволит значительно сократить издержки на реализацию КХД и повысить качество информационного обслуживания бизнес — пользователей благодаря многократному использованию согласованных метаданных и НСИ из единого источника.

В качестве иллюстрации существующих подходов к интеграции данных можно привести статью 6 о внедрении системы НСИ в банке. Банк затратил более шести месяцев на реинжиниринг процессов планирования и прогнозирования для управления эффективностью деятельности. Успех внедрения инициативы управления НСИ вице-президент банка объясняет тем, что команда сосредоточилась на решении локальной задачи, избегая «большого взрыва», под которым понимается создание корпоративного хранилища данных. По его мнению, создание корпоративных мастер данных является долгой, сложной и рискованной работой.

В качестве следующего этапа планируется создание системы банковской отчетности на основе интеграции всех основных банковских систем с целью использования более детальных данных, согласованных с главной бухгалтерской книгой. В результате будет создан репозиторий финансовых данных, который должен стать основным источником для всех финансовых отчетных систем, и будет поддерживать технологию детализированного (drill-down) анализа.

Внимательное прочтение статьи приводит к следующим выводам. Прежде всего, этот проект не предусматривал интеграцию корпоративных данных и охватывал только реинжиниринг процессов планирования и прогнозирования. Созданный репозиторий данных, по-видимому, является узко тематической витриной, и не способен поддерживать распространенные аналитические методы, например, технологию детализированного (drill-down) анализа.

В противоположность этому, корпоративное хранилище данных предоставляет согласованные корпоративные данные для широкого ряда аналитических приложений. На практике, единую версию данных способно обеспечить только корпоративное хранилище данных, работающее в одной связке с корпоративными системами ведения НСИ и метаданных. В статье же описывается создание единой версии правды лишь для метаданных, ограниченных областью финансовой отчетности.

Таким образом, проектная команда внедрила системы ведения метаданными и НСИ для одной специфической области деятельности. Команда сознательно избегала решений уровня предприятия — не было внедрено ни корпоративное хранилище данных, ни системы ведения метаданными или НСИ компании.

Утверждения о практической невозможности внедрения корпоративного хранилища данных опровергаются проектами, ведущимися сотрудниками IBM на регулярной основе.

Это проект — типичный «fast win», основная цель которого — демонстрация быстрого маленького успеха. На данном этапе никто не задумывается о том, какова будет цена переработки созданных приложений и их включения в корпоративную инфраструктуру. К сожалению, все чаще приходится устранять последствия активности «быстрых победителей», всячески избегающих сложных, длительных и потому рискованных решений.

Необходимо уточнить, что маленькие успешные проекты вполне оправданы в качестве пилотных, когда начало работ по глобальному проекту поставлено в зависимость от демонстрации работоспособности решений в производственной информационной среде. При этом должны быть взвешены все плюсы и минусы. В худшем случае, все результаты пилотного проекта могут быть отброшены из-за несовместимости с корпоративной архитектурой информационных систем. При построении КХД проблема совместимости приобретает особую остроту, поскольку необходимо согласовывать не только интерфейсы и форматы данных, но и сопутствующие им метаданные и НСИ.

Хранилище данных как корпоративная память должно предоставлять целостную непротиворечивую информацию, но обычно это не достигается из-за противоречивой НСИ и недостатка единого понимания смысла данных (т.е. метаданных).

Известным решением является анализ данных и метаданных в рамках проекта интеграции данных, но без создания систем ведения метаданных и НСИ. Внедрение этих систем обычно рассматриваются как отдельные проекты и исполняются после внедрения хранилища данных (рис.3).

Недостатки такого подхода обнаруживаются в процессе эксплуатации, а именно, невысокое качество информации, предоставляемой конечным пользователям хранилища данных, из-за отсутствия согласованного управления метаданными и НСИ, дополнительные расходы на переработку хранилища данных с целью приведения существующих процессов интеграции данных в соответствие с требованиями новых систем управления метаданными и/или НСИ. В результате заказчик получает неэффективную работу трех систем управления данными, метаданными и НСИ, сосуществование модулей с близкой функциональностью, растущую стоимость разработки, высокую стоимость владения и разочарование пользователей из-за расхождения данных, метаданных и НСИ.

Проекты по интеграции данных, метаданных и НСИ, выполненные последовательно в любом порядке, не могут обеспечить пользователям требуемое качество информации.

Чтобы решить эту задачу при построении хранилища данных, три взаимосвязанных проекта интеграции данных, метаданных и НСИ должны выполняться одновременно (рис.4).

  1. Интеграция корпоративных метаданных устанавливает единое понимание смысла данных и метаданных.
  2. Интеграция НСИ исключает конфликты в кодировке данных и метаданных.
  3. Интеграция данных предоставляет конечным пользователям единую версию правды на основе согласованных метаданных и НСИ

Корпоративное хранилище данных, построенное в результате скоординированного исполнения этих трех проектов, имеет более высокое качество при пониженной стоимости и сокращенном времени разработки. Предлагаемая стратегия повышает качество информации, предоставляемой хранилищем данных для бизнес — пользователей, и, следовательно, обеспечивает лучшую поддержку принятия решений на основе более точной информации.

Эти три интеграционных проекта (для данных, метаданных и НСИ), выполненные параллельно, позволяют реализовать согласованные архитектуры, окружение, жизненные циклы и ключевые возможности для хранилища данных и систем ведения метаданных и НСИ. Проекты могут начинаться с небольшой задержкой относительно друг друга, с тем, чтобы основная часть всех работ выполнялась параллельно.

На практике существует множество способов, методов и подходов, обеспечивающих успех параллельного скоординированного исполнения трех крупных проектов интеграции данных, метаданных и НСИ.

  1. Три проекта желательно (но не обязательно) объединить в единую программу.
  2. Необходимо придерживаться одного из всемирных или национальных стандартов в области управления проектами (напр., Guide to Project Management Body of Knowledge или PRINCE2 ).
  3. Следует выбрать соответствующий жизненный цикл разработки (каскадная модель, спиральная, инкрементальная и так далее).
  4. Выбрать подходящее окружение (среду)
    • Для хранилища данных (возможно, источники данных, ETL / ELT, репозитории данных, зоны промежуточного хранения, операционные склады данных, прикладные витрины данных, тематические и региональные витрины данных, аналитические средства, генераторы отчетов и другие приложения)
    • Для метаданных (напр., Управляемая среда метаданных с 6 уровнями: уровни источников, интеграции, репозиториев, управления, витрин метаданных и доставки)
    • Для НСИ (как вариант, зона восходящих потоков НСИ, ядро управления НСИ, зона нисходящих потоков НСИ)
  5. Выбрать пригодную архитектуру
    • Для хранилища данных (существует около 20 вариантов архитектур хранилищ данных)
    • Для метаданных (централизованная, децентрализованная, распределенная))
    • Для НСИ (реестр, репозиторий или веерная архитектура)
  6. Выбрать уместный жизненный цикл
    • Для данных (вариант цикла: понимание, извлечение, преобразование, загрузка, консолидация, архивирование, доставка)
    • Для метаданных (вариант цикла: разработка, публикация, владение, потребление, управление метаданными)
    • Для НСИ (вариант цикла: отождествление, создание, обзор, публикация, обновление, выведение из использования)
  7. Выбрать ключевые характеристики
    • Для хранилища данных (зависят от функциональных и нефункциональных требований)
    • Для метаданных (определить типы метаданных и их характеристики)
    • Для НСИ (вариант характеристик: доступ к данным, отождествление ключей, управление записями, управление иерархиями, модель данных, управление данными, технологические операции и безопасность, интероперабльность)

Следует определить набор ролей и специалистов в трех проектах и выбрать рабочие инструменты для каждой роли в команде.

Особенностью, которая абсолютно необходима для реализации предлагаемой стратегии, является координация этих проектов. В общем случае, такая координация является предметом управления программами. Специфические детали межпроектного взаимодействия (кто, что, когда, где, как, почему) зависят от проектного окружения, которое было описано выше.

В настоящее время IBM является единственной компанией, которая предлагает почти полный набор продуктов для осуществления предлагаемой идеи. К ним относятся средства извлечения данных из разнородных источников, средства ведения глоссария метаданных, инструменты проектирования структур данных, средства извлечения и ведения НСИ, современные методологии проектирования среды бизнес — разведки (BI), индустриальные модели данных, а также ПО промежуточного слоя, позволяющее связать компоненты в единую среду информационного обслуживания пользователей.

Идея тройной стратегии, изложенная в данной работе, могла возникнуть в 90-х годах прошлого века. Но ее осуществление было практически невозможно из-за огромных временных, финансовых и трудовых затрат на разработку необходимого инструментария, который стал доступен в последнее время.

Готовые программные инструментальные средства интеграции данных, метаданных и НСИ поддерживают тройную стратегию и вместе позволяют уменьшить проектные риски, сократить время разработки КХД и предоставить бизнес — аналитикам новые возможности для повышения эффективности деятельности предприятия. Автор благодарит М.Баринштейна, Р.Иванова, Д.Макоеда, А.Карпова, А.Спирина и О.Третьяка за полезные обсуждения.

ABAP структуры (типы данных, таблица, структура, домен, экран)

Ниже приведены основные элементы ABAP структур (словаря) системы SAP ERP.

ABAP структуры (типы данных, таблица, структура, домен, экран)

ABAP это язык программирования в системе SAP. Сам по себе язык несложный, но есть определенные моменты и технологии, которые усложняют жизнь программистам. Нам, на текущем этапе необходимо знать минимальную базу про структуры этого языка. Это позволит читать программы и быстрее разбираться в настройках системы. Например, во многих Российских отчетах проще прочитать исходный текст программы, чем пытаться настроить методом проб и ошибок. Основные понятия, которые нам необходимы, рассмотрим ниже.

Типы данных

Как и в любом языке программирования в ABAP есть понятие типов данных. Для чтения программ нам достаточно знать основные:
• C (CHAR) – символ. Любой текстовый видимый символ (включая пробел).
• D (DATE) – дата. Любая дата (без времени).
• F (FLOAT) – число с плавающей запятой (дробное).
• I (INTEGER) – целое число.
• STRING – строка.
На этих типах строится хранение и манипулирование данными. Существуют различные иные типы, в том числе сложные (структуры, field-symbol, классы, интерфейсы и прочие), но об этом лучше почитать специализированную книгу по ABAP.

Таблица

Таблица представляет собой набор колонок различного типа данных и хранится в базе данных на сервере. Таблицы напоминают собой файлы MS Excel, где сверху расположены колонки, а в строчках данные, за тем исключением, что в таблице в одной колонке всегда данные одного типа (только символьные, только даты, только числа или иные). Структуру любой таблицы можно посмотреть в транзакции SE11. Вводим имя табли-цы и нажимаем просмотр. Изменять таблицы пользователям запрещено. Программисты могут только расширять таблицы путем добавления своих полей. Записывать данные сразу в таблицу также запрещено. Все изменения осуществляются через программы и транзакции. Просмотреть содержимое таблицы можно через транзакцию SE16. Это бывает удобно при отладке или составлении списков. Учить пользователей этим транзакциям крайне не рекомендуется.

В таблице стоит обратить внимание на следующие элементы. Ключевые поля – поля, которые обязательны для заполнения и должны быть уникальные для всей таблицы. Если эти поля не заполнены, то система не даст сохранить запись в таблице. Ключевые поля определяются в SE11 для таблицы на закладке «Поля», столбец «Клч». Если галочка стоит, то поле ключевое. Все ключевые поля всегда находятся в самом верху (начале) определения таблицы. Второе, на что следует обратить внимание, это на средства поиска и проверочные таблицы. Это закладка «Справка/проверка знач. Ввода». Здесь можно найти таблицы, на которые ссылается каждое поле нашей таблицы. Например, таблица T512W «Оценка видов оплаты» ссылается на ряд других таблиц. Примером может быть поле MOLGA «Группировка стран», которое ссылается на таблицу T500L. Если дважды кликнуть на эту таблицу, то откроется ее параметры. Так, можно посмотреть в каких таблицах, какие хранятся настройки.

Таблицы для хранения данных HR инфотипов

В HR основные таблицы, где хранятся данные по персоналу, это:
• PA****, где **** – номер инфо-типа основных данных.
• PB****, где **** – номер инфо-типа кандидатов (из Подбора персонала).
• HRP****, где **** – номер инфо-типа организационного менеджмента.

Напомню, что сами номера инфо-типов делятся на группы:
• 0000 – 0999 HR основные данные.
• 1000 – 1999 Планирование персонала.
• 2000 – 2999 Временные данные.
• 4000 – 4999 Подбор персонала.
• 9000 – 9999 Пользовательские.

ru.knowledgr.com

Метабаза данных — модель базы данных для (1) метауправление данными, (2) глобальный вопрос независимых баз данных, и (3) распределенная обработка данных. Этот термин — дополнение к словарю. Первоначально, метаданные — только распространенное слово, относящееся просто к «данным о данных», такие как признаки, ключевые слова и заголовки повышения. Однако, в этой технологии, понятие метаданных расширено, чтобы также включать такие данные и представление знаний как информационные модели (например, отношения, отношения предприятий и объекты), прикладная логика (например, производственные правила), и аналитические модели (например, моделирование, оптимизация и математические алгоритмы). В случае аналитических моделей это также упоминается как Modelbase.

Эти классы метаданных объединены с некоторой онтологией моделирования, чтобы дать начало устойчивому набору метаотношений (столы метаданных). Индивидуальные модели интерпретируются как метаданные и вступаются эти столы. Также, модели вставлены, восстановлены, обновлены и удалены таким же образом, как обычные данные делают в обычной (относительной) базе данных. Пользователи также сформулируют глобальные вопросы и запросы об обработке местных баз данных через Метабазу данных, используя глобально интегрированные метаданные. Структура Метабазы данных может быть осуществлена в любой открытой технологии для реляционных баз данных.

Значение

Технология Метабазы данных развита в Ренселлеровском политехническом институте в Трое, Нью-Йорк, группой способности и студентов (см. ссылки в конце статьи), начинающийся в конце 1980-ых. Его главный вклад включает расширение понятия метаданных и метауправления данными и оригинального подхода проектирования базы данных для приложений метаданных. Эти концептуальные результаты продолжают мотивировать новое исследование и новые заявления. На уровне особого дизайна, его открытости и масштабируемости привязан к той из особой предложенной онтологии: Это требует обратного представления прикладных моделей, чтобы спасти их в метаотношения. В теории онтология нейтральна, и это было доказано в некотором промышленном применении. Однако, требуется больше развития, чтобы установить его для области как открытая технология. Требование обратного представления характерно для любой глобальной информационной технологии интеграции. Способ облегчить его находится в подходе Метабазы данных, должен распределить основную часть его на каждом местном месте, чтобы учесть перевод соединения равноправных узлов ЛВС на лету.

Методология интеграции гетерогенных информационных систем по свойствам неорганических веществ, страница 39

Описание файла

PDF-файл из архива «Методология интеграции гетерогенных информационных систем по свойствам неорганических веществ», который расположен в категории «на соискание учёной степени доктора технических наук». Всё это находится в предмете «диссертации и авторефераты» из аспирантуры и докторантуры, которые можно найти в файловом архиве РТУ МИРЭА. Не смотря на прямую связь этого архива с РТУ МИРЭА, его также можно найти и в других разделах. Архив можно найти в разделе «остальное», в предмете «диссертации и авторефераты» в общих файлах, а ещё этот архив представляет собой докторскую диссертацию, поэтому ещё представлен в разделе всех диссертаций на соискание учёной степени доктора технических наук.

Просмотр PDF-файла онлайн

Текст 39 страницы из PDF

В рамках этого подхода разработаны две подсистемы,которые позволили реализовать ИС, нацеленную как на конечного пользователя, так ина взаимодействие другими программными средами.Реализация первой подсистемы в рамках комплексного подхода к созданиюинтегрированной ИС подразумевала применение подхода EAI для интеграции Webприложений разных ИС по свойствам неорганических веществ. Это позволилопредоставить конечному пользователю доступ ко всем информационным ресурсаминтегрируемыхИС,доступнымчерезИнтернет(расчетныеподсистемыифункционирующие Web-оболочки БД). То есть задача интеграции существующих Webприложений интегрируемых ИС заключалась в объединении уже функционирующихпользовательских интерфейсов с возможностью поиска релевантной информации винтегрированных ИС и обеспечении общего контекста безопасности при переходепользователей из Web-приложения одной ИС в Web-приложение другой ИС [170].Реализация второй подсистемы в рамках комплексного подхода к созданиюинтегрированной ИС подразумевала интеграцию источников информации ИС посвойствам неорганических веществ, что соответствует применению подхода EII.Объединение источников информации позволило получить унифицированный доступко всем данным, содержащимся в интегрируемых источниках информации.

Это даловозможность использовать информацию, содержащуюся в интегрированной ИС, всистемах поддержки принятия решений.Совместное применение подходов EAI и EII при создании интегрированной ИСпо свойствам неорганических веществ позволило не только повысить качествоинформационного обслуживания специалистов в области химии, но и даловозможностьиспользоватьинтегрированнуюинформациюпрограммамикомпьютерной обработки информации и системами поддержки принятия решений.2086.2. Реализация интеграции гетерогенных Web-приложенийинформационных системВглаве 3.5рассматриваласьвозможностьпостроенияИСнабазедоминирующих в настоящий момент технологических Web-платформ Windows Server+ IIS и Unix + Apache.

В результате оценки платформ согласно выбранным критериямбыло принято решение использовать технологические платформы компании Microsoft(Windows Server + IIS).6.2.1. Описание структуры метабазыВ настоящее время все современные ИС, так или иначе, имеют дело снакоплением и обработкой информации. Для хранения больших объемов данных иобеспечения быстрого доступа к ним широко используются базы данных. Припостроении интегрированной ИС, объединяющей Web-интерфейсы ИС по свойствамнеорганических веществ, необходимо обеспечить хранение информации о содержимоминтегрируемых ИС, т.е. метаданных.

Метаданные только некоторым образомописывают информацию, подлежащую консолидации [64]. Эти данные необходимыдля обеспечения поиска релевантной информации согласно методике, описанной вглаве 6.1. Для хранения данных (метаданных) было принято решение использоватьреляционную БД, именуемую в дальнейшем метабазой, т.к. она содержит справочнуюинформацию по содержимому интегрируемых ИС.

Для управления информационнойБД, лежащей в основе интегрированной ИС, было принято решение использоватьMicrosoft SQL Server 2008.Структура метабазы во многом определяет функциональные возможностиинтегрированной ИС, поэтому в настоящей главе повышенное внимание будет уделенорассмотрению структурных деталей БД, лежащей в основе ИС по объединению Webприложений интегрируемых ИС [170]. Для решения задачи объединения Webприложений ИС СНВМ предлагается следующая структура метабазы (рис. 6.2.1) [173].Рассмотрим кратко назначение таблиц метабазы для интеграции Web-ресурсовпо свойствам веществ, указывая, какую функциональность, опирающуюся на структуруэтих таблиц, будет реализовывать интегрированная ИС.209Рис. 6.2.1.

Структура метабазы информационной системы, интегрирующей Webприложения информационных систем по свойствам неорганических веществ.Таблица DBInfoЯвляется главной таблицей, в которой хранится список ИС по свойствамнеорганических веществ, которые подключены к интегрированной на уровне WebинтерфейсовИС.КаждойподключаемойИСприсваиваетсяуникальныйцелочисленный идентификатор DBID (тип int), который является первичным ключомтаблицыDBInfo.Такимобразом,каждаяинтегрируемаяИСоднозначноидентифицируется по полю DBID. Можно сказать, что таблица DBInfo задаетмножество D , описанное в главе 6.1. В данной таблице также содержится информация,кратко описывающая данные информационные ресурсы и необходимая для ихсопряжения с интегрированной ИС.Приведем назначение некоторых полей этой таблицы.

Поле Enabled (тип bit)указывает, активна ли интегрируемая ИС (1) или ее обслуживание временноприостановлено(0).Этотмеханизмможетиспользоватьсядлявременного210“отключения” интегрируемой ИС от общей интегрированной ИС, когда, например,возникают технические или политические вопросы, связанные с функционированиеминтегрируемой ИС. Необслуживаемая ИС не может обновлять информацию в метабазеи использовать все ее Web-сервисы (поиск релевантных систем и т.д.).Поля Login (тип varchar(16)) и Password (тип varchar(16)) содержат имя учетнойзаписи и пароль, которые должна использовать интегрируемая информационнаясистема при вызове Web-сервисов интегрированной ИС.

В поле DBURL (типvarchar(256))содержитсяURL-адресWeb-приложения,котороеобслуживаетинтегрируемый ресурс, например, “http://bg.imet-db.ru”. Поле DBGateURL (типvarchar(256)) содержит URL-адрес Web-страницы, играющей роль шлюза безопасностиинтегрируемой ИС, через который осуществляется авторизованный вход пользователейвданнуюИС,например,“http://bg.imet-db.ru/GateBG.asp?chk=#CHKSUM#&access=#ACCESS#”. Формат записи этого полябудет разобран позже, при кратком обсуждении механизмов системы безопасностиинтегрированной ИС.Поле WWWTemplatePage (тип varchar(256)) содержит шаблон адреса страницыдлядоступакинформацииинтегрируемогоресурса,например,“subst_res.asp? >

Следуетотметить, что это поле может быть пусто в зависимости от механизмов переадресации,реализованных на стороне шлюза безопасности интегрируемой ИС, задаваемого в полеDBGateURL.Таблица DBExcludeCompatibilityДанная таблица содержит информацию об интегрируемых ИС, которые надоисключать при поиске релевантной информации. Данный функционал необходим в томслучае, когда одинаковая информация содержится в двух и более информационныхисточниках.

Например, интегрированная ИС включает в качестве двух независимыхИС русскоязычную и англоязычную версию ИС “Кристалл”, доступных по разнымURL. Первичным ключом таблицы является связка полей DBID (тип int) и TargetDBID(тип int). Этот составной ключ идентифицирует переход из ИС с идентификаторомDBID в ИС с идентификатором TargetDBID. Чтобы пользователь, находящийся,например, в русскоязычном приложении ИС Кристалл не получал список релевантнойинформации в англоязычной версии в отношение задаваемое таблицей вводится кортеж(1,6), где 1 – это DBID, указывающий на русскоязычную ИС Кристалл, а 6 TargetDBID, указывающий на англоязычную.Таблица UsersInfo211В ней содержится информация о пользователях интегрируемых ИС и их правахдоступа. Первичным ключом таблицы является связка полей DBID (тип int) и UserID(тип int).

Этот составной ключ идентифицирует пользователя интегрируемой ИС.Важным является поле AccessMode (тип int), которое указывает, какие правадоступа по умолчанию предоставлены данному пользователю к информации,расположенной других в интегрируемых ИС. Определены следующие значения этогополя:0 – не предоставлять пользователю доступ к интегрированным ИС;1 – предоставлять пользователю доступ к интегрированным системам с наложениемограничений(осуществляетсяотображениеинформациитолькопотойсистеме/веществу, которая была запрошена при входе в ИС);2 – предоставлять пользователю полный доступ на просмотр информации,содержащейся в интегрированных ИС.В полях Login (тип varchar(16)) и PasswordMD5 (тип varchar(32)) содержатсяучетные данные пользователей интегрированной ИС.

Следует отметить, что полеPasswordMD5 содержит MD5-хэш пароля (а не открытый пароль) пользователяинтегрированной ИС, который нужен для его аутентификации. Это, с одной стороны,позволяет успешно выполнить аутентификацию пользователя, а с другой стороны,безопасность интегрируемых ИС не может быть скомпрометирована даже тогда, когдазлоумышленнику удастся получить MD5-хэши паролей пользователей ИС.Таблица UsersAccessНеобходима для переопределения прав доступа пользователя при обращении кконкретной интегрируемой ИС.

Таким образом, есть возможность гибкой настройкиправ доступа всех пользователей к конкретным ресурсам. С технической точки зрения,правапереопределяютсяидентификаторамидля[DBID,конкретногоUserID],припользователядоступекИС,определяемогоконкретномуресурсу,определяемому полем TargetDBID (тип int, это внешний ключ к полю DBInfo.DBID).Сами права задаются с помощью поля AccessMode, которое может принимать те жезначения, что и одноименное поле из таблицы UsersInfo (см. выше).Таблица PropertiesInfoВ ней содержится информация о физико-химических свойствах, данные окоторых хранятся в интегрируемых ИС.

Другими словами, эта таблица задаетмножество свойств P , описанное в главе 6.1. Первичным ключом таблицы являетсясвязка полей DB >

Содержимое этого поля зависит от принципов работы шлюза безопасности настороне интегрируемой ИС и более подробно будет рассмотрено ниже.Таблица SystemInfoВ ней хранится информация о химических системах, сведения о которыхсодержатся в интегрируемых ИС. Иными словами, эта таблица задает множествохимических систем S , описанное в главе 6.1. Первичным ключом таблицы являетсясвязка полей DBID (тип int) и SystemID (тип int). В поле Elements (тип varchar(32))содержится список химических элементов, из которых состоит система, через тире.Притом данная строка должна начинаться и заканчиваться тире, например, “-Na-Co-GeO-”.

Поле ElemNumber (тип int) содержит количество химических элементов,образующих указанную систему. Для указанной выше химической системы это полебудет содержать значение 4. Поле SystemInfo (тип varchar(256)) содержит описаниехимической системы в произвольном текстовом или HTML-формате, например, этоможет быть “Na-Co-Ge-O” или “Na2CoGeO4”, в зависимостиот контекста, определяемого интегрируемой ИС. Поля этой таблицы заполняются Webсервисом обновления метабазы при взаимодействии с интегрируемыми ИС, чтогарантирует корректность и непротиворечивость данных в полях этой таблицы.Таблица DBContentВ ней содержится детальная информация о том, о каких именно свойствахсодержится информация в интегрированных ИС для каждой химической системы.

Описание структуры метаданных

Конфигуратор позволяет вывести в виде текста информацию обо всех объектах метаданных конфигурации. Для этого следует выбрать пункт «Описание структуры метаданных» из меню «Конфигурация» главного меню программы. Создание описания объектов метаданных для сложных конфигураций может занимать продолжительное время.

После окончания создания описания конфигурации будет открыто окно текстового редактора с описанием. Описание можно сохранить в текстовом файле, воспользовавшись меню «Файл» главного меню Конфигуратора.

Редактирование объектов метаданных, интерфейсов и пользовательских нрав не оказывает немедленного влияния на информационную базу. Для «переноса» в информационную базу изменений, сделанных в конфигурации, следует выполнить процедуру сохранения, которая, при необходимости, будет сопровождаться реструктуризацией информационной базы.

Внимание! Перед выполнением любых операций с информационной базой рекомендуется выполнить сохранение данных. Как это сделать — см. в главе «Сохранение и восстановление данных».

Перед выполнением сохранения конфигурации убедитесь в наличии достаточного свободного пространства на жестком диске: если ожидается реорганизация информационной базы, размер свободного пространства должен быть не меньше текущего размера информационной базы.

Чтобы выполнить сохранение конфигурации, выберите пункт «Сохранить» в меню «Файл» главного меню Конфигуратора.

Автоматическая проверка на не сохраненную информацию выполняется также при закрытии окна «Конфигурация» или при выходе из Конфигуратора. Если необходимо, запускается процедура сохранения конфигурации.

Процесс сохранения конфигурации сопровождается выдачей различных предупредительных и информационных сообщений.

Если изменения не затрагивают структуры метаданных — например, были отредактированы только печатные формы документов, — реорганизация базы данных не требуется. В этом случае выдается запрос «Данные были модифицированы. Сохранить?».

Окно запроса содержит 2 кнопки. Для сохранения всех сделанных изменений нажмите кнопку «Да». Для отказа от сохранения сделанных изменений нажмите кнопку «Нет».

Если в процессе редактирования конфигурации изменялись объекты метаданных; добавлялись новые документы, справочники, константы и так далее; редактировались свойства у существующих объектов метаданных, — процесс сохранения таких изменений требует реорганизации информационной базы и может занять длительное время. В этом случае выдается запрос о сохранении метаданных. Для отказа от сохранения изменений в конфигурации следует нажать кнопку запроса «Нет». Если нажать кнопку запроса «Да», то программа начнет анализ изменений, произведенных в конфигурации. Через некоторое время на экран будет выдан запрос, в котором будут перечислены те изменения, которые предстоит сделать в информационной базе.

Если в нем нажать кнопку «Отмена», никаких изменений сделано не будет и произойдет возвращение в программу. После нажатия кнопки «Принять» будет произведена реорганизация информационной базы и, в случае ее успешного завершения, на экран будет выдано соответствующее сообщение.

Илон Маск рекомендует:  Проверка данных на валидность
Понравилась статья? Поделиться с друзьями:
Кодинг, CSS и SQL
Поделитесь ссылкой пожалуйста: