Основные компоненты информационного хранилища.

1. ПО промежуточного слоя. Обеспечивает сетевой доступ и доступ к базам данных. Сюда относятся и коммуникационные протоколы, драйверы, системы обмена сообщениями и пр.

2. Транзакционные БД и внешние источники информации. Базы данных исторически предназначались для эффективной обработки структур данных в относительно небольшом числе определенных транзакций. Из-за ограниченной целевой направленности «учетных» систем применяемые в них структуры данных плохо подходят для систем поддержки принятия решений. Кроме того, возраст многих установленных БД достигает 10-15 лет.

3. Уровень доступа к данным. Относящееся сюда ПО обеспечивает общение конечных пользователей с информационным хранилищем и загрузку требуемых данных из транзакционных систем. В настоящее время универсальным языком общения служит язык структурированных запросов (SQL).

4. Загрузка и предварительная обработка. Этот уровень включает в себя набор средств для загрузки данных из БД и внешних источников. Выполняется, как правило, в сочетании с дополнительной обработкой: проверкой данных на чистоту, консолидацией, форматированием, фильтрацией и пр.

5. Информационное хранилище. Представляет собой ядро всей системы – один или несколько серверов БД.

6. Метаданные (репозитарий, «данные о данных). Играют роль справочника, содержащего сведения об источниках первичных данных, алгоритмах обработки, которым данные были подвергнуты, и т.д.

7. Уровень информационного доступа. Обеспечивает непосредственное общение пользователя с данным Хранилища посредством стандартных систем манипулирования, анализа и предоставления данных типа MS Excel, MS Access, FoxPro и др.

8. Уровень управления (администрирования). Отслеживает выполнение процедур, необходимых для обновления информационного хранилища или поддержания его состояния. Здесь программируются процедуры подкачки данных, перестройки индексов, выполнения итоговых (суммирующих) расчетов, репликации данных, построения отчетов, формирования сообщений пользователям, контроля целостности и др.

4.3. Проблемы интеграции данных в Хранилище [12]:

- Неоднородность программной среды.

- Распределенный характер организации.

- Повышенные требования к безопасности данных.

- Необходимость наличия многоуровневых справочников метаданных.

- Потребность в эффективном хранении и обработке очень больших объемов информации.

Неоднородность программной среды. Хранилище данных практически никогда не создается на пустом месте. Почти всегда конечное решение будет разнородным, т.е. в нем будут использоваться автономно разработанные программные средства. Прежде всего это касается формирования интегрированного согласованного набора которые могут поступать из разнородных баз данных, электронных архивов, публичных и коммерческих электронных каталогов, справочников, статистических сборников. При построении хранилища данных приходится решать задачу построения единой, согласованно функционирующей информационной системы на основе неоднородных программных средств и решений. При выборе средств реализации хранилища данных приходится учитывать множество факторов, включающих уровень совместимости различных программных компонентов, легкость их освоения и использования, эффективность функционирования и т.д.

Распределенные характер организации. В концепции хранилища данных предопределено то, что операционная аналитическая обработка может выполняться в любом узле связи независимо от места расположения основного хранилища. Хотя при аналитической обработке данные только читаются, и потребность в синхронизации отсутствуют, для достижения эффективности необходимо поддерживать репликацию данных в разных узлах сети. (На самом деле, все не так просто. Одним из требований к хранилищам данных является то, чтобы свежая информация поступала в хранилище как можно быстрее, т.е. потенциально любая модификация оперативной БД может инициировать добавление данных к хранилищу данных, а тогда потребуется обновить и все реплики, для чего синхронизация все-таки нужна).

Повышение требований к безопасности данных. Собранная вместе согласованная информация об истории развития корпорации, ее успехах и неудачах, о взаимоотношениях с поставщиками и заказчиками, об истории и состоянии рынка дает возможность анализа прошлой и текущей деятельности корпорации и построения прогнозов для будущего. Эта информация настолько ценна для корпорации, что нельзя допустить возможности ее утечки (на самом деле, если хранилище данных одной корпорации попадает в руки аналитиков другой корпорации, то все аналитические прогнозы первой корпорации сразу станут неверными). В системах, основанных на хранилищах данных, оказывается недостаточной защита данных в стиле языка SQL, которую обеспечивают обычные коммерческие СУБД (этот уровень защиты соответствует классу C2 в соответствии с классификацией Оранжевой Книги Министерства обороны США). Для обеспечения должного уровня защиты доступ к данным должен контролироваться не только на уровне таблиц и их столбцов, но и на уровне отдельных строк (это уже ответствует классу B1 Оранжевой Книги). Приходится также решать вопросы аутентификации пользователей, защиты данных при их перемещении в хранилище данных из оперативных баз данных и внешних источников, защиты данных при их передаче по сети.

Необходимость наличия многоуровневых справочников метаданных. Если роль метаданных (обычно содержащихся в таблицах-каталогах) в оперативных информационных системах достаточно ограничена, то для OLAP-систем наличие развитых метаданных и средств их предоставления конечным пользователям является одним из основных условий успешной реализации. Например, прежде, чем менеджер корпорации задает системе свой вопрос, он должен понять, как информация имеется, насколько она актуальна, можно ли ей доверять, сколько времени может занять формирование ответа и т.д. Для пользователя OLAP-системы требуются метаданные, по крайней мере, следующих типов:

1) Описания структур данных, их взаимосвязей.

2) Информация о хранимых в хранилище данных и поддерживаемых им агрегатах данных.

3) Информация об источник ах данных и о степени их достоверности. Одна и та же информация могла попасть в хранилище данных из разных источников. Пользователь должен иметь возможность узнать, какой источник был выбран основным, и каким образом производились согласование и очистка данных.

4) Информация о периодичности обновлений данных. Желательно знать не только то, какому моменту времени соответствуют интересующие его данные, но и когда они в следующий раз будут обновлены.

5) Информация о владельцах данных. Пользователю OLAP-системы может оказаться полезной информация о наличии в системе данных, к которым он не имеет доступа, о владельцах этих данных и о действиях, которые он должен предпринять, чтобы получить доступ к данным.

6) Статистические оценки времени выполнения запросов. До выполнения запроса полезно иметь хотя бы приблизительную оценку времени, которое потребуется для получения ответа, и объема этого ответа.

Потребность в эффективном хранении и обработке очень больших объемов информации. Уже сейчас известны примеры хранилищ данных, содержащих терабайты информации. По данным консалтинговой компании Meta Group, около половины корпораций, использующих или планирующих использовать хранилища данных, предполагают довести их объем до сотен гигабайт. Проблемой таких больших хранилищ является то, что накладные расходы на внешнюю память возрастают нелинейно при возрастании объема хранилища. Исследования, проведенные на основе тестового набора TPC-D, показали, что для баз данных объемом в 100 гигабайт потребуется внешняя память объемом в 4,87 раза большая, чем нужно собственно для полезных данных. При дальнейшем росте баз данных этот коэффициент увеличивается.

Кроме того, очевидно, появятся новые уникальные технологии, позволяющие наращивать и оптимизировать инфраструктуры хранения в соответствии с требованиями заказчиков к надежности, защищенности и экономическим показателям хранения данных.

Сегодня можно выделить одну традиционную - Direct Attached Storage (DAS) и две уже уверенно входящие в жизнь архитектуры хранения данных: Network Attach Storage (NAS) и Storage Area Network (SAN).

Direct Attached Storage (DAS). Технология DAS подразумевает прямое (непосредственное) подключение накопителей к серверу или к ПК. При этом накопители (жесткие диски, ленточные накопители) могут быть как внутренними, так и внешними. Простейший случай DAS-системы – это один диск внутри сервера или ПК. Кроме того, к DAS-системе можно отнести и организацию внутреннего RAID-массива дисков с использованием RAID-контроллера.

Стоит отметить, что, несмотря на формальную возможность использования термина «DAS-системы» по отношению к одиночному диску или к внутреннему массиву дисков, под DAS-системой принято понимать внешнюю стойку или корзину с дисками, которую можно рассматривать как автономную СХД. Кроме независимого питания, автономные DAS-системы имеют специализированный контроллер (процессор) для управления массивом накопителей. К примеру, в качестве такого контроллера может выступать RAID-контроллер с возможностью организации RAID-массивов различных уровней.

Следует отметить, что автономные DAS-системы могут иметь несколько внешних каналов ввода-вывода, что обеспечивает возможность подключения к DAS-системе нескольких компьютеров одновременно.

В качестве интерфейсов для подключения накопителей (внутренних или внешних) в технологии DAS могут выступать интерфейсы SCSI (Small Computer Systems Interfice), SATA, PATA и Fibre Channel. Если интерфейсы SCSI, SATA и PATA применяются преимущественно для подключения внутренних накопителей, то интерфейс Fibre Channel служит исключительно для подключения внешних накопителей и автономных СХД. Преимущество интерфейса Fibre Channel здесь заключается в том, что он не имеет жесткого ограничения по длине и может использоваться в том случае, когда сервер или ПК, подключаемый к DAS-системе, находится от нее на значительном расстоянии. Интерфейсы SCSI и SATA также могут применяться для подключения внешних СХД (в этом случае интерфейс SATA называют eSATA), однако они имеют строгое ограничение по максимальной длине кабеля, соединяющего DAS-систему и подключаемый сервер.

К основным преимуществам DAS-систем можно отнести их низкую стоимость (в сравнении с другими решениями СХД), простоту развертывания и администрирования, а также высокую скорость обмена данными между системой хранения и сервером. Собственно, именно по этой причине они стали очень популярны в сегменте малых офисов и свои недостатки – в первую очередь, это высокая стоимость хранения и управления данными вследствие их разбросанности по организации, а также вынужденный простой сети в момент добавления новых дисков и необходимость наращивания памяти или процессорной мощи сервера при превышении определенного размера дискового пространства. Перегруженность сетевого трафика с добавлением новых серверов усложняет проблему защиты данных, препятствует эффективному использованию ресурсов и т.д. Затраты и новые проблемы растут как снежный ком.

В настоящее время DAS-системы занимают лидирующее положение, однако доля этих систем постоянно сокращается, и на смену им приходит либо универсальные решения с возможностью плавной миграции к NAS-системам, либо системы, предусматривающие возможность их использования как в качестве DAS-, так и NAS-систем.

Network Attached Storage (NAS). NAS-системы – это сетевые системы хранения данных, непосредственно подключаемые к сети точно так же, как и сетевой принт-сервер, маршрутизатор или любое другое сетевое устройство. Фактически NAS-системы представляют собой эволюцию файл-серверов. Для того чтобы понять разницу между традиционным файл-сервером и NAS-устройством, вспомним, что традиционный файл-сервер представляет собой выделенный компьютер (сервер), на котором хранится информация, доступная пользователям сети. Для хранения информации могут использоваться жесткие диски, устанавливаемые в сервер (как правило, они располагаются в специальных корзинах), либо подключенные к серверу DAS-устройства. Администрирование файл-сервера реализуется с помощью серверной операционной системы. Такой подход к организации систем хранения данных в настоящее время является наиболее популярным в сегменте небольших локальных сетей, но имеет один существенный недостаток – универсальный сервер, отнюдь, не дешевое решение.

Кроме оптимизированной ОС, освобожденной от всех функций, не связанных с обслуживанием файловой системы и реализацией ввода-вывода данных, NAS-системы имеют оптимизированную по скорости доступа в файловую систему. NAS-системы проектируются таким образом, что вся их вычислительная мощь фокусируется исключительно на операциях обслуживания и хранения файлов. Сама операционная система располагается во флэш-памяти и предустанавливается фирмой-производителем. Подсоединение NAS-устройств к сети и их конфигурирование представляет собой достаточно простую задачу и по силам любому опытному пользователю, не говоря уже о системном администраторе.

В сравнении с традиционными файловыми серверами, NAS-устройства являются более производительными и менее дорогими. В настоящее время практически все NAS-устройства ориентированы на использование в сетях Ethernet (Fast Ethernet, Gigabit Ethernet) на основе протоколов TCP/IP. Доступ к устройствам NAS осуществляется с помощью специальных протоколов доступа к файлам. Наиболее распространенными протоколами файлового доступа являются протоколы CIFS, NFS и DAFS.

Storage Area Network (SAN). SAN – это специализированная сетевая инфраструктура для хранения данных (сеть хранения данных). Эти сети интегрируются в виде отдельных специализированных подсетей в состав локальной (LAN) или глобальной (WAN) сети.

По сути, SAN-сети связывают один или несколько серверов (SAN-серверов) с одним или несколькими устройствами хранения данных. SAN-сети позволяют любому SAN-серверу получать доступ к любому устройству хранения данных, не загружая при этом ни другие серверы, ни локальную сеть. Кроме того, возможен обмен данными между устройствами хранения данных без участия серверов. SAN-сети позволяют очень большому числу пользователей хранить информацию в одном месте (с быстрым централизованным доступом) и совместно использовать ее. В качестве устройств хранения данных могут применяться RAID-массивы, различные библиотеки (ленточные, магнитооптические и др.), а также JBOD-системы (массивы дисков, не объединенные в RAID).

Для построения сетей SAN используется либо стандарт Fibre Channel (FC), либо стандарт iSCSI.

Что выбрать – DAS, NAS или SAN? До сих пор во всем мире, а тем более в России все еще господствует DAS. Такая ситуация, скорее всего, сохранится в сегментах рынка домашних компьютеров, малого бизнеса и больших машин (mainframes). Нишу средних и крупных предприятий постепенно займут SAN- и NAS-системы, причем в комбинированном использовании.

SAN-системы целесообразно применять там, где доступ к данным осуществляется на уровне физических блоков. Речь идет в первую очередь о распределенных базах данных, построенных на архитектуре клиент-сервер. Это системы управления предприятием, банковские и финансовые системы, где критично количество транзакций в единицу времени, цифровое телевещание и т.д. Кроме того, SAN-системы используются для организации бесперебойной и непрерывной работы важных приложений, отказ которых может привести к потере критически важных данных, выходу из строя оборудования или к другим последствиям, влекущим за собой дорогостоящие простои информационной системы. SAN – это прекрасное решение для организаций, расположенных в зданиях, разбросанных в радиусе 230 км, которым необходим оперативный доступ к центральному хранилищу.

Применение архитектуры SAN эффективно при организации центров обработки данных с постоянно растущими требованиями к вычислительным ресурсам и емкости хранимых данных. Использование SAN позволяет решать такие задачи без принципиальной модификации существующей инфраструктуры, благодаря комбинации сетевых интерфейсов Fibre Channel, SCSI и Ethernet.

NAS-системы применяются в тех случаях, когда доступ к данным осуществляется на уровне файла, - это бизнес-приложения с одновременным доступом пользователей разных платформ к одним и тем же файлам (мультимедиа, графика, документы), консолидация разрозненной информации предприятия в одном месте, хранение архивов, быстрое, недорогое и безлицензионное увеличение дискового пространства в сети.

⇐ Предыдущая3456789101112Следующая ⇒

Поделиться:

Воспользуйтесь поиском по сайту: