к библиотеке   к оглавлению   визуальные среды - 4GL   технологии программирования

Истоки сегодняшних продуктов OLAP

Найгель Пендс, OLAP Report
Перевод Шамиля Абушаева, Социо Прогресс

Идея обработки многомерных данных не является новой. Фактически она восходит к 1962 году, когда Кен Айверсон опубликовал свою книгу “Язык программирования” (“A Programming Language” - APL). Первая практическая реализация APL была осуществлена в конце шестидесятых компанией IBM. APL - это математически определённый язык с многомерными переменными и изящными, хотя и довольно абстрактными операторами. Он предназначался больше для описания многомерных преобразований, нежели для использования в качестве практического языка программирования. Так, например, в нем не уделялось внимания таким приземленным вопросам, как работа с файлами или вывод на печать. В очень сжатой нотации языка использовались греческие символы. В действительности, тексты программ получались весьма компактными. Он стал известен, как "язык только для написания", потому что было гораздо легче переписать заново программу, нежели исправить ранее сохраненный текст.

К сожалению этот язык был придуман задолго до появления экранов с графическим интерфейсом и лазерных принтеров, а отображение греческих символов требовало специальных экранов, клавиатур и печатающих устройств. Позднее английские слова иногда использовали для замены греческих операторов, однако борцы за чистоту APL пресекли попытки популяризации их элитарного языка. APL поглощал машинные ресурсы и требовал больших затрат. Программы очень медленно выполнялись и обходились очень дорого. APL пожирал оперативную память, требуя  шокирующие объемы (порядка 6 МБ), что сегодня звучит смехотворно.

Однако несмотря на неудачное начало, APL не был выброшен. Он использовался во многих деловых приложениях 70-х, 80-х годов, которые функционально подобны сегодняшним OLAP системам.  Так, IBM разработала операционную систему для APL, названную VSPC, и некоторые люди считали ее идеальной средой для персонального использования задолго до появления электронных таблиц.

Но APL был слишком сложен в использовании, тем более что каждый раз появлялись несоответствия между самим языком и оборудованием, на котором делались попытки его реализации.

В 80-х годах APL стал доступен на персональных машинах, но не нашел рыночного применения. Альтернативой было программирование многомерных приложений с использованием массивов в других языках. Это было очень тяжелой задачей даже для профессиональных программистов, так что конечным пользователям оставалось ждать следующего поколения многомерных программных продуктов.

В 1970 году впервые появился прикладной многомерный программный продукт, в отличие от других, использовавшихся в учебных целях: Express. Он в полностью переписанном виде широко используется в современных OLAP приложениях, однако оригинальные концепции 70-х годов остались далеко позади. Сегодня, в конце 90-х  Express остается одной из наиболее популярных OLAP-технологий, и компании Oracle удается поддерживать его на уровне современных требований наряду со многими новыми продуктами с архитектурой "клиент-сервер".

Больше многомерных продуктов появилось в 80-х годах. В начале десятилетия появился Stratagem, в новом обличии - Acumate (сегодня владельцем является Lucent), который продвигался на рынке до середины 90-х, но сегодня, в отличие от Express, используется очень ограниченно.

Comshare System W был многомерным продуктом другого стиля. Представленный в 1981 году, он первым использовал идею гиперкуба и был в большей степени ориентирован на конечного пользователя в разработке финансовых приложений. Он привнёс много концепций, которые, правда, еще не были хорошо проработаны, типа непроцедурных правил, полноэкранного просмотра многомерных данных,  редактирования данных, автоматическое перевычисление и интеграция с реляционными данными (в пакетном режиме). Однако Comshare System W был достаточно тяжел для аппаратного обеспечения того времени и менее программируемым по сравнению с другими продуктами и, соответственно, был менее популярен в среде профессионалов ИТ. Он также пока используется, но продается всё меньше, поскольку не имел тех улучшений, которые ожидались. Хотя он и сегодня доступен на UNIX, он не является клиент-серверным продуктом, что не способствует его продвижению на рынке OLAP предложений. В конце 80-х Comshare выпустил в среде DOS, а позднее для Windows, продукт под названием Commander Prism. Он использовал те же концепции, что были заложены в System W. Essbase, продукт компании Hyperion Solution, хотя и не является прямым потомком
System W, был очевидно под влиянием его решений со своей ориентацией на финансовые приложения и организацией гиперкуба с полными предварительными вычислениями. По иронии судьбы Comshare в последствии приобрела лицензии Essbase,  для использования в качестве основы для своих собственных современных OLAP продуктов.

Другим новаторским продуктом в начале 80-х был Metaphor. Он предназначался для профессиональных маркетологов. Он также предложил много новых концепций, которые стали популярными только в 90-х годах: такие как,  клиент-серверные вычисления, многомерная обработка реляционных данных, многопользовательский режим и объектно ориентированная разработка приложений. К сожалению стандартные персональные компьютеры не обеспечивали тех характеристик, которые требовал Metaphor, и поставщики были вынуждены разрабатывать собственные персональные машины и сети. В последствии Metaphor стал работать удачно и на серийных персональных машинах, однако он никогда не использовал стандартный графический интерфейс пользователя (GUI).

В последствии Metaphor заключил маркетинговый альянс с компанией IBM, которой впоследствии и был поглощён. В середине 1994 года IBM решила интегрировать технологию Metaphor (переименованную в DIS) со своими будущими технологиями и расформировать дочернюю компанию, хотя заказчики протестовали и требовали продолжить поддержку продукта. Поддержка была продолжена для оставшихся заказчиков. IBM перевыпустила продукт под новым названием IDS, но это не способствовало его продвижению. Однако творческие, новаторские концепции Metaphor не были забыты, например в продуктах  Information Advantage, Brio, Sagent, DSS Suite и Gentia их влияние очевидно.

В середине 80-х родился термин EIS (Executive Information System - информационная система руководителя). Первым продуктом, явно выражавшим  это направление, был Command Center фирмы Pilot. Это был продукт ориентированный на  совместные вычисления, то, что сегодня мы называем архитектурой "клиент-сервер". Поскольку мощность персональных компьютеров 80-х годов была весьма ограничена, основная нагрузка падала на сервер, однако этот подход вернулся в современность в продуктах, подобным Information Advantage и Holos.. Pilot недолго продавал Command Center, но предложил много концепций, которые можно узнать в сегодняшних OLAP-продуктах, включая автоматическую поддержку временных промежутков, многомерные клиент-серверные вычисления и упрощённые манипуляции (посредством использования мыши и  чувствительных экранов). Некоторые из этих концепций были повторно применены позднее в Pilot Analysis Server, который сегодня также закончил свое существование.

В конце 80-х среди инструментов конечного пользователя для анализа данных стали доминировать электронные таблицы.  Первая многомерная электронная таблица появилась в виде Compete. Он продвигался на рынок как очень дорогой продукт для специалистов, но поставщики не обеспечили возможность захвата рынка этим продуктом, и компания Computer Associates приобрела права на него вместе с другими продуктами класса spreadsheet (электронных таблиц), включая Supercalc и 20/20. Основным эффектом от приобретения  Compete компанией CA было резкое снижение цены  и снятие защиты от копирования, что, естественно, способствовало его распространению. Однако он еще не был удачным. В течение нескольких лет Compete еще изредка можно было встретить в виде нагрузки в некоторых комплектах поставки. Позднее Compete был положен в основу SuperСalc 5, но многомерный аспект его не продвигался.

Компания Lotus была следующей, кто попытался войти на рынок многомерных электронных таблиц с продуктом Improv, который запускался на NeXT машине. Это гарантировало, что продажи 1-2-3 не снизятся, но когда тот со временем был выпущен под Windows, Excel уже стал настолько серьезным конкурентом, что продажи Improve не внесли заметных изменений в распределении рынка. Lotus, подобно CA с Compete, скинула цену на Improv, однако и этого оказалось недостаточно для продвижения на рынке, и новые разработки в этой области не получили продолжения. Оказалось, что пользователи персональных компьютеров предпочитают электронные таблицы в оригинальной версии 1-2-3 и не интересуются новыми многомерными возможностями, если они не полностью совместимы с их старыми таблицами. Точно так же концепция небольших многомерных  настольных электронных таблиц, предлагаемых в качестве продуктивного инструмента для персональных приложений, в действительности не оказались удобными и не прижились в реальной практике. Компания Microsoft  пошла по этому пути, добавив PivotTables  к Excel. Хотя немногие пользователи Excel получили выгоду от использования этой возможности, это, вероятно, единственный факт широкого использования возможностей многомерного анализа просто потому, что в мире очень много пользователей Excel.

Excel 2000 содежит более изощренную версию PivotTables, предназначенную для использования и в качестве настольного инструмента OLAP и как клиентской части для взаимодействия с Microsoft OLAP Services. Однако возможности OLAP в Excel 2000 не являются базовыми, ведущими, они скорее встроены как дополнительная, второстепенная возможность.

В конце 80-х фирма Sinper вошла в мир многомерных электронных таблиц первоначально с собственной электронной таблицей для DOS, а затем подсоединенной к версии 1-2-3 для DOS. Превращенный в продукт TM/1, он вошел в эру Windows как сервер баз данных в формате Excel и 1-2-3. Чуть позже Arbor сделал аналогичную вещь, хотя его новый Essbase мог работать только в режиме клиент-сервер, тогда как продукт фирмы Sinper мог так же работать на локальном компьютере. Этот подход принес мультиразмерность в электронные таблицы, которые являются столь популярными среди пользователей. Так или иначе, факт остается фактом, традиционные поставщики собственных инструментов представления данных конечному пользователю последовали по этому пути, и такие продукты, как  DSS Server, Express, Holos, Gentia, MineShare, PowerPlay, MetaCube и WhiteLight теперь с гордостью предлагают высоко интегрированный доступ к электронным таблицам в своих серверах приложений. По иронии судьбы за свои первые шесть месяцев существования Microsoft OLAP Services был одним из нескольких OLAP серверов, не имеющих клиентской части в виде электронной таблицы. Предложения компании Microsoft появились только в июне 1999 года в Excel 2000. Однако OLAP@Work встраиваемый в Excel заполнил этот пробел, и пока еще имеет гораздо лучшие эксплуатационые характеристики, чем собственный интерфейс Excel компании Microsoft.

Некоторые пользователи требуют для своих многомерных приложений возможности обработки очень больших многомерных баз данных. И реляционные OLAP-инструменты развиваются в этом направлении, отзываясь на эти нужды. Они предоставляют обычные средства просмотра многомерных данных, а иногда включают интерфейс конечного пользователя в виде электронной таблицы, даже если все данные хранятся в RDBMS (реляционных СУБД). Такие средства являются очень дорогими для пользователя, они менее производительны, чем специализированные инструменты многомерного анализа, но они обеспечивают эту, столь популярную форму анализа данных, даже если последние хранятся не в виде многомерных структур.

Другие постащики развивают то, что сегодня называется настольными OLAP (даже в случае Web-приложений, где гиперкубы обычно расположены на сервере): небольшие кубы, генерируемые из больших баз данных и затем загружаемые в персональный компьютер для обработки. Они действительно достигают большого успеха. А когда поставщик продает обе возможности: и инструмент формирования реляционных запросов и инструмент многомерного анализа и формирования отчетов (Cognos с Impromptu и PowerPlay), то достигает большего успеха у конечных пользователей, нежели в других случаях.

Сегодня поставщики реляционных баз данных активно занимаются многомерным анализом: Oracle, IBM, Microsoft, Informix и Sybase - все разрабатывают и выбразывают на рынок продукты в этой области. Забавно, что компании, упорно игнорировавшие мультиразмерность многие годы, это - Oracle, Microsoft и IBM вскоре могут стать "триадой OLAP" с большой долей рынка OLAP, основываясь на продаже многомерных продуктов, которые были изобретены не ими.

Итак, что мы имеем за 35-летнюю историю?
  • Мультиразмерность стала реальностью. Даже тяжелые в эксплуатации, дорогие, медленные и специфические многомерные продукты находят свое место под солнцем, а когда подобные ограничения снимаются - полный успех (бум!). Мы наблюдаем весьма значительный рост многомерных приложений.
  • Конечные пользователи не бросают свои обычные электронные таблицы. Даже при наличии доступа к многомерным базам данных электронные таблицы остаются наиболее популярной клиентской платформой. Многомерные электронные таблицы не достигают успеха, пока они не обеспечат полной совместимости с традиционными spreadsheets. 
  • Многие люди находят привлекательным использование многомерных приложений, но разрабатывают и эксплуатируют их в ограниченных масштабах - их останавливает то, что такие продукты еще не стали массовыми на рынке. Однако, используя комбинацию простоты использования и доступности цены, Microsoft кажется способен сделать OLAP серверы почти столь же широко используемыми, как и реляционные базы данных.
  • Многомерные приложения часто оказываются очень большими и более годятся для групп пользователей, чем для индивидуалов. И хотя продукты для одиночного пользователя могут быть весьма эффективными, наибольший успех достигают многопользовательские инсталляции для клиент-серверных приложений с с большими массивами данных, загруженных из других (подпитывающих) систем. И в этом случае требуется поддержка со стороны профессионалов ИТ, даже если приложение разработано конечным пользователем..

    Вехи OLAP

    Год Событие Комментарий
    1962 Публикация " A Prog- ramming Language" Кена Айверсона (IBM) Первый многомерный язык программирования. Использовал греческие символы в операторах. Стал доступным на больших ЭВМ (мэйнфреймах) IBM в конце 60-х годов, используется до сегодняшнего дня в ограниченных масштабах. APL не может считаться инструментом  OLAP, но многие идеи, положенные в его основу, живы и сегодня. Фамильная традиция продолжена сыном Айверсона - Эриком Айверсоном, нане одним из руководителей  Adaytum Software.
    1970 Появился Express  Первый многомерный продукт, ориентированный на рыночные приложения; ныне - собственность компании Oracle. До сих пор остается одним из лидеров рынка OLAP( после неоднократного переписывания и дважды - смены собственника). Хотя программа сильно изменена, концепции и модель данных сохраняются. 
    1982 Comshare System W выпущен на собственной ЭВМ.  Первый OLAP инструмент, ориентированный на финансовые приложения. На рынке больше не предлагается, но пока используется на мэйнфреймах  IBM; его потомок для Windows, Commander Prism, еще доступен. Позднее  Essbase использовал многие его концепции.
    1984 Запущен Metaphor Первый ROLAP. Продажи его брата для Mac разочаровали, частично из-за техники, не допускающей клонирования и высокой цены(стартовая цена составляла  $64,000). Однако, как и Mac, Metaphor имеет своих поклонников.
    1985 Выпущен Pilot Command Center  Первая клинт-серверная информационная система руководителя, выполненная в стиле OLAP; использовалась на серверах VAX и стандартных PC в качестве клиента. Этот достойный продукт больше на рынке не предлагается, но остается в ограниченном использовании.
    1990 Cognos PowerPlay  Он стал первым OLAP для Windows OLAP и первым настольным OLAP. Сегодня лидирует в секторе настольных OLAP, имея свыше 600,000 мест внедрения. Он является также наиболе перепродаваемым инструментом. Хотя мы пока классифицируем его как настольный OLAP, Cognos сегодня предлагает более масштабируемые клиент-серверные и Web версии.
    1991 IBM поглощает Metaphor Первый из многих OLAP продуктов, поменявших хозяина. Metaphor стал частью обреченного объединения  Apple-IBM и ныне засиделся на IDS, у которого остется некоторое количество мест внедрения.
    1992 Выпущен Essbase  Первый OLAP продукт,имеющий хороший рынок. В 1997 году стал лидером рынка среди  OLAP серверов.
    1993 Напечатана статья Кодда с определением  OLAP Эта статья, инициированная компанией Arbor Software, привлекла внимание многих людей к многомерному анализу. Однако, правила Кодда для OLAP были вскоре забыты (в отличие от влиятельных и уважаемых правил для реляционных баз данных).
    1994 MicroStrategy DSS Agent  Первый ROLAP без многомерной СУБД, почти вся обработка выполняется с помощью множества SQL-запросов — наиболее подходящий способ для очень больших баз данных, или для очень большого количества измерений, однако расплачивается потерей производительности.
    1995 Создан Holos 4.0  Первый гибридный OLAP (HOLAP), предоставляющий доступ к реляционным и многомерным базам данных одновременно. Многие другие OLAP продукты сегодня используют этот подход. Holos сегодня является собственностью Seagate, его проявления на рынке затухают.
    1995 Oracle приобретает Express Первая важная смена владельца OLAP продукта. Возможно именно это событие выдвинуло OLAP на мировой рынок, и почти определенно оно переключило других поставщиков баз данных на эту проблему. Express сегодня стал гибридным OLAP и конкурирует одновременно как с многомерными, так и с реляционными инструментами OLAP.
    1996 BusinessObjects 4.0  Первый цельный инструмент, обеспечивающий формирование многомерных и реляционных отчетов из настольного куба, динамически создаваемого из реляционных данных. В ранних версиях имелись проблемы, однако в версиях после  4.1 большинство из них решены, а версия 5.0 значительно улучшена.
    1997 Microsoft объявляет об OLE DB для OLAP Этот проект имел условное название "Tensor" и стал "промышленным стандартом" по OLAP API прежде чем какой-либо продукт стал его поддерживать. Более 40 компаний сегодня разрабатывают продукты, используя его, многие из которых уже выпущены.
    1998 Создан IBM DB2 OLAP Server  Эта версия Essbase имеет реляционную структуру данных типа "звезда", сохраняемых либо в DB2, либо в другой реляционной базе данных, но пока боле походит на медленный MOLAP, чем на ROLAP.
    1998 Сформирован Hyperion Solutions Arbor и Hyperion Software слились в первую большую консолидацию на рынке OLAP. Несмотря на название, это больше передача прав Hyperion'а  Arbor'у, чем слияние, и инициировано оно вероятно страхом перед наступлением  Microsoft на рынок OLAP.
    1999 Выпущен Microsoft OLAP Services  Этот проект имел условное название "Plato" и использовал технологию, купленную у Panorama Software Systems в 1996 году. Уже стал лидером рынка среди  OLAP серверов без каких-либо усилий по развертыванию, имея изощренную архитектуру хранения данных (ROLAP/MOLAP/Hybrid), огромную поддержку третьих фирм, низкую цену и машину маркетинга компании Microsoft.


    к библиотеке   к оглавлению   визуальные среды - 4GL   технологии программирования

    Знаете ли Вы, что электромагнитное и другие поля есть различные типы колебаний, деформаций и вариаций давления в эфире.

    Понятие же "физического вакуума" в релятивистской квантовой теории поля подразумевает, что во-первых, он не имеет физической природы, в нем лишь виртуальные частицы у которых нет физической системы отсчета, это "фантомы", во-вторых, "физический вакуум" - это наинизшее состояние поля, "нуль-точка", что противоречит реальным фактам, так как, на самом деле, вся энергия материи содержится в эфире и нет иной энергии и иного носителя полей и вещества кроме самого эфира.

    В отличие от лукавого понятия "физический вакуум", как бы совместимого с релятивизмом, понятие "эфир" подразумевает наличие базового уровня всей физической материи, имеющего как собственную систему отсчета (обнаруживаемую экспериментально, например, через фоновое космичекое излучение, - тепловое излучение самого эфира), так и являющимся носителем 100% энергии вселенной, а не "нуль-точкой" или "остаточными", "нулевыми колебаниями пространства". Подробнее читайте в FAQ по эфирной физике.

    НОВОСТИ ФОРУМА

    Форум Рыцари теории эфира


    Рыцари теории эфира
     10.11.2021 - 12:37: ПЕРСОНАЛИИ - Personalias -> WHO IS WHO - КТО ЕСТЬ КТО - Карим_Хайдаров.
    10.11.2021 - 12:36: СОВЕСТЬ - Conscience -> РАСЧЕЛОВЕЧИВАНИЕ ЧЕЛОВЕКА. КОМУ ЭТО НАДО? - Карим_Хайдаров.
    10.11.2021 - 12:36: ВОСПИТАНИЕ, ПРОСВЕЩЕНИЕ, ОБРАЗОВАНИЕ - Upbringing, Inlightening, Education -> Просвещение от д.м.н. Александра Алексеевича Редько - Карим_Хайдаров.
    10.11.2021 - 12:35: ЭКОЛОГИЯ - Ecology -> Биологическая безопасность населения - Карим_Хайдаров.
    10.11.2021 - 12:34: ВОЙНА, ПОЛИТИКА И НАУКА - War, Politics and Science -> Проблема государственного терроризма - Карим_Хайдаров.
    10.11.2021 - 12:34: ВОЙНА, ПОЛИТИКА И НАУКА - War, Politics and Science -> ПРАВОСУДИЯ.НЕТ - Карим_Хайдаров.
    10.11.2021 - 12:34: ВОСПИТАНИЕ, ПРОСВЕЩЕНИЕ, ОБРАЗОВАНИЕ - Upbringing, Inlightening, Education -> Просвещение от Вадима Глогера, США - Карим_Хайдаров.
    10.11.2021 - 09:18: НОВЫЕ ТЕХНОЛОГИИ - New Technologies -> Волновая генетика Петра Гаряева, 5G-контроль и управление - Карим_Хайдаров.
    10.11.2021 - 09:18: ЭКОЛОГИЯ - Ecology -> ЭКОЛОГИЯ ДЛЯ ВСЕХ - Карим_Хайдаров.
    10.11.2021 - 09:16: ЭКОЛОГИЯ - Ecology -> ПРОБЛЕМЫ МЕДИЦИНЫ - Карим_Хайдаров.
    10.11.2021 - 09:15: ВОСПИТАНИЕ, ПРОСВЕЩЕНИЕ, ОБРАЗОВАНИЕ - Upbringing, Inlightening, Education -> Просвещение от Екатерины Коваленко - Карим_Хайдаров.
    10.11.2021 - 09:13: ВОСПИТАНИЕ, ПРОСВЕЩЕНИЕ, ОБРАЗОВАНИЕ - Upbringing, Inlightening, Education -> Просвещение от Вильгельма Варкентина - Карим_Хайдаров.
    Bourabai Research - Технологии XXI века Bourabai Research Institution