оглавление ДМ экономическая информатика визуальные среды - 4GL Теория и практика обработки информации

Проекционные методы в системе Excel

1. Проекционные методы: 1.1. Постановка задачи; 1.2. PCA; 1.3. PLS; 1.4. Подготовка данных; 1.5. Программы; 1.6. Модельный пример
2. Использование надстройки Chemometrics Add-In: 2.1. Установка; 2.2. Общие сведения
3. PCA: 3.1. ScoresPCA; 3.2. LoadingsPCA
4.PLS: 4.1. ScoresPLS; 4.2. UScoresPLS; 4.3. LoadingsPLS; 4.4. WLoadingsPLS; 4.5. QLoadingsPLS
5. PLS2: 5.1. ScoresPLS2; 5.2. UScoresPLS2; 5.3. LoadingsPLS2; 5.4. WLoadingsPLS2; 5.5. QLoadingsPLS2
6. Дополнительные матричные функции: 6.1 MIdent; 6.2 MIdentD2; 6.3 MCutRows; 6.4 MTrace
Заключение

В этом пособии рассказывается о применении программного средства Chemometrics Add-In - специальной надстройки для системы Microsoft Excel. Программа Chemometrics Add-In предназначена для анализа данных методами Principal Component Analysis (PCA), Projection on Latent Structures (PLS1 и PLS2). Все вычисления производятся внутри рабочих книг Excel с помощью функций листа (worksheet functions) аналогично стандартным функциям, таким, как, например, МУМНОЖ. Предполагается, что читатель имеет базовые навыки работы в среде Excel, умеет проводить простейшие матричные вычисления с использованием функций листа.

В пособии интенсивно используются понятия и методы матричной алгебры – вектор, матрица, и т.п. Читателям, которые плохо знакомы с этим аппаратом, рекомендуется изучить, или, хотя бы просмотреть, пособие "Матрицы и векторы".

Настоящее пособие не является учебником по проекционным методам анализа многомерных данных. В нем приведены только основные формулы, поскольку они необходимы для понимания реализованных методов. Читатели, которые плохо знакомы с этим подходом, могут обратиться к Литературе.

Важная информация о работе с файлом Projection.xls

Ссылки на примеры помещены в текст как объекты Excel. По форме эти примеры имеют абстрактный, модельный характер, однако, по своей сути, они тесно связаны с задачами, встречающимися на практике

1. Проекционные методы

1.1. Постановка задачи

Проекционные методы интенсивно используются для анализа многомерных данных, прежде всего, в хемометрике. Они применяются и для одноблочных массивов X (классификация – PCA), так и для данных, состоящих из двух блоков X и Y (калибровка – PCR, PLS).

Пусть имеется матрица переменных X размерностью (I×J), где I – число образцов (строк), а J – это число независимых переменных (столбцов), которых, как правило, много (J>>1). С другой стороны, может еще иметься матрица откликов Y, размерностью (I×K), где I – это, естественно, тоже число образцов, а K – это число откликов.

Рис. 1 Многомерные данные

Суть проекционного подхода состоит в существенном понижении размерности исходных массивов, как блока X, так и блока Y. Подробное описание проекционных методов можно найти в Литературе.

1.2. PCA

Старейшим проекционным методом является метод главных компонент (Principal Component Analysis – PCA). В этом методе используются новые, формальные переменные t_a, (a=1,…A), являющиеся линейной комбинацией исходных переменных x_j (j=1,…J) –

t_a=p_a1x₁+… p_aJx_J

или в матричном виде –

(1)

В этом уравнении T называется матрицей счетов (scores). Ее размерность – (I×A). Матрица P называется матрицей нагрузок (loadings). Ее размерность (A×J). E – это матрица остатков, размерностью (I×J).

Рис. 2 Графическое представление метода главных компонент

Новые переменные t_a называются главными компонентами (Principal Components), поэтому и сам метод называется методом главных компонент (PCA). Число столбцов – t_a в матрице T, и p_a в матрице P – равно A, которое называется числом главных компонент (PC). Эта величина заведомо меньше числа переменных J и числа образцов I. Имеют место следующие соотношения –

T^tT = Λ= diag{ λ₁,…,λ_A}, P^tP = I

Для построения PCA счетов и нагрузок, используется рекуррентный алгоритм NIPALS, который на каждом шагу вычисляет одну компоненту. Сначала исходная матрица X преобразуется (как минимум – центрируется; см. раздел 1.4) и превращается в матрицу E₀, a=0. Далее применяют следующий алгоритм.

1. Выбрать начальный вектор t

2. p^t = t^t E_a / t^tt

3. p = p / (p^tp)^½

4. t = E_a p / p^tp

5. Проверить сходимость, если нет, то идти на 2

После вычисления очередной (a-ой) компоненты, полагаем t_a=t и p_a=p. Для получения следующей компоненты надо вычислить остатки E_a+1 = E_a – t p^t и применить к ним тот же алгоритм, заменив индекс a на a+1. Программа для реализации PCA в среде MatLab приведена в пособии MatLab. Руководство для начинающих.

После того, как построено пространство из главных компонент, новые образцы X_newмогут быть на него спроецированы, иными словами – определены матрицы их счетов T_new. В методе PCA это делается очень просто –

T_new.= X_new P

Разумеется, матрица X_new новых образцов должен предварительно быть модифицирован так же, как и вектора из обучающего набора X, по которым строилось PCA подпространство

Содержание.

1.3. PLS

Обобщением метода PCA является метод проекций на латентные структуры (Projection on Latent Structures, PLS), в котором проводится одновременная декомпозиция матриц X и Y

X=TP^t+E Y=UQ^t+F T=XW(P^tW)^–1

(2)

Проекция строится согласованно – так, чтобы максимизировать корреляцию между соответствующими векторами X-счетов t_a и Y-счетов u_a.

Рис. 3 Графическое представление метода главных компонент

Если блок данных Y включает несколько откликов (т.е. K>1), можно построить две проекции исходных данных – PLS1 и PLS2. В первом случае для каждого из откликов y_k строится свое проекционное подпространство. При этом и счета T (U) и нагрузки P (W, Q) , зависят от того, какой отклик используется. Этот подход называется PLS1. Для метода PLS2 строится только одно проекционное пространство, которое является общим для всех откликов. Имеют место следующие соотношения –

T^tT = Λ= diag{ λ₁,…,λ_A}, W^tW = I, T = XR, R = W(P^tW)^–1

R^tP = I, Y^hat = XB=TQ^t, B = RQ^t, Q^t = Λ^–1T^tY, W^t = Λ^–1U^tX

Для построения PLS счетов и нагрузок, используется рекуррентный алгоритм, который на каждом шагу вычисляет одну PLS компоненту.

Для PLS1 алгоритм выглядит следующим образом. Исходная матрица X и вектор y преобразуют (как минимум – центрируют; см. раздел 1.4), и они превращаются в матрицу E₀ и вектор f₀, a=0. Далее к ним применяет следующий алгоритм.

1. w^t = f_a^t E_a

2. w = w / (w^tw)^½

3. t = E_a w

4. q = t^tf_a / t^tt

5. u = qf_a / q²

6. p^t = t^tE_a / t^tt

После вычисления очередной (a-ой) PLS1 компоненты надо положить: t_a=t, p_a=p, w_a=w, u_a=u и q_a=q. Для получения следующей компоненты надо вычислить остатки E_a+1 = E_a – t p^t и f_a+1= f_a – qt и применить к ним тот же алгоритм, заменив индекс a на a+1.

Для PLS2 алгоритм выглядит следующим образом. Сначала исходные матрицы X и Y преобразуют (как минимум – центрируют; см. раздел 1.4), и они превращаются в матрицы E₀ и F₀, a=0. Далее к ним применяет следующий алгоритм.

1. Выбрать начальный вектор u

2. w^t = u^t E_a

3. w = w / (w^tw)^½

4. t = E_a w

5. q^t = t^tF_a / t^tt

6. u = F_a q/ q^tq

7. Проверить сходимость, если нет, то идти на 2

8. p^t = t^tE_a / t^tt

После вычисления очередной (a-ой) PLS2 компоненты надо положить: t_a=t, p_a=p, w_a=w, u_a=u и q_a=q. Для получения следующей компоненты надо вычислить остатки E_a+1 = E_a – t p^t и F_a₊₁ = F_a – tq^t и применить к ним тот же алгоритм, заменив индекс a на a+1. Программы для реализации PLS1 и PLS2 в среде MatLab приведены в MatLab. Руководство для начинающих

Вычисление счетов T_newи U_new для новых образцов (X_new , Y_new) в методе PLS сложнее, чем в PCA. Для PLS1, матрица X_new , и вектор y_new модифицируются так же, как и в обучающем наборе и превращаются в E₀и f₀, a=0. Далее к ним применяет следующий алгоритм для вычисления счетов для a=1,…, A компонент

1. t = E_a w

2. u =f_a

После вычисления очередной (a-ой) PLS1 компоненты надо вычислить новые остатки E_a+1 = E_a – t p^t и f_a+1= f_a – qt и применить к ним тот же алгоритм, заменив индекс a на a+1.

В методе PLS2 новые матрицы X_new и Y_newмодифицируются так же, как и в обучающем наборе, и они превращаются в матрицы E₀ и F₀, a=0. Далее к ним применяет следующий алгоритм для a=1,…, A компонент

1. t = E_a w

2. u = F_a q/ q^tq

После вычисления a-ой PLS2 компоненты надо вычислить новые остатки E_a+1 = E_a – tp^t и F_a₊₁ = F_a – tq^t и применить к ним тот же алгоритм, заменив индекс a на a+1

Содержание.

1.4. Подготовка данных

Следует обратить внимание на то, что, и PCA, и PLS методы не учитывают свободного члена при разложении матриц X и Y. Это видно из формул (1) и (2). В них исходно предполагается, что все столбцы матриц X и Y имеют нулевое среднее, т.е.,

и для всех i=1,…, I и k=1,…, K.

Это условие легко можно удовлетворить, проведя центрирование данных. Центрирование – это вычитание из исходной матрицы X матрицы M, т.е.

Обычно усреднение проводится по столбцам: для каждого вектора x_j вычисляется среднее значение –

Тогда M=(m₁1,..., m_J1), где 1 – это вектор из единиц размерности I.

Центрирование – это почти обязательная процедура перед применением проекционных методов. Второе простейшее преобразование данных, нормирование, не является столь обязательным. Нормирование, в отличие от центрирования, не меняет структуру данных, а просто изменяет вес различных частей данных при обработке. Чаще всего применяется нормирование по столбцам – это умножение исходной матрицы X справа на матрицу W, т.е. .

Матрица W – это диагональная матрица размерности J×J. Обычно диагональные элементы w_jj равны обратным значениям стандартного отклонения.

вычисленным для каждого столбца x_j. Нормирование по строкам (называемое также нормализацией) – это умножение матрицы X слева на диагональную матрицу W, т.е.

При этом размерность W равна I×I, а ее элементы w_ii – это обратные значения стандартных отклонений строк x_i^t

Комбинация центрирования и нормирования по столбцам

называется автошкалированием. Нормирование данных часто применяют для того, чтобы уравнять вклад в модель от различных переменных (например, в гибридном методе ЖХ-МС), учесть неравномерные погрешности, или для того, чтобы обрабатывать совместно разные блоки данных. Нормирование также можно рассматривать как метод, позволяющий стабилизировать вычислительные алгоритмы. В тоже время, к этому преобразованию нужно относиться с большой осторожностью, т.к. оно может сильно исказить результаты качественного анализа. Любое преобразование данных – центрирование, шкалирование, и т.п. – всегда делается сначала на обучающем наборе. По этому набору находятся значения m_j и d_j, которые затем применяются и к обучающему, и к проверочному набору

Содержание.

1.5. Программы

Проекционные методы реализованы в нескольких популярных программах, краткий обзор которых приведен в этом разделе. Чаще всего используются специализированные пакеты. Среди них – программа SIMCA, разработанная компанией Umetrics, и аналогичный пакет Unscrambler, компании Camo. В тройку самых популярных пакетов входит также PLS ToolBox компании Eigenvector Research, Inc. Первые две программы функционируют независимо (stand alone), тогда как последняя работает только внутри вычислительной среды MatLab.

Многие проекционные методы реализованы в статистических пакетах общего назначения, таких как Statistica, SPSS и в ряде других.

Существует одна условно свободно распространяемая программа. Это – Multivariate Analysis Add-in – надстройка для Excel, разработанная в Хемометрическом центре Бристольского университета под руководством проф. Р. Бреретона

Содержание.

1.6. Модельный пример

Для иллюстрации работы надстройки Chemometrics Add-In используется модельный пример, помещенный в файл Projection.xls. В нем приведены данные (X, Y), к которым применяются описанные здесь процедуры. Данные нуждаются в центрировании, но не требуют шкалирования.

Файл Projection.xls. включает в себя следующие листы:

Intro: краткое введение
Data: данные, используемые в примере. Блок независимых переменных X состоит из 14 образцов (9 – в калибровочном и 5 – в проверочном наборе) и 50 переменных. Блок Y включает два отклика, соответствующих тем же 14 образцам. Приведена также схема, объясняющая имена массивов, используемых в примере.
PCA: примеры применения функций ScoresPCA и LoadingsPCA.
PLS1: примеры применения функций ScoresPLS, UScoresPLS, LoadingsPLS, WLoadingsPLS и QLoadingsPLS.
PLS2: примеры применения функций ScoresPLS2, UScoresPLS2, LoadingsPLS2, WLoadingsPLS2 и QLoadingsPLS2.
Plus: примеры применения дополнительных функций MIdent, MIdentD2, MTrace, и MCutRows.
Unscrambler: сравнение результатов, полученных надстройкой Chemometrics Add-In и программой the Unscrambler
SIMCA-P: сравнение результатов, полученных надстройкой Chemometrics Add-In и программой SIMCA.

Проекционные методы в системе Excel

1. Проекционные методы

1.1. Постановка задачи

1.2. PCA

1.3. PLS

1.4. Подготовка данных

1.5. Программы

1.6. Модельный пример

2. Использование надстройки Chemometrics Add-In

2.1. Установка

2.2. Общие сведения

3. PCA

3.1. ScoresPCA

3.2. LoadingsPCA

4. PLS

4.1. ScoresPLS

4.2. UScoresPLS

4.3 LoadingsPLS

4.4 WLoadingsPLS

4.5 QLoadingsPLS

5. PLS2

5.1. ScoresPLS2

5.2. UScoresPLS2

5.3 LoadingsPLS2

5.4 WLoadingsPLS2

5.5 QLoadingsPLS2

6. Дополнительные матричные функции

6.1. MIdent

6.2. MIdentD2

6.3. MCutRows

6.4. MTrace

Заключение