Добуток Хатрі-Рао (англ. Khatri-Rao product) — матрична операція перемноження матриць, що визначається виразом[1][2]:

в якому ij-й блок являє собою добуток Кронекера mipi × njqj відповідних блоків A і B за умови, що кількість рядків і стовпців обох матриць однакова. Розмірність добутку — i mipi) × (Σj njqj).

Наприклад, якщо матриці A і B мають блокову розмірність 2 × 2

отримаємо:

Стовпцевий добуток Хатрі-Рао

ред.

Стовпцевий добуток Кронекера двох матриць також прийнято називати добутком Хатрі-Рао. Цей добуток передбачає, що блоки матриць є їх стовпцями. В такому випадку m1 = m, p1 = p, n = q і для кожного j: nj = pj = 1. Результатом добутку є mp × n- матрица, кожен стовпець якої отримується як добуток Кронекера відповідних стовпців матриць A і B. Спираючись на розбиття матриць з попереднього прикладу на стовпці, отримаємо:

 

і далі:

 

Застосування

ред.

Стовпцева версія добутку Хатрі-Рао застосовується в лінійній алгебрі для аналітичної обробки даних[3] і оптимізації рішень проблеми обернення діагональних матриць.[4][5]

В 1996 р. стовпцевий добуток Хатрі-Рао був запропонований для формалізації задачі оцінювання напрямку приходу та часу затримки сигналів в цифровій антенній решітці[6], а також для опису відгуку 4-координатного радара[7].

Торцевий добуток

ред.
 
Торцевий добуток матриць

Альтернативна концепція добутку матриць, яка на відміну від стовпцевої версії добутку Хатрі-Рао використовує розбиття матриць на рядки, була запропонована Слюсарем В. І.[8] в 1996 р. і названа ним торцевий добуток (англ. face-splitting product)[7][9][10][11] або транспонований добуток Хатрі-Рао (англ. transposed Khatri-Rao product)[12].

Цей тип матричного добутку спирається на перемноження елементів рядків двох і більше матриць з однаковою кількістю рядків за правилом добутку Кронекера. Використовуючи розбиття матриць з попередніх прикладів на рядки:

 

можна записати[7][9][10]:

 

Основні властивості

ред.
  1. Транспонування (Слюсар В.І., 1996[7][9][13]):
     
  2. Комутативність і асоціативність[7][9][13]:
     

    де A, B і C — матриці, а k — скаляр,

     ,[13]

    де   — вектор з тією ж кількістю елементів, що і кількість рядків матриці  ,
  3. Властивість змішаного добутку (1997[13]):
     ,
     [10],
     [12],
     [14],
    де   означає добуток Адамара,
  4.  [13],
  5.  ,[7] де   - вектор-строка,
  6.  [14],
  7.  [10][15],
     ,
  8.  [13],
     , де   і   є векторами узгодженої розмірності,
  9.  [16],  ,
  10.  [17], де   і   є векторами узгодженої розмірності,
     ,
  11.  ,
    де   є символом векторної згортки, і   — матриця дискретного перетворення Фур'є (тотожність є розвитком властивості відлікового скетча[18]),
  12.  [19], де   —   матриця,   —   матриця,  ,   — вектори з   та   одиниць відповідно,
     [20], де   є   матрицею,   — добуток Адамара і   — вектор з   одиниць.
     , де   — символ проникаючого торцевого добутку матриць.
    Аналогічно,  , де   —   матриця,   —   матриця.
  13.  [13],
     [10],
     [12],
     [20],  ,
    де   — вектор, утворений із діагональних елементів матриці  ,   — операція формування вектора з матриці   шляхом розташування один під одним її стовпців.
  14. Властивість поглинання добутку Кронекера:
     [10][15],
     ,
     ,
    де   і   є векторами узгодженої розмірності,

Наприклад[17],
 

та інші. Крім того, Слюсарем В. І. були запропоновані блокові версії транспонованого добутку та досліджені їх властивості[7].

Блоковий торцевий добуток

ред.
 
Застосування блокового транспонованого торцевого добутку для опису відгуку багатогранної цифрової антенної решітки[15]

Для блокових матриць з однаковою кількістю рядків у відповідних блоках

 

згідно з визначенням[7][10], блоковий торцевий добуток   запишеться у вигляді:

 .

Аналогічно для блокового транспонованого торцевого добутку (або блокового стовпцевого добутку Хатрі-Рао) двох матриць   з однаковою кількістю стовпців у відповідних блоках справедливо[7]:

 .

Основні властивості

ред.
  1. Транспонування:
     [15]

Застосування

ред.

Родина торцевих добутків матриць стала основою започаткованої Слюсарем В. І. тензорно-матричної теорії цифрових антенних решіток для радіотехнічних систем[12], яка надалі отримала розвиток як частина теорії цифрової обробки сигналів.

Торцевий добуток набув широкого поширення в системах машинного навчання, статистичній обробці великих даних[17]. Він дозволяє скоротити обсяги обчислень при реалізації методу зменшення розмірності даних, що одержав назву тензорний скетч[17] а також швидкого перетворення Джонсона — Лінденштрауса[17]. При цьому здійснюється перехід від матриці великої розмірності до добутку Адамара, що оперує матрицями меншого розміру. Похибки апроксимації данних великої розмірності на основі торцевого добутку матриць задовольняють лемі Джонсона — Лінденштрауса[17][21]. У тому ж контексті ідея торцевого добутку може бути використана для вирішення завдання диференційної приватності (англ. differential privacy)[16]. Крім того, аналогічні обчислення були застосовані для формування тензорів співпадань в задачах обробки природної мови і побудови гіперграфів подібності зображень[22].

Торцевий добуток використаний у 2003 р. для P-сплайн апроксимації[19], у 2006 р. — для побудови узагальнених лінійних моделей масивів даних (GLAM) при їх статистичній обробці[20], а також для ефективної реалізації ядрових методів машинного навчання та дослідження взаємодії генотипів з оточуючим середовищем[23].

Див. також

ред.

Примітки

ред.
  1. Khatri C. G., C. R. Rao (1968). Solutions to some functional equations and their applications to characterization of probability distributions. Sankhya. 30: 167—180. Архів оригіналу (PDF) за 23 жовтня 2010. Процитовано 21 серпня 2008.
  2. Zhang X; Yang Z; Cao C. (2002), Inequalities involving Khatri–Rao products of positive semi-definite matrices, Applied Mathematics E-notes, 2: 117—124
  3. See e.g. H.D. Macedo and J.N. Oliveira. A linear algebra approach to OLAP. Formal Aspects of Computing, 27(2):283–307, 2015.
  4. Lev-Ari, Hanoch (1 січня 2005). Efficient Solution of Linear Matrix Equations with Application to Multistatic Antenna Array Processing. Communications in Information & Systems (англ.). 05 (1): 123—130. doi:10.4310/CIS.2005.v5.n1.a5. ISSN 1526-7555. Архів оригіналу за 12 липня 2020. Процитовано 12 липня 2020.
  5. Masiero, B.; Nascimento, V. H. (1 травня 2017). Revisiting the Kronecker Array Transform. IEEE Signal Processing Letters. 24 (5): 525—529. Bibcode:2017ISPL...24..525M. doi:10.1109/LSP.2017.2674969. ISSN 1070-9908. Архів оригіналу за 12 липня 2020. Процитовано 12 липня 2020.
  6. Vanderveen, M. C., Ng, B. C., Papadias, C. B., & Paulraj, A. (n.d.). Joint angle and delay estimation (JADE) for signals in multipath environments. Conference Record of The Thirtieth Asilomar Conference on Signals, Systems and Computers. — DOI:10.1109/acssc.1996.599145
  7. а б в г д е ж и к Slyusar, V. I. (27 грудня 1996). End products in matrices in radar applications (PDF). Izvestiya VUZ: Radioelektronika.– 1998, Vol. 41; Number 3: 50—53. Архів оригіналу (PDF) за 27 липня 2020. Процитовано 27 липня 2020.
  8. Anna Esteve, Eva Boj & Josep Fortiana (2009): Interaction Terms in Distance-Based Regression, Communications in Statistics — Theory and Methods, 38:19, P. 3501 [1] [Архівовано 26 квітня 2021 у Wayback Machine.]
  9. а б в г Slyusar, V. I. (20 травня 1997). Analytical model of the digital antenna array on a basis of face-splitting matrix products (PDF). Proc. ICATT- 97, Kyiv: 108—109. Архів оригіналу (PDF) за 25 січня 2020. Процитовано 12 липня 2020.
  10. а б в г д е ж Slyusar, V. I. (1999). A Family of Face Products of Matrices and its Properties (PDF). Cybernetics and Systems Analysis C/C of Kibernetika I Sistemnyi Analiz. 35 (3): 379—384. doi:10.1007/BF02733426. Архів оригіналу (PDF) за 25 січня 2020. Процитовано 12 липня 2020.
  11. Slyusar, V. I. (2003). Generalized face-products of matrices in models of digital antenna arrays with nonidentical channels (PDF). Radioelectronics and Communications Systems. 46 (10): 9—17. Архів оригіналу (PDF) за 20 вересня 2020. Процитовано 12 липня 2020.
  12. а б в г Миночкин А.И., Рудаков В.И., Слюсар В.И. (2012). Основы военно-технических исследований. Теория и приложения. Том. 2. Синтез средств информационного обеспечения вооружения и военной техники//Под ред. А.П. Ковтуненко. - Киев: «Гранмна». – 2012 (PDF). с. C. 7 - 98, 354—521. Архів оригіналу (PDF) за 25 січня 2020. Процитовано 12 липня 2020.
  13. а б в г д е ж Slyusar, V. I. (15 вересня 1997). New operations of matrices product for applications of radars (PDF). Proc. Direct and Inverse Problems of Electromagnetic and Acoustic Wave Theory (DIPED-97), Lviv.: 73—74. Архів оригіналу (PDF) за 25 січня 2020. Процитовано 12 липня 2020.
  14. а б C. Radhakrishna Rao. Estimation of Heteroscedastic Variances in Linear Models.//Journal of the American Statistical Association, Vol. 65, No. 329 (Mar., 1970), pp. 161—172
  15. а б в г Vadym Slyusar. New Matrix Operations for DSP (Lecture). April 1999. - DOI: 10.13140/RG.2.2.31620.76164/1
  16. а б Kasiviswanathan, Shiva Prasad, et al. «The price of privately releasing contingency tables and the spectra of random matrices with correlated rows.» Proceedings of the forty-second ACM symposium on Theory of computing. 2010.
  17. а б в г д е Thomas D. Ahle, Jakob Bæk Tejs Knudsen. Almost Optimal Tensor Sketch. Published 2019. Mathematics, Computer Science, ArXiv [Архівовано 28 липня 2020 у Wayback Machine.]
  18. Ninh, Pham; Rasmus, Pagh (2013). Fast and scalable polynomial kernels via explicit feature maps. SIGKDD international conference on Knowledge discovery and data mining. Association for Computing Machinery. doi:10.1145/2487575.2487591.
  19. а б Eilers, Paul H.C.; Marx, Brian D. (2003). Multivariate calibration with temperature interaction using two-dimensional penalized signal regression. Chemometrics and Intelligent Laboratory Systems. 66 (2): 159—174. doi:10.1016/S0169-7439(03)00029-7.
  20. а б в Currie, I. D.; Durban, M.; Eilers, P. H. C. (2006). Generalized linear array models with applications to multidimensional smoothing. Journal of the Royal Statistical Society. 68 (2): 259—280. doi:10.1111/j.1467-9868.2006.00543.x.
  21. Ahle, Thomas; Kapralov, Michael; Knudsen, Jakob; Pagh, Rasmus; Velingker, Ameya; Woodruff, David; Zandieh, Amir (2020). Oblivious Sketching of High-Degree Polynomial Kernels. ACM-SIAM Symposium on Discrete Algorithms. Association for Computing Machinery. doi:10.1137/1.9781611975994.9.
  22. Bryan Bischof. Higher order co-occurrence tensors for hypergraphs via face-splitting. Published 15 February, 2020, Mathematics, Computer Science, ArXiv [Архівовано 25 листопада 2020 у Wayback Machine.]
  23. Johannes W. R. Martini, Jose Crossa, Fernando H. Toledo, Jaime Cuevas. On Hadamard and Kronecker products in covariance structures for genotype x environment interaction.//Plant Genome. 2020;13:e20033. Page 5. [2]

Джерела

ред.