Tenzorové rozklady
Tenzor řádu N je datová struktura která je zobecněním vektoru (řád 1) a matice (řád 2). Barevný obrázek je příkladem tenzoru řádu 3 a barevnou videosekvenci lze interpretovat jako tenzor řádu 4. V neuronových sítích a speciálně v konvolutorních neuronových sítích se běžně vyskytují tenzory řádu 4 i vyšších. Množství dat v těchto tenzorech je mnohdy enormní a někdy mohou být tak rozsáhlé že je obtížné nebo přímo nemožné s nimi pracovat v plné podobě. V těchto situacích může být vhodné takové tenzory ukládat ve formě některého z jejich rozkladů. Tím lze dramaticky snížit výpočetní a paměťové nároky při kontrolované ztrátě přesnosti. Například v dynamickém programování které se používá v optimalizaci a řízení technologických procesů lze tenzorové rozklady (konkrétně tenzorové vláčky) použít k modelování složitých funkcí o mnoha proměnných.
Populární tenzorové rozklady zahrnují kanonický rozklad, Tuckerův rozklad a tenzorový vláček. Další typy rozkladů jsou blokový rozklad, strukturovaný Tuckerův rozklad, tenzorový řetízek, tenzorový strom nebo tenzorová síť.
Naše práce je zaměřená zejména na hledání optimálních tenzorových rozkladů s omezenou citlivostí na numerické a zaokrouhlovací chyby, které jsou vhodné pro kompresi konvolutorních jader v neuronových sítích, a tenzorové vláčky pro použití v dynamickém programování a v kvantové chemii.
Tensor je popsán jako "součin" menších tenzorů řádu 3 nebo 2 (na koncích vláčku).
Související publikace:
- TICHAVSKÝ, Petr; PHAN, Anh-Huy; CICHOCKI, Andrzej. Krylov-levenberg-marquardt algorithm for structured tucker tensor decompositions. IEEE Journal of Selected Topics in Signal Processing, 2021, 15.3: 550-559.
- TICHAVSKÝ, Petr; PHAN, Anh-Huy; CICHOCKI, Andrzej. Sensitivity in tensor decomposition. IEEE Signal Processing Letters, 2019, 26.11: 1653-1657.
- TICHAVSKÝ, Petr; PHAN, Anh-Huy; CICHOCKI, Andrzej. Non-orthogonal tensor diagonalization. Signal Processing, 2017, 138: 313-320.
Kontaktní osoba