AbstractsMathematics

Overcomplete Mathematical Models with Applications

by Jaromír Tonner




Institution: Brno University of Technology
Department:
Year: 0
Keywords: přeurčené modely; řídká řešení; optimalizace ell 1 normou; Algoritmus vyhledávání báze; VARMA modely; zobecněné lineární modely; overcomplete model; sparse solution; ell 1 norm optimization; Basis Pursuit Algorithm; VARMA models; generalized linear model
Record ID: 1097137
Full text PDF: http://hdl.handle.net/11012/16422


Abstract

Chen, Donoho a Saunders (1998) studují problematiku hledání řídké reprezentace vektorů (signálů) s použitím speciálních přeurčených systémů vektorů vyplňujících prostor signálu. Takovéto systémy (někdy jsou také nazývány frejmy) jsou typicky vytvořeny buď rozšířením existující báze, nebo sloučením různých bazí. Narozdíl od vektorů, které tvoří konečně rozměrné prostory, může být problém formulován i obecněji v rámci nekonečně rozměrných separabilních Hilbertových prostorů (Veselý, 2002b; Christensen, 2003). Tento funkcionální přístup nám umožňuje nacházet v těchto prostorech přesnější reprezentace objektů, které, na rozdíl od vektorů, nejsou diskrétní. V této disertační práci se zabývám hledáním řídkých representací v přeurčených modelech časových řad náhodných veličin s konečnými druhými momenty. Numerická studie zachycuje výhody a omezení tohoto přístupu aplikovaného na zobecněné lineární modely a na vícerozměrné ARMA modely. Analýzou mnoha numerických simulací i modelů reálných procesů můžeme říci, že tyto metody spolehlivě identifikují parametry blízké nule, a tak nám umožňují redukovat původně špatně podmíněný přeparametrizovaný model. Tímto významně redukují počet odhadovaných parametrů. V konečném důsledku se tak nemusíme starat o řády modelů, jejichž zjišťování je většinou předběžným krokem standardních technik. Pro kratší časové řady (100 a méně vzorků) řídké odhady dávají lepší predikce v porovnání s těmi, které jsou založené na standardních metodách (např. maximální věrohodnosti v MATLABu - MATLAB System Identification Toolbox (IDENT)). Pro delší časové řady (500 a více) obě techniky dávají v podstatě stejně přesné predikce. Na druhou stranu řešení těchto problémů je náročnější, a to i časově, nicméně výpočetní doba je stále přijatelná.; Chen, Donoho a Saunders (1998) deal with the problem of sparse representation of vectors (signals) by using special overcomplete (redundant) systems of vectors spanning this space. Typically such systems (also called frames) are obtained either by refining existing basis or merging several such bases (refined or not) of various kinds (so-called packets). In contrast to vectors which belong to a finite-dimensional space, the problem of sparse representation may be formulated within a more general framework of (even infinite-dimensional) separable Hilbert space (Veselý, 2002b; Christensen, 2003). Such functional approach allows us to get more precise representation of objects from such space which, unlike vectors, are not discrete by their nature. In this Thesis, I attack the problem of sparse representation from overcomplete time series models using expansions in the Hilbert space of random variables of finite variance. A numerical study demonstrates benefits and limits of this approach when applied to generalized linear models or to overcomplete VARMA models of multivariate stationary time series, respectively. After having accomplished and analyzed a lot of numerical simulations as well as real data models, we can conclude that the sparse method reliably identifies nearly…