FST4: ÚTIA vydává novou generaci svého Feature Selection Toolboxu

Ústav teorie informace a automatizace zveřejnil Feature Selection Toolbox 4, open-source knihovnu a nástroj pro příkazovou řádku, který hledá nejlepší podmnožinu z velké množiny kandidátů. Nově jej lze používat bez programování a byl rozšířen o novou stochastickou vyhledávací metodu pro úlohy s desítkami tisíc proměnných.

Ústav teorie informace a automatizace AV ČR (ÚTIA) vydal Feature Selection Toolbox 4 (FST4), první novou generaci svého softwaru pro výběr příznaků (feature selection) od verze FST3 z roku 2010. Toolbox, vyvíjený v ÚTIA od roku 1999, vychází poprvé pod licencí svobodného softwaru a doprovází jej nový vědecký článek.

Výběr příznaků odpovídá na otázku, která vyvstává vždy, když se rozhoduje na základě dat: které z mnoha měřených proměnných jsou skutečně důležité? Táž otázka se objevuje všude, kde je třeba vybrat několik položek z tisíců kandidátů, od senzorů po diagnostické testy. FST4 na všechny tyto úlohy pohlíží jako na jeden problém: hledá podmnožinu s nejlepší hodnotou kritéria zvoleného uživatelem a hodnotí množinu jako celek, protože silní kandidáti se často navzájem duplikují, zatímco vzájemně se doplňující sada funguje lépe.

Patnáct vyhledávacích algoritmů sahá od rychlých sekvenčních heuristik včetně metod floating search, téměř optimálních i při tisících kandidátů, po metody větví a mezí (branch and bound), prokazatelně optimální, je-li kritérium monotónní. Osmnáct vestavěných kritérií zahrnuje statistické filtry i metody typu wrapper postavené na klasifikátorech, jako jsou random forest nebo SVM; kritériem může být i vlastní program uživatele v libovolném jazyce, takže FST4 dokáže optimalizovat kteroukoli množinovou funkci, pro niž lze podmnožinu ohodnotit.

Nejviditelnější změnou je nástroj fst4 pro příkazovou řádku: celý toolbox lze používat bez napsání jediného řádku v C++. Jeden příkaz analyzuje datový soubor ve formátu TRN, ARFF nebo CSV a vypíše výsledek jako text, JSON nebo CSV; součástí je více než padesát připravených konfigurací. Knihovna byla modernizována na C++17 a vícevláknové vyhledávání dává stejný výsledek jako sekvenční běh, bit po bitu, což ověřuje 112 testovacích scénářů na Windows, macOS i Linuxu.

Vědeckou novinkou je stochastické sekvenční vyhledávání s omezeným výpočetním rozpočtem, popsané v novém článku Petra Somola a Jiřího Grima. Klasické sekvenční metody v každém kroku prozkoumají všechny zbývající kandidáty, což je při desítkách tisíc proměnných neproveditelné; nová metoda vyhodnotí jen jejich pevný počet, vzorkovaný podle statistik, které se vyhledávání průběžně učí, takže cena kroku nezávisí na dimenzi úlohy. Na textové kolekci s více než deseti tisíci slovními příznaky vybere pět set během minut a překoná metody založené na pořadí jednotlivých příznaků (ranking), dosud v tomto měřítku používané.