Rozpoznávání obrazu pro Vitadio

Vitadio je aplikace pro úpravu životosprávy osob s diabetem 2. typu. Skrze edukační moduly, terapeutické zázemí a monitorovací nástroje pomáhá s vytvořením zdravé rutiny a každodenními zvyky. V aplikaci si uživatelé mohou zaznamenávat svá jídla a vytváří si tak přehled o svém jídelníčku. K této funkcionalitě jsme se přidali i my – a to skrze rozpoznávání potravin v nahrané fotce.

Poznáme, co máte na talíři

Jak to celé funguje? Uživatel si jídlo vyfotí a náš model automaticky označí nejpravděpodobnější suroviny, ze kterých se pokrm skládá. Není nutné potraviny zapisovat ručně. Jedná se především o zjednodušení a zefektivnění celého procesu zadávání a popisu jídel. Vitadio poté doručí uživateli zpětnou vazbu právě na základě rozpoznaných a vložených surovin. 

Detekce objektu a klasifikace u zpracování obrazu

V modelu kombinujeme dva postupy: Nejdříve proběhne detekce objektu na fotce a následně dojde k jeho klasifikaci, tj. označení konkrétní potraviny. Pro to využíváme na databázi již předtrénovaný model Yolo, který jsme ještě dále doučili podle specifických požadavků.

‍„Ke správnému natrénování modelu je potřeba dostatek dat. Aktuálně řešíme, jak v budoucnu automatizovat doučování modelu o další potraviny přidávané uživateli, např. tofu,“ doplňuje datová specialistka Andrea Rozhoňová, která na projektu pracuje.

Dostatek dat

Vitadio nám pro trénování modelu poskytlo tisíce obrázků a v současné době umíme spolehlivě rozpoznat téměř 50 druhů potravin, které pokrývají asi 50 % všech nejčastěji označovaných uživateli.

‍„Automatické rozpoznávání potravin na fotkách je náš dlouhodobý projekt, který má za cíl zpříjemnit a zjednodušit zaznamenávání jídelníčku pacientů. Model rozpoznávání na naší straně kombinujeme s vlastním algoritmem, který pacientům poskytuje personalizovanou zpětnou vazbu,“ dodává Jan Mareš za Vitadio.

Možná také pracujete s obrazovým či textovým materiálem a chtěli byste automatizovat procesy při zpracování fotek nebo dokumentů. Ozvěte se nám.

‍