O fotografie numără calorii - Utehaeussler Ute Häußler
O fotografie numără caloriile
Cu tehnologia avansată AI, 3D și hiperspectrală, procesarea imaginilor transformă smartphone-urile convenționale în dispozitive de analiză precise pentru alimente.
Folosiți-vă telefonul mobil pentru a combate diabetul, la fel ca Instagram
Peste 200 de milioane de oameni din întreaga lume suferă de diabet de tip 1 sau tip 2 și obezitate. Tehnologia viziunii moderne poate ajuta acum la combaterea acestor boli. Start-up-ul american FoodPhone ™ a dezvoltat o carcasă și o aplicație pentru telefonul mobil care utilizează o fotografie simplă a smartphone-ului pentru a identifica imediat și științific conținutul nutrițional al unei mese - la fel ca partajarea acesteia pe social media. Aplicația FoodPhone ™ se bazează pe tehnologia Intel® RealSense ™ 3D și determină volumul, textura și forma tuturor tipurilor de alimente cu o singură imagine. În plus față de numărarea carbohidraților și a caloriilor, carcasa vizuală inovatoare recunoaște ingredientele alimentelor pe baza compoziției lor chimice și le arată utilizatorului imediat ca un tabel nutrițional familiar. Calitatea, prospețimea și gradul de coacere a alimentelor pot fi verificate „sub castron” în timp ce încă se află în magazin - funcțiile NIR (Near Infrared) detectează atât defectele mici vizibile, cât și cele invizibile sau semnele de presiune. Alegerea fructelor sau a legumelor va fi jocul copiilor - cu FoodPhone, telefonul mobil va indica cel mai bun și mai copt avocado din viitor.
Miliardele de oameni din întreaga lume sunt atenți la dieta lor
Diabeticii, sportivii, pasionații de fitness și mulți alții care își urmăresc greutatea trebuie să urmărească ceea ce mănâncă. Numai în SUA, peste 100 de milioane de oameni folosesc smartphone-uri în fiecare zi pentru a-și monitoriza greutatea, fitness-ul și dieta. Numărul cazurilor de diabet crește rapid în toate societățile moderne. Pentru diabetici, în special, numărarea glucidelor este esențială pentru gestionarea bolii lor. În caz de urgență, este o chestiune de viață sau de moarte, deoarece cantitatea de carbohidrați afectează doza de insulină reglatoare. Glucidele dintr-o masă sunt, prin urmare, cele mai importante informații de care are nevoie un diabetic pentru monitorizarea continuă a zahărului din sânge și pentru setarea corectă a pompelor automate de insulină. Și tocmai aici se află problema: aceste dispozitive, care sunt foarte blânde și confortabile pentru pacient, sunt utile doar cu introducerea corectă a utilizatorului. Cu toate acestea, cantitățile manuale sunt adesea estimate foarte imprecis. Acest lucru duce la dozaje incorecte de insulină, care nu numai că sunt foarte periculoase, dar pot chiar pune viața în pericol pentru un diabetic.
O singură imagine de smartphone creează un tabel nutrițional
Smartphone-urile de astăzi au o cameră foto bună, acces la internet și au procesoare puternice care pot procesa algoritmi de inteligență artificială (AI). Datorită Instagramului, telefoanele mobile iau milioane de imagini alimentare în fiecare minut în viața de zi cu zi. Ideea FoodPhone este de a transforma aceste smartphone-uri în ajutoare dietetice care analizează alimentele direct pe farfurie. Aplicația FoodPhone cu tehnologia sa patentată SpectraPixel ™ face o fotografie, se conectează la propria AI bazată pe cloud și recunoaște conținutul mesei - în special compoziția chimică, dimensiunea porției în grame, precum și calitatea și durata de valabilitate. Aplicația poate face diferența între mai multe tipuri de alimente pe farfurie și, de asemenea, poate recunoaște preparatele preparate, cum ar fi piure de cartofi. Acest lucru este realizat de mai multe camere multispectrale și senzori NIR, care sunt integrați într-o carcasă standard pentru telefonul mobil. Utilizatorul primește imediat o analiză științifică a meselor sale.
Această analiză oferă detalii despre carbohidrați, grăsimi, proteine și alți nutrienți, precum și dimensiunea exactă de servire a meselor. Combinând diverse tehnologii de procesare a imaginilor și inteligență artificială, FoodPhone identifică cantitatea și compoziția precisă a alimentelor. Utilizatorii nu trebuie să introducă date, să-și atingă alimentele sau să estimeze suma. Și obțineți rezultatul imediat - carcasa telefonului mobil oferă informații nutriționale foarte ușor de utilizat și eficiente, cu o precizie de peste 90%. Christopher M. Mutti, fondator și CEO al FoodPhone, spune că tehnologia, cu combinația sa de inteligență artificială și realitate augmentată, va avea un impact pozitiv asupra răspândirii diabetului și poate ajuta oamenii care își urmăresc dietele să-și atingă obiectivele.
Imaginile 2 și 3: luând ceea ce pare a fi o imagine, utilizatorul primește imediat o analiză științifică a mesei sale.
Ideea, inovația și implementarea
„Inițial, căutam doar o modalitate simplă de a număra caloriile”, spune Mutti astăzi. Un jucător de hochei pasionat, a fost obligat să-și urmărească dieta, să-și țină greutatea și caloriile sub control. El a vrut să fie la maxim. Dar, în timpuri analogice sau mai târziu, cu ajutorul computerelor și al internetului, numărarea caloriilor nu era doar imprecisă pentru el, era extrem de complicată și dura mult timp. Inginerul mecanic instruit a vrut să vadă ce și cât mănâncă într-un mod simplu și rapid. Avea ideea de a analiza o masă cu o poză de pe un aparat foto sau un telefon mobil la sfârșitul mileniului, dar tehnologia nu era încă gata. A început să lucreze la el în 2013.
Puterea de calcul a smartphone-urilor s-a dezvoltat deja până acum încât să poată procesa algoritmi complecși; și proiecte inovatoare precum ImageNet de la Universitatea Stanford au pus la dispoziție tehnologia AI bazată pe viziune. Împreună cu o echipă de oameni de știință cu experiență din domeniile rețelelor neuronale și AI, procesării imaginilor 3D și hiperspectrale, precum și ingineri experimentați în domeniul proiectării camerelor și obiectivelor, Mutti a decis să dezvolte brevete pentru a-și pune în practică ideea.
Figura 5 și 6: Studiu de proiectare și prototip al husei pentru telefonul mobil FoodPhone
Combinarea diferitelor date vizuale prin inteligență artificială
Aplicația FoodPhone folosește procesare multispectrală și de imagine 3D pentru a identifica cu precizie nutrienții, precum și volumul și porțiunea. Echipa Mutti a dezvoltat software-ul necesar fără marker ca referință în câmpul vizual al sistemului de procesare a imaginilor. Inginerii au ales camera de adâncime Intel® D435 RealSense deoarece este o cameră USB care constă dintr-o pereche stereo, o cameră RGB și un proiector cu infraroșu. Mutti deține mai multe brevete pentru generarea de imagini hiperspectrale prin combinarea ieșirii mai multor camere și a diferitelor tipuri de date vizuale.
Sistemul de procesare a imaginilor funcționează în același mod în care o persoană își privește mâncarea: culoarea este primul element care îl lovește. FoodPhone folosește mai întâi camera RGB pentru a identifica culorile de pe farfurie. Camera stereo generează apoi datele 3D pentru a identifica forma, conturul și textura fiecărui aliment - așa cum ar face ochiul uman. Datele brute 3D oferă dimensiunile și volumul total sau dimensiunea porției alimentelor. Cu datele NIR înregistrate de mai multe camere și senzori, algoritmii proprii FoodPhone sunt capabili să evalueze compoziția chimică a unui aliment, așa cum ar face simțul gustului și mirosului uman.
În acest scop, o suprapunere de peste zece imagini și datele lor brute este împărțită în lumină vizibilă, culoare, date spectrale și informații 3D. Proprietățile specifice și individuale ale fiecărui produs alimentar sunt apoi identificate din informațiile optice, spectrale și fizice. Cu ajutorul acestor profile spectrale, fiecare aliment poate fi identificat în mod clar deoarece are o amprentă spectrală unică.
Imaginile 7 și 8: diferite profiluri spectrale ca o amprentă unică pentru legume și carne.
„Am folosit câteva milioane de imagini pentru a ne antrena algoritmii AI”, spune Christopher Mutti. „A fost o mulțime de muncă făcând zeci de mii de clasificări alimentare, tabele de confuzie și alți pași de proces. Dar acum obținem o precizie de peste 90%. ”Pentru a calcula corect tabelele nutriționale și greutatea, culoarea, textura, semnătura spectrală și volumul unui aliment trebuie să se potrivească. Datele brute ale imaginii sunt prelucrate mai întâi de un Intel® Edison, un SoC (System on a Chip) foarte mic, pentru a identifica conținutul de carbohidrați, proteine, grăsimi și apă. De acolo, toate informațiile colectate sunt transferate în cloud și rulează prin baza de date FoodPhone bazată pe AI. Smartphone-ul primește rezultatele și le arată ca un tabel nutrițional pe afișajul telefonului mobil.
Tehnologia poate face mult mai mult
Tehnologia FoodPhone îi ajută pe oameni să analizeze alimentele în viața de zi cu zi - nu doar atunci când iau dieta. Când faceți cumpărături în supermarket, aplicația vă arată cele mai proaspete și mai sănătoase produse de pe raft. Acest lucru duce la mai puține achiziții proaste și mai puține produse alterate și, în același timp, economisește bani. Consumatorii pot vedea toate informațiile despre ingrediente, calitate și prospețime pe smartphone-ul lor în timp real. Persoanele cu alergii alimentare pot verifica ingredientele specificate ale alimentelor lor și nu trebuie să descifreze nici o listă de ingrediente „criptice”. O simplă captură de telefon mobil a alimentelor oferă o listă detaliată a ingredientelor și o perioadă de valabilitate exactă. Datele NIR ajută la identificarea maturității produsului, a micilor defecte și a posibilelor bacterii, indiferent de data cea mai bună înainte de produs. Cel mai proaspăt și mai copt avocado este la doar un clic distanță.
În scenariile de casă inteligentă orientate spre viitor, tehnologia FoodPhone poate fi încorporată în fiecare bucătărie de uz casnic. Montat deasupra blatului, o cameră mică ar putea scana fiecare aliment sau ingredient individual dintr-o masă. Utilizatorul primește o analiză științifică a ingredientelor sale și a tabelului nutrițional rezumat direct în timpul preparării. În plus, software-ul FoodPhone poate actualiza automat lista de cumpărături săptămânală a utilizatorului sau comanda serviciului de livrare.
Un frigider IoT conectat la rețea (Internet of Things) poate utiliza tehnologia FoodPhone pentru a urmări alimentele consumate și durata lor de valabilitate, precum și pentru a le compara direct cu listele de cumpărături și livrări. Gata cu „Cârnații sunt totul” - o familie ar fi informată imediat când o masă populară se epuizează și ar putea să o cumpere din nou - sau ar lăsa frigiderul să o facă.
În plus, procesarea imaginii și inspecția alimentară bazată pe AI pot combate frauda alimentară și dezvăluie adevăratele ingrediente. Oamenii pot lua decizii mai bune și mai sănătoase, știind substanțe chimice adăugate sau ingrediente secrete pe care unii producători le folosesc pentru a prelungi durata de valabilitate, pentru a face produsele alimentare să arate mai bine sau pentru a „crea dependență” de produse.
Exemplu de primă clasă pentru utilizarea orientată spre viitor a procesării imaginilor
Tehnologia inovatoare FoodPhone este un exemplu perfect al modului în care aplicațiile bazate pe viziune pe dispozitive de zi cu zi, cum ar fi telefoanele mobile și aparatele electrocasnice inteligente, pot fi utilizate pentru aplicații cu adevărat inovatoare și ocupă foarte puțin spațiu. Combinația diferitelor tipuri de procesare a imaginilor bazată pe AI - în acest caz 3D, RGB și NIR - pentru a extrage informații suplimentare arată cât de puternice sunt sistemele de viziune moderne. Camerele standard cu detecție de adâncime integrată și proiectoare cu infraroșu sunt disponibile la prețuri mici, gata pentru utilizare imediată și în dimensiuni foarte mici. Tehnologia de viziune automată ușor de utilizat și accesibilă poate duce aplicațiile de pe piețele industriale și de consum la nivelul următor. Mașinile nu numai că învață să vadă, ci și să privească „sub coajă”.