Indiferent dacă ați mâncat prea mult în această vacanță de Ziua Recunoștinței sau pur și simplu doriți să fiți mai atenți la ceea ce mâncați în general, sunt aici pentru a vă arăta o aplicație de recunoaștere vizuală Clarifai pe care oricine o poate folosi pentru a informa obiceiurile alimentare! Voi arăta cum funcționează și vă voi oferi instrucțiuni despre cum puteți face acest lucru și extinde-l ca propriul dvs. proiect în câteva minute și chiar mai puțini pași.

faci

Aruncați o privire asupra aplicației în acțiune!

Această aplicație Clarifai-Food-Nutrition-Demo este o aplicație prototip de analiză a nutriției alimentare care rulează într-un browser, realizată folosind tehnologia de recunoaștere a alimentelor Clarifai și unele hacking inteligente de către prietenii noștri buni de la Major League Hacking .

„Front-end-ul” (cu ce interacționează un utilizator) este o singură pagină web pentru intrare/ieșire, unde un utilizator poate încărca o imagine a alimentelor. Aplicația răspunde afișând o estimare a conținutului caloric al alimentelor. „Backend-ul” (un mic fișier javascript care rulează local în browserul web) se reduce la câteva linii de JavaScript care leagă apelurile API către Clarifai și Wolfram Alpha pentru a căuta tabele nutriționale.

Noroc pentru tine, aproape tot codul este deja scris! Trebuie doar să copiați depozitul și să actualizați câțiva parametri conform instrucțiunilor mele, care vă vor conecta codul local la conturile dvs. de utilizator, astfel încât să puteți face orice personalizări doriți și să aveți propria aplicație Clarifai de pornire.

Pasul 0: cod de pornire gratuit!

Copiați toate computerele disponibile în această repo Github. Puteți utiliza comanda `git clone [url]` de mai jos la interfața din linia de comandă pentru a o copia direct într-un folder de proiect. Alternativ, puteți descărca fișierele prin browser.

Pasul 1: Obțineți cheile pentru Clarifai și creați-vă aplicația Clarifai

Conectați-vă la contul dvs. de utilizator Clarifai. Dacă nu aveți încă unul, mergeți aici și derulați până la partea care spune „Obțineți cheia API gratuită” pentru a vă crea contul gratuit. De acolo, puteți crea acum noua aplicație! Pentru această aplicație, schimbați fluxul de lucru de bază la Alimentare (un flux de lucru este unul sau mai multe modele). În acest fel, Clarifai știe că predicțiile pe care doriți să le obțineți trebuie să provină din modelul nostru special recunoscut pentru imaginea alimentelor.

Asigurați-vă că copiați cheia API care este generată automat pentru dvs. Îl veți utiliza la Pasul 3 ca parametru de identificare în codul dvs.

Pasul 2: Obțineți cheile pentru Wolfram Alpha

Wolfram Alpha este un motor de cunoaștere a calculului. Practic, este un serviciu de informare foarte interesant, care calculează răspunsurile la interogări de fapt, făcând referire la date curate provenite din exterior, inclusiv tabele nutriționale.

Dacă nu aveți un cont Wolfram Alpha Developer Portal, puteți crea unul gratuit. Tot ce aveți nevoie pentru acest proiect este un șir AppID, deci faceți clic pentru a primi unul care vi se atribuie automat. Veți copia AppID în pasul următor ca parametru pentru codul dvs.

Pasul 3: Introduceți cheile

Aveți cheia API a aplicației Clarifai și un Wolfram Alpha AppID? Deschide predict.js fișier și introduceți aceste jetoane în fișierul unde este indicat. Va arăta ca imaginea de mai jos. Ar trebui să înlocuiți valorile șirului între ghilimele cu jetoanele API respective. Salvați fișierul când ați terminat. Acesta este tot codul pe care trebuie să îl modificați!

Pasul 4: Porniți-l!

Acum, pur și simplu deschideți fișierul index.html pentru a porni aplicația într-un browser web la alegere. Dacă funcționează, veți vedea o pagină web cu o interfață pentru a trimite o fotografie.

Repoitul pe care l-ați descărcat vine cu câteva exemple de imagini pe care le puteți încerca. Vedeți dacă puteți obține o defalcare nutrițională a cartofilor prăjiți!

Credit suplimentar: Încercați-l pe o fotografie a felului dvs. preferat de mâncare de Ziua Recunoștinței și împărtășiți-l cu noi pe Twitter etichetând @Clarifai! (Rețineți că precizia caloriilor este limitată de datele nutriționale pe care le are Wolfram Alpha.)

Wow! Cum funcționează asta?

Magia se întâmplă în micul nostru fișier ‘predict.js’ din funcția „doPredict”, care conține apelul către API-ul Clarifai Predict:

Această funcție doPredict ia o valoare (de exemplu, o imagine de cartofi prăjiți) și o trimite către Clarifai (obiectul „aplicației”) cu un apel către API-ul nostru Predict.

aplicație.modele.prezice(Clarifai.FOOD_MODEL, valoare) .then (funcție (răspuns) < …

Clarifai răspunde la acest apel API cu tot felul de date de predicție despre ceea ce vede în imagine. De exemplu, conceptul „cartofi prăjiți” este cel mai bun rezultat de predicție pentru imaginea noastră de cartofi prăjiți. Numele rezultatului superior este salvat ca variabilă `tag` pentru a fi folosit ca termen de căutare pentru Wolfram Alpha, care va căuta cu aceste cuvinte informații nutriționale în bazele sale de date conectate. Eticheta Clarifai și rezultatele nutriționale Wolfram Alpha sunt apoi combinate și returnate browserului astfel încât utilizatorul să poată vedea rezultatele. Și voile! Poftă bună.

Doriți să faceți previziunile nutriționale și mai bune? Puteți îmbunătăți aplicația Clarifai la recunoașterea a ceea ce vedeți, antrenându-o pe propriile fotografii. Funcția se numește Training personalizat; am scris aici un ghid și o prezentare generală la îndemână.

De multe ori îi surprinde pe oameni cât de ușor este să faci un model personalizat funcțional cu Clarifai:

  • Clarifai poate învăța să recunoască aproape orice dacă îi dai cel puțin 10 exemple (mai multe vor îmbunătăți și mai mult precizia predicției).
  • Etapa de instruire a modelului este foarte rapidă (aproape instantanee în multe cazuri), deoarece rulăm totul pe servere care se măresc automat în funcție de necesități. Antrenamentul completează ordinele de mărime mai repede decât ar face atunci când instruiți un model pe mașina dvs. personală, ceea ce vă permite să repetați rapid modelul fără a aștepta.
  • Nu este nevoie să utilizați codul pentru a încărca și eticheta imagini (dacă codul nu este preferința dvs.), deoarece avem o interfață Explorer cu glisare și plasare pentru a face intuitiv instruirea modelelor prin introducerea propriilor imagini prin browserul dvs. Instrumentul Explorer UI vine cu fiecare aplicație Clarifai, inclusiv cea pe care tocmai ați creat-o! Căutați un simbol al unui ochi lângă fiecare aplicație în aplicațiile dvs. Clarifai. Fapt amuzant: echipa Clarifai a construit instrumentul Explorer ca o interfață deasupra aceluiași client JavaScript Clarifai open source pe care tocmai l-am folosit pentru aplicația de nutriție alimentară în această postare.

Indiferent de relația dvs. cu mâncarea, nu lăsați numărarea caloriilor să vă scadă prea mult în acest sezon de sărbători! Cu noua noastră aplicație, nu numai că poți să mănânci, să bei și să fii vesel, ci să fii și un consumator informat. Noroc!