Archief - [AS3/C++/OpenCV] Project: Simulatie met Face Tracking

Alweer ff geleden dat hier een update geplaatst werd, spijtig dat hier weinig respons op kwam...

Ben met een schone lei gestart en het systeem vanaf 0 terug aan het heropbouwen, de goede stukken code kopieer ik uiteraard terug in het project, na grondig te herlezen en waar nodig te herschrijven

De XML-structuur is vastgelegd (maar uitbreidbaar geschreven) en wordt al correct ingeladen in het programma.
Er bestaan slechts elementen van bepaalde types, omschreven in de xml en hiervan worden meerdere grafische presentaties op het scherm gemaakt.
Om rekenwerk te besparen en snel deze nieuwe items te maken kijkt het programma naar de Data module van het programma waarin deze ingeladen informatie bijgehouden wordt.

Eerstvolgende stap waar ik mij aan waag is het implementeren van de Facetracking. Optimalisatie van de facetracking is al ietwat gebeurd, verdere optimalisatie zal voor een latere fase zijn.

Tijdens implementatie van de facetracking kan ik de grafische module herschrijven.

Als dit klaar is moet de hit detection en position logging nog gemaakt worden, die alle opgenomen informatie wegschrijft naar een xmlbestand.


En om af te sluiten met een vraag:

Is het mogelijk om de G-Sensor van een smartphone te gebruiken in Flash applicaties die via een browser zoals Skyfire op Windows Mo 6.5 draaien? (Skyfire bevat Flash Player 10)
Hiermee zouden we een tech demo kunnen doen op een smartphone
De frontcam als alternatief zou ook leuk zijn, maar betwijfel of ik daaraan geraak? (al es geprobeerd)

Motionblur effect geïmplementeerd, maar dit vertraagt de performantie naar schatting tot 15 fps (tegenover 20 fps), betwijfel echter of het nog veel geoptimaliseerd kan worden en of het effect wel voldoende bijdraagt aan de ervaring.
Ipv motionblur kan ik misschien de framerate verhogen naar 30 fps waardoor dit effect "overbodig" wordt...

De Facetracking module is blijkbaar goed geoptimaliseerd tot nu toe, want er is géén vertraging in framerate wanneer deze geactiveerd wordt!
Verdere optimalisatie zou een hogere resolutie in detectie moeten toelaten, waardoor de feedback nog accurater is (vrij ruw momenteel), maar kan misschien ook nog iets bedenken met een directe smoothing, die geen vertraging oplevert in feedback...

Zondagavond moet dit prototype af zijn, morgen wordt de facetracking verder gekoppeld:

- 3D venster effect > perspectief- en rotatieveranderingen adhv hoofdpositie in de ruimte
- navigatie doorheen de survey

Zoals het nu gaat lijkt de deadline haalbaar zonder nachtje door

Ik ken jammer genoeg te weinig van dit onderwerp om enige hulp te bieden, maar ben wel benieuwd naar het eindresultaat. Ik hoop dat je je deadline haalt.

De camerarotatie is momenteel ingebouwd en gezichtsherkenning wordt dus reeds actief gebruikt.

Zal sowieso een filmpje online plaatsen eens we dat hebben,
volledig werkende swf komt denk ik niet online (of toch niet onmiddellijk), omdat de code en volledige werking te gemakkelijk geript kan worden.

Kwas blijkbaar te optimistisch over het halen van die deadline

Nog steeds bezig aan het positioneren van de verschillende vraagtypes, derna nog een hoop to do's om dit af te krijgen.

Intussen wel al het achterliggende systeem verbeterd, waardoor volgende stappen wat vlotter zouden moeten gaan. Smoothing algoritme is ook al bedacht en getest in Excel (met de grafiekfunctie), ziet er opt eerste zicht bruikbaar uit, maar weet nog niet wat het zal geven met realtime tracking resultaten, ik hoop op een fantastische werking

Bewegingshandling aan het implementeren,
vrij complex door snelheidsveranderingen die automatisch gebeuren afhankelijk van de zone waarin de gebruiker zich bevindt.
Snelheidsveranderingen kunnen dan nog es overschreven worden door handelingen van de gebruiker én bepaalde van die handelingen kunnen dan niet meer geneutraliseerd worden zolang men in die zone actief is.

Eens dit klaar is moet gedetecteerd worden wat het doelwit is van de gebruiker en moet de interface rotatie/translatie/alfa-veranderingen ondergaan en wordt gedetecteerd welke keuze men maakt.

Daar heb je gelijk in, maar de meeste problemen kom ik gaandeweg tegen en zijn niet als "lijst" hier te plaatsen.

Beschouw het niet als een verwijt hé, ergens eerder hoop dat er spontane reacties komen met stukjes info aangaande het onderwerp

Smoothing is door met de 2 voorgaande waargenomen metingen een voorspelling te doen naar de huidige waarde en een gewogen gemiddelde te nemen van deze voorspelling met de effectief gemeten huidige waarde.

Zonder de variabelen te declareren is het 3 regels code per coördinaat...


Prototype is sinds deze namiddag "af", er kan mee getest worden theeft nog een paar flaws, maar er is simpelweg niet meer tijd om die te fixen en ze zijn te omzeilen...

Straks filmen van de beelden en daarvoor misschien nog wat tweaken, maar ben best wel tevreden van het resultaat. Zal enkele van de videobeelden hier plaatsen, want het programma is resolutie afhankelijk en zal niet bepaald ideaal werken bij iedereen.

Zal tijdens de komende week proberen wat code snippets voor specifieke functies hier te plaatsen,
prototype is vandaag gedemonstreerd op de jury, maar spijtig genoeg niet tot zen volledige potentieel kunnen gebruiken... (vooral zelf daarin teleurgesteld, want jury was heel goed)

Zal er dus de komende week nog aan doorwerken om te kijken watk er nog meer uit kan halen

Heb nog wat doorgewerkt eraan, nog steeds geen code snippets, excuses daarvoor (komen nog, moet er gewoon tijd voor maken)

Opname van de positie is in orde en heb hiermee een demo kunnen maken die de coördinaten inleest en zo automatisch het programma laat doorlopen, eigen besturing is niet mogelijk, maar het geeft je een idee van watk gemaakt heb:

TECH DEMO - REPLAY:
- Flash player 10 vereist!
- Ongeveer 1.5mb
- Gebruikt hardwareversnelling van GPU > zwakke gpu = zwakke prestaties!
- Framerate gelimiteerd tot +/- 10 fps (met een timer functie)
- Beeldverhouding: fit-to-screen > origineel heeft verhouding van 16/10, aangeraden om fullscreen af te spelen of het browservenster aan te passen naar een benadering van deze beeldverhouding
- Link: SIMPLEREPLAY