Vuforia + Unity + Modification = AR inception ?

Questions techniques liées à l’utilisation d'Unity (et n'entrant pas dans le cadre d'une des sections suivantes)
Répondre
Near0ne
Messages : 8
Inscription : 10 Avr 2017 14:37

Vuforia + Unity + Modification = AR inception ?

Message par Near0ne » 10 Avr 2017 15:58

Bonjour à tous et à toutes :)
Je suis actuellement en stage de seconde année de DUT informatique, et on m'a demandé de faire un démonstrateur de réalité augmenté.
Ça fait une semaine que j'utilise Unity avec le module Vuforia, et c'est impec, j'arrive à tout faire fonctionner ce que je souhaite.
Le hic, c'est qu'on m'a demandé de faire cette AR sur des cartes de visite, et le problème c'est que le "pattern" de la carte de visite n'a pas assez de détails pour être reconnue de façon optimale par Vuforia.
Du coup, nous avons pensé à une solution qui serait une façon de "tricher" de la façon suivante:

1) Prendre le flux vidéo de la caméra (Android cam/Webcam)
2) Détecter le pattern de la carte de visite (sans Vuforia et Unity, en passant par exemple par openCV), rajouter des éléments ou un autre pattern qui pourraient être reconnue de façon optimale par Vuforia
3) Renvoyer le flux vidéo modifié dans Unity 3D et le faire détecter par Vuforia

Ça ressemble un peu à la méthode du keylogger, le fait de trafiquer l'input.
Cela nous éviterait de recréer des cartes de visite. ^^

De ce fait, j'aimerais savoir si vous connaîtriez un moyen un peu plus simple de faire ça en restant sous Unity, ou sinon, je n'aurais qu'à suivre mon idée initiale.
N'hésitez pas à me poser des questions si jamais je n'ai pas été clair !
Je vous remercie de vos futures réponses ! :D

Avatar de l’utilisateur
E3DStef
Administrateur
Administrateur
Messages : 1646
Inscription : 14 Juil 2013 18:30
Localisation : https://www.carte-des-membres.com/fr/Unity3D-France/

Re: Vuforia + Unity + Modification = AR inception ?

Message par E3DStef » 11 Avr 2017 21:33

Salut,

Problème bien connu de ce plug-in (Vuforia).

Il nécessite de bon contrastes pour pouvoir repérer efficacement la carte de visite.
Une solution simple consiste à créer l'image/target depuis l'appareil photo qui servira à la reconnaitre puis à la passer en N&B.
Si ce n'est pas concluant en jouant un peu sur le contraste (retouche image) cela peut suffire parfois...

C'est entre autres à cause de certains de ces problèmes que nous avons opté de notre côté à une solution maison :-)

A+

Stef
Le Savoir n'est Précieux que s'il est Partagé

Si besoin urgent de me contacter, faites moi un mail sur : franceunity3d@gmail.com

Avatar de l’utilisateur
boubouk50
ModoGenereux
ModoGenereux
Messages : 6225
Inscription : 28 Avr 2014 11:57
Localisation : Saint-Didier-en-Bresse (71)

Re: Vuforia + Unity + Modification = AR inception ?

Message par boubouk50 » 12 Avr 2017 09:28

Salut,
tu peux nous poster ta carte de visite stp?
"Ce n'est pas en améliorant la bougie, que l'on a inventé l'ampoule, c'est en marchant longtemps."
Nétiquette du forum
Savoir faire une recherche
Apprendre la programmation

Near0ne
Messages : 8
Inscription : 10 Avr 2017 14:37

Re: Vuforia + Unity + Modification = AR inception ?

Message par Near0ne » 12 Avr 2017 09:58

E3DStef a écrit :Salut,

Problème bien connu de ce plug-in (Vuforia).

Il nécessite de bon contrastes pour pouvoir repérer efficacement la carte de visite.
Une solution simple consiste à créer l'image/target depuis l'appareil photo qui servira à la reconnaitre puis à la passer en N&B.
Si ce n'est pas concluant en jouant un peu sur le contraste (retouche image) cela peut suffire parfois...

C'est entre autres à cause de certains de ces problèmes que nous avons opté de notre côté à une solution maison :-)

A+

Stef
Bonjour :)
Tout d'abord, merci de ta réponse !
J'ai suivi chacun de tes conseils et ce n'est vraiment pas concluant :/
De ce fait, je suis intrigué par cette solution maison, serait-il possible d'avoir des petites explications, ou encore mieux, un tutoriel s'il te plait ?

J'en profite pour te demander au lieu de créer un nouveau topic (ça reste sur le même sujet), j'aurais aimé savoir s'il était ou sinon possible de "surcharger" l'algorithme de détection de Vuforia par une faite maison ? (ce serait le plan B après ta méthode maison :P) ?

Je te remercie de tes réponses !

Near0ne
Messages : 8
Inscription : 10 Avr 2017 14:37

Re: Vuforia + Unity + Modification = AR inception ?

Message par Near0ne » 12 Avr 2017 11:05

boubouk50 a écrit :Salut,
tu peux nous poster ta carte de visite stp?
Bonjour,

Voici le recto 1:
Image

Le recto 2:
Image

Ainsi que le verso (j'ai modifié les informations, mon patron souhaitant restait annonyme):
Image

Merci !

Avatar de l’utilisateur
boubouk50
ModoGenereux
ModoGenereux
Messages : 6225
Inscription : 28 Avr 2014 11:57
Localisation : Saint-Didier-en-Bresse (71)

Re: Vuforia + Unity + Modification = AR inception ?

Message par boubouk50 » 12 Avr 2017 11:15

Effectivement, il y a pas assez de zones de détection. Les aplats tu ne peux rien y faire... Et les textes sont minuscules, mais ce seraient les seules possibilités.
Near0ne a écrit :mon patron souhaitant restait anonyme
Avec le nom de la boite, c'est facile de trouver le nom du patron... :hehe:
"Ce n'est pas en améliorant la bougie, que l'on a inventé l'ampoule, c'est en marchant longtemps."
Nétiquette du forum
Savoir faire une recherche
Apprendre la programmation

Near0ne
Messages : 8
Inscription : 10 Avr 2017 14:37

Re: Vuforia + Unity + Modification = AR inception ?

Message par Near0ne » 12 Avr 2017 11:33

boubouk50 a écrit :Effectivement, il y a pas assez de zones de détection. Les aplats tu ne peux rien y faire... Et les textes sont minuscules, mais ce seraient les seules possibilités.
Near0ne a écrit :mon patron souhaitant restait anonyme
Avec le nom de la boite, c'est facile de trouver le nom du patron... :hehe:
Haha je sais :lol:
Mais bon, ça demande un minimum de recherche, c'est toujours mieux que donner comme ça :]
(Et bon, c'était surtout son mail et son numéro lol)

C'est ça, c'est que c'est un peu simpliste et Vuforia recommande des image_targets avec beaucoup de détails et de contrastes...
Après, nous pensions que si avec un algorithme fait maison on pouvait récupérer l'image sous forme de matrice, on pourrait éventuellement faciliter la détection et créer un pattern plus précis
Ce ne sont que des idées, mais on essaie de trouver une solution ! ;)

Je vais essayer de voir si je peux essayer de passer par autre chose que Vuforia en attendant la réponse de @E3DStef, j'ai vu ce kit de développement d'AR (Ici) pour Unity, je vais essayer de me renseigner dessus.
Avez-vous des avis à propos de ça ?

Avatar de l’utilisateur
boubouk50
ModoGenereux
ModoGenereux
Messages : 6225
Inscription : 28 Avr 2014 11:57
Localisation : Saint-Didier-en-Bresse (71)

Re: Vuforia + Unity + Modification = AR inception ?

Message par boubouk50 » 12 Avr 2017 11:41

ArToolKit est open-source me semble-t-il, c'est déjà un bon point.

Peut-être, vu la configuration de ta carte, faudrait-il jouer sur les lignes géométriques définies par les quadrilatères bleus qui sont identiques sur les 2 rectos possibles. Ils sont symétriques par l'axe central, ce qui permettrait de retrouver une perspective.

Question: le R stylisé de Crossover c'est pour représenter en même temps un A et un R pour Augmented Reality? (c'est bien trouvé :idea: )
"Ce n'est pas en améliorant la bougie, que l'on a inventé l'ampoule, c'est en marchant longtemps."
Nétiquette du forum
Savoir faire une recherche
Apprendre la programmation

Near0ne
Messages : 8
Inscription : 10 Avr 2017 14:37

Re: Vuforia + Unity + Modification = AR inception ?

Message par Near0ne » 12 Avr 2017 12:05

boubouk50 a écrit :ArToolKit est open-source me semble-t-il, c'est déjà un bon point.

Peut-être, vu la configuration de ta carte, faudrait-il jouer sur les lignes géométriques définies par les quadrilatères bleus qui sont identiques sur les 2 rectos possibles. Ils sont symétriques par l'axe central, ce qui permettrait de retrouver une perspective.

Question: le R stylisé de Crossover c'est pour représenter en même temps un A et un R pour Augmented Reality? (c'est bien trouvé :idea: )
Je vais essayer de voir, merci pour ton conseil.
Je vous tiens au courant de mon avancement si cela vous intéresse :)

Hahaha, j'ai bien aimé, et c'est d'ailleurs bien trouvé de ta part ! :lol:
J'ai demandé confirmation au patron, et il m'a dit que sa signification resterait secrète pour l'instant... Suspens !
Du coup, ce n'est pas ça, mais j'aime bien ta version; disons que c'est ça ;)

Merci de votre aide !

Avatar de l’utilisateur
E3DStef
Administrateur
Administrateur
Messages : 1646
Inscription : 14 Juil 2013 18:30
Localisation : https://www.carte-des-membres.com/fr/Unity3D-France/

Re: Vuforia + Unity + Modification = AR inception ?

Message par E3DStef » 15 Avr 2017 23:28

Near0ne a écrit :J'ai suivi chacun de tes conseils et ce n'est vraiment pas concluant :/
Ah mince...En regardant ta CV effectivement pas simple.
Dans le plug-in d'unity tu as moyen de voir les zones de détection si je me souviens bien.
Tu peux voir ainsi la qualité de reconnaissance (tu as aussi je crois une qualité de 1 à 5 en chiffre ou en étoiles - me souviens plus).
Near0ne a écrit :De ce fait, je suis intrigué par cette solution maison, serait-il possible d'avoir des petites explications, ou encore mieux, un tutoriel s'il te plait ?
Hélas non, c'est comme demander à Nutella qu'il te donne leur recette ^^ (ou à coca d'ailleurs).
Bon ok ok nous ne sommes pas Coca ou Ferrero mais bon ce dev interne a coûté bien cher (en temps) et donc on ne peux la donner comme ca ;-). Mais on peut te faire une étude à ton besoin, voir si tu veux utiliser Vuforia vous optimiser tout cela ^^ ...
Near0ne a écrit :J'en profite pour te demander au lieu de créer un nouveau topic (ça reste sur le même sujet), j'aurais aimé savoir s'il était ou sinon possible de "surcharger" l'algorithme de détection de Vuforia par une faite maison ? (ce serait le plan B après ta méthode maison :P) ?
A ma connaissance pas possible, et ma logique de dev dit non car tu risques de créer des conflits entre les 2 algo (Vuforia + Maison).
Ensuite sans trahir le moindre secret tous les plugs-in basé sur la reconnaissance d'image se basent sur les lib d'OpenCV. Ces libs existent d'ailleurs sur différents language et pas qu'Unity.

En espérant t'avoir éclairé

A+

Stef
Le Savoir n'est Précieux que s'il est Partagé

Si besoin urgent de me contacter, faites moi un mail sur : franceunity3d@gmail.com

Répondre

Revenir vers « Unity le logiciel »