Des jeux aux graphismes évolués
Certes ! je ne reviendrais pas sur les démos précédemment vues, mais ajoutons à cela le support de la webcam, la prise en charge des écrans tactiles, des périphériques de jeux comme les manettes Xbox ou PS3… c’est un magnifique terrain de jeux que s’offre là Adobe !

Les interfaces de visualisation et de représentation
La visualisation de centaines voire de milliers d’éléments en même temps… dans la même interface… mais ce n’est qu’un exemple (d’ailleurs visible ici : http://reelworld.com/molehill/ ). Ce sont des interfaces ayant la capacité d’afficher réellement et avec fluidité ce que l’on veut : je pense aux sites de e-commerce qui avaient tenté le coup de la 3D pour certains comme Amazon, mais faute de performances, ils avaient abandonné…

Toutefois, ne partez pas en courant lorsque l’on vous parle d’interface et de 3D.. je pense sincèrement que les expériences démesurées d’interface en Papervision3D / flash 10 ont servi de leçon.. et ont été bénéfique à une certaine culture et conception de l’interface avec la 3D.. pour plus d’ergonomie avant tout !

La réalité augmentée

ENFIN !!! enfin la réalité augmentée va sortir de son carcan sur le web « markêteux » qui n’a pas franchement fait que du bien à ce domaine.. Regardez les dernières expérimentations d’Eugene : http://blog.inspirit.ru/?p=482 et dites vous bien que la détection et l’affichage vont pouvoir commencer enfin à être sérieux !! Moins de limitations, plus de fluidité et de liberté, c’est ce que l’on en attendait.. Et c’est sans compter l’apport du leader dans le domaine sur le sujet, Total Immersion, on l’espère très fort…

ASFEAT | real world light system for AR from Eugene Zatepyakin on Vimeo.

La créativité
La vidéo suivante me rappelle une artiste numérique dont j’ai oublié le nom depuis dans les années 1998-2000 qui créaient de petites formes en 3D végétales et animales… des heures de calcul, des interactions et des boucles à créer sous Director.. Tout cela se fait désormais en 3D et en temps réel dans le navigateur, avec toutes les APIS des réseaux sociaux pouvant venir en aide..

Par créativité, j’entends également les artistes partis sur Processing (ou Unity3D) notamment pour réaliser ce qu’ils voulaient, parce que Flash à l’époque n’étaient pas capable de tout afficher.. et même en 2D, aujourd’hui, les performances suivent :

M2D tests from Terry Paton on Vimeo.

Créativité donc…

Rhizopods – Molehill 3D Experiment for Adobe Flash Player from Resn on Vimeo.

Bruno Uzzan est LE fondateur de Total Immersion, leader mondial dans le secteur de la réalité augmentée que ce soit en technologie propre ou à base de flash, sur le web, sur des bornes interactives, sur mobile, pour de l’évènementiel ou pour des spectacles. Sa société a sorti récemment leur Dfusion en version 3, technologie sous forme de plugin pour navigateur, avec de grandes améliorations. Il nous livre ses impressions à la vue des capacités 3D du player flash.

Ce fut l’occasion aussi hors caméra d’évoquer rapidement l’indispensable pédagogie à faire pour les clients issu du marketing demandeurs de projet à base de réalité augmentée, tantôt trop gourmands par rapport aux capacités techniques du support, tantôt oubliant qu’il y a un scénario à écrire pour que la technique passe au second plan par rapport au discours.

Il nous donne rendez vous le 9 novembre d’ailleurs, pour une annonce à ne pas rater. On y sera !

(et désolé pour le flou au tout début sur le titre de Bruno ;) )

Lorsque je suis revenu d’un des ateliers du SXSW en Mars , un des conférenciers avait fortement retenu mon attention. Il expliquait qu’à terme, la réalité augmentée au travers des téléphones portables ne pouvait durer bien longtemps car c’est le terminal en lui même qui posait un souci : trop lourd, pas fait pour être porté en face de soi en permanence, et trop contraignant.

NTT Docomo et Olympus ont présenté au CEATEC Japan ces derniers jours un système de lentilles qui peut se superposer à nos lunettes, faites pour être portées dans la rue avec les mains libres. De son petit nom AR Walker, cette lentille de 91 grammes en tout équipée d’un GPS est faite pour fonctionner avec toutes sortes d’appareils mobiles, dont les portables bien entendu. Ces lunettes sont loin d’êtres les premières du genre, mais certainement les plus légères. Bon, ce n’est pas encore le règne de la discrètion, mais on peut faire de très bons jeux avec ca quand même.

des infos trouvées aussi ici. (Edit : crunchgear en avait fait un post.. et une vidéo. Ah! engadget aussi ! Damned !)

Une application de tracking color sur http://blog.catfoodcamp.com.au/. Online demo soon

Eugene toujours en forme, qui a présente ASSURF au FITC

Une application tactile en AIR nommée showlook créée pour le secteur de la mode.

Un projet nommé vispol à découvrir ici qui propose une scénarisation intéressante.

Et un proof of concept à l’origine créé pour Samsung en flex de visionneuse mélangeant divers filtres et usant de 3D.

En forme Eugene Zatepyakin, à qui l’on doit de nombreuses expérimentations à base de flash. Son dernier travail n’est pas moins qu’une libraire nommée FlashSURF basée sur Alchemy permettant une reconnaissance rapide d’images, et par extension, pourrait bien servir aux modules de réalité augmentée en flash. En plus d’avoir des explications sur son blog, il y a deux vidéos de démo assez explicites :

Adidas Style Essentials 2010 propose de créer sa propre toile en couleurs et en motifs, faisant découvrir au fil du temps toutes sortes de visuels produits autour de la marque. C’est un type de campagne interactive sur un modèle maintenant éprouvé qui explore dans une gamme de couleur fraîche un nouveau moyen de découvrir du contenu.

Et j’apprends (grâce à augmentedblog ) que le player de réalité augmentée de Metaio Unifeye viewer utilisé pour la dernière campagne d’Adidas est basé sur le Shockwave d’Adobe.

http://www.tastenkunst.com/en/lisa/ : Entièrement en flash, un système d’essai de lunettes virtuel. Intéressant quand on connait quelques systèmes comme celui de RayBan issu du système de Fitting Box permettant de le faire à condition d’installer une application en ligne. Dans la continuité également des essais de cheveux en ligne. A noter une bonne fluidité

Autre usage, tout aussi sympathique, cette fois pour des bornes sur les points de vente, avec l’essai virtuel de cosmétique dans le domaine de la mode. Trouvé chez JapanTrends, cet essai virtuel permet une fois son choix fait d’imprimer les produits désirés afin de les commander directement en magasin :

Merci à Etsuji de http://development.blog.shinobi.jp

J’aurais pu faire cette année encore une longue liste de système à base d’AR avec des choses un peu potaches comme celles-ci, (quoiqu’elle est encore amusante). Mais non, on a vu cela toute l’année, alors si c’est pour remplacer une voiture par un bonnet de père noël, à quoi bon ?!

Mais j’ai trouvé mon bonheur : techniquement bien réalisée, et avec une idée amusante, la carte de voeux de Rosetta Agency.

But du jeu : rattraper les flocons avec sa langue à la webcam ! Ludique, amusant, fun. En plus, comme plus d’1 million de flocons ont été rattrapés, ils ont promis d’offrir de la neige aux écoliers de la New Orléans, qui n’ont sans doute jamais vu la neige. Ca ne sauvera pas le monde mais l’idée est belle.

J’ai fini par trouver un article qui en parle : gros travail sur la reconnaissance de la forme du visage, et la détection du mouvement.

Et le mieux, c’est qu’à force de rattraper des flocons avec la langue, ça rafraichit mine de rien, héhé ;) (et non, pas de captures d’écran, il y a des limites quand même…)

La première expérimentation remonte à plusieurs mois maintenant chez zerofractal (désolé pas d’images, ma webcam n’aime pas windows7, « peupasteste! »). Nouvelle tentative dans ce sens avec cet essai de course de voiture en Unity3D et Flartoolkit en flash chez makc3D. En gros, le flash envoie des données à Unity3D avec le externalInterface toutes les 100 millisecondes.

L’intérêt de cette manipulation est de conserver un superbe rendu graphique et d’avoir accès à la webcam au travers du flash (qui doit consommer quasiment plus en ressources que l’application de Unity à l’arrivée..) avec une reconnaissance d’une forme en noir et blanc comme on en a l’habitude à présent. On savait que Unity dialoguait bien avec le flash mais cet exemple montre une réelle utilité. Jusqu’à ce que Unity permette l’accès à la webcam… J’attends la première application à base de réalité augmentée avec ce moteur maintenant :)

Edit : et on me signale dans les commentaires que cela a déjà été fait avec virtools / artoolkit, même si depuis virtools a intégré son propre module de RA et d’accès à la webcam.

Maintenant que l’on a accès à la webcam sous Silverlight, on peut faire un peu de réalité augmentée basique adaptant un NyArToolkit CS pour arriver à ses fins. Arrivant un peu après la bataille cette année, Silverlight montre toutefois de très bonnes performances de rendu, avec un bon 40fps même sous capture vidéo, pour monter à un 50-60 fps sur un dual Core. J’avoue ne pas avoir regardé les performances d’un Flartoolkit + Alchemy sous flash, je serais curieux de comparer. C’est encore un peu expérimental, le code n’est pas encore disponible par contre.

En lire plus :
http://kodierer.blogspot.com/2009/12/world-real-time-3d-augmented-reality.html

Il n’y a pas si longtemps, je parlais de virtuaFitter, un module permettant d’essayer des vêtements virtuels à la webcam, in the browser, en pseudo-réalité augmentée (je crains les foudres des puristes pour l’utilisation d’une telle application, et pourtant…).

C’est donc Tobi.com, qui s’y essaye cette fois avec un vrai marqueur en noir et blanc pour plus de facilité. Testable dès la home du site, donc. Un genre qui peut tendre à se développer ? Cela semble bien pratique en soi…

Nous n’avons pas vu d’évolution de Flartoolkit depuis quelques mois et serait-ce le cas via ce projet ? EZFlar permet à tout un chacun de créer son propre module de RA en flash. On peut y attacher toute sorte de media de la sorte. Interactivité limitée, mais il semble que ces deux développeurs brésiliens – ayant travaillé sur un projet qui avaient bien marché – aient optimisé le code de Flartoolkit, Papervision3d et Flarmanager pour obtenir quelque chose d’un peu moins complexe et plus performant. Code ouvert prochainement.

Via Simon alias @mangevigne

Entre mes mains fébriles, un paquet de Chocapic et ce sont tous mes souvenirs d’enfant qui remontent à la surface. C’est la larme à l’oeil que je présente le paquet à la webcam, pour me rendre compte à quel point les années ont passé… et dieu que la technologie a évolué ! Mais trève de mélancolie…

Transformer les boites de croquettes en jeu vidéo
Chocapic, de Nestlé donc, lance une série très spéciale de boîte début novembre pour l’arrivée du second volet du film d’Arthur et les Minimoys. C’est également la toute première campagne à base de réalité augmentée de 3DVia / Virtools de Dassault Systèmes. Si si, Virtools, tout un pan de 3D dans l’industrie, les advergames en ligne avec leur player… et quelques réalisations à ne pas manquer. Et pour un premier essai, c’est un coup de maître : application ludique à souhait directement en ligne à tester dans quelques jours sur chocapic.com, rendu 3D très bon avec une adaptation de la résolution en fonction de l’équipement local.

Au final, c’est une superbe application : ludique, amusante, très réussie que les enfants vont adorer (Il n’y a qu’à voir les premières réactions sur twitter…). Et ce ne sera certainement pas la dernière. Mais venant d’un outil tel que Virtools, cela ne présente que du bon, surtout en matière de qualité de rendu et d’optimisation 3D. Et pour Nestlé, c’est une aubaine ;)

Côté vidéo, voici la démo officielle :

Pour ma part, avec mes deux webcams préhistoriques, j’ai pu tester également, (à noter que la version actuelle est encore en beta) :

Edit : en parlant d’actus autour de virtools, voir le résultat du concours Dimension 3D3 chez Xavier pour aller plus loin dans les réalisations. Enjoy !

Petit billet sur la RA, ayant eu dernièrement l’occasion de revenir dessus la semaine dernière pour une webtv, et en griffonnant quelques notes, j’en ai relevé quelques observations rapidement, dont certaines qui peuvent aider à mieux comprendre pourquoi il y a autant de bruit autour de cette technologie.

LA RA s’inscrit dans un mouvement déjà engagé depuis de nombreuses années, qui est celui de simplifier ou de réinventer la manière dont un utilisateur va interagir avec le réel au travers de la machine. Dépassons le rapport clavier/souris : ce n’est pas isolé, les interfaces tactiles, le design des objets entre autre, passent par cette recherche également. Le domaine vidéoludique s’en donne à coeur joie aussi avec les projets Natal de Microsoft, Eyetoy de Sony ou les wiimote et DSi de Nintendo, où l’interface physique sensible a tendance à évoluer pour tracker directement le corps humain. Et c’est un tout, la RA se découpe finalement en trois étapes : capteur, traitement des données et retranscription.

Quelques points de repères dans l’histoire : le premier casque virtuel en 1992, l’apparition de ce qui sera ensuite le QRCode, freetag etc.. en 1996, des applications de RA dans le tourisme en 1997, la création d’artoolkit en 1999… tout cela ne date pas d’hier. Je vous conseille cet historique intéressant de la RA qui montre que déjà en 1968…

Depuis septembre 2008, où quelques opérations marketing auprès du grand public ont grandement aidé à sa démocratisation (au travers du flash ou non), les applications ludiques pleuvent. La réalité augmentée va beaucoup plus loin en terme d’usage et chacune de ses démos rentrent dans le vif du sujet. D’où l’engouement des gens pour une telle technologie. Et les usages sont nombreux :

Niveaux capteurs, différents niveaux de RA techniquement parlant qui rend la chose possible:
- La reconnaissance d’une forme simple
- La reconnaissance d’un contour de personne et au mieux d’un bras, d’un doigt..
- Le croisement entre données GPS et boussole comme sur mobile.
- La reconnaissance d’image, plus complexe (ex : photo de produit, visage (science fiction encore….))

En effet, la réalité augmentée a plus d’un tour dans son sac au niveau technique. L’application Paris métro par exemple ne reconnait en rien des bâtiments, et croise juste les données GPS/boussole. Malin.

Des applications sur des plateformes différentes :
- Pc dans le browser
- Application à installer.
- Mobile et PDA…
- Lunettes spéciales ou casque
- Spectacles en grand écran
- Borne interactive
- Intégré à un objet…

Vous avez dit ubiquité ? You’re right ! La RA est très mobile, et peut se retrouver sur n’importe quel support.

Des usages extensibles : du ludique, à l’utilisé métier.
Vous connaissez ce travail du Fraunhofer Institute qui avait construit un jeu de RA dans l’eau ? Il se trouve que la même application peut se retrouver utile à des opérations de maintenance pour des compagnies pétrolières. Oui, l’usage de cette technologie est également très mobile et extensible. Voici quelques domaines d’utilisation que j’ai pu croiser, je ne reciterais pas tous les exemples, ils sont nombreux :

- Jeux
Personnages virtuels, jeux de plateaux, jeux de cartes…
- Repérage de lieux, magasins sur mobile
Affichage de bâtiments, de magasins, avec les avis des internautes, de personnes connectées à un même service…. Il existe beaucoup d’applications dans ce domaine en ce moment.
- Reconnaissance de lieux, ou de produits
Une véritable reconnaissance d’image. C’est possible sur les produits, qui permet d’afficher ou lire avec une commande vocale par exemple, le prix et les informations d’un produit. Pratique pour les non-voyants.
- Architecture
- Spectacles
- Visualisation de produits en magasin
- Essai virtuels d’objets chez soi
- Meubler virtuellement sa maison
- Visite virtuelle de musée avec guide
- Tourisme
- Opération de maintenance (aéronautique, automobile etc…)
- Projets artistiques
- Education :
- Entrainement et simulation
Armée, médecine…. Tout métier à risque dans la réalité qui requiert un bon apprentissage pour des opérations sans risques.
- Marketing
Là encore, les applications sont nombreuses, je ne vais pas revenir dessus…

Tout cela vous inspire ? A raison, chaque usage a une utilité propre, avec une application qui rend réellement service aux personnes qui l’utilisent, et c’est inhérent à la création de l’application, contrairement à des surfaces tactiles par exemple, dont beaucoup sont restées au stade de l’agrandissement de l’image avec ses deux doigts (je parle des tables, pas de l’iphone ;) ). La vraie réalité augmentée ne se limite pas à des marqueurs en noir et blanc, pour afficher des petits objets peu interactifs à 40 polygones max, c’est beaucoup plus que cela.

Les évolutions ? Avis personnel : je crois qu’il y a un gros travail technique encore à faire, et également de réflexion sur son intégration dans la vie de tous les jours. Avec toujours en focus cette simplicité de manipulation, et de contrôle. Et puis, les acteurs ne manquent pas, et ont même tendance à se multiplier…

(D’ailleurs, l’adobe max cette année n’étant plus en Europe, je ne me pose des questions quant à sa couverture web, il est même fort probable que personnellement je n’y aille pas …enfin bon.).

Si les débouchés sont bien moindres que sur le mobile, la réalité augmentée en flash déchaine les foules, même si beaucoup admettent que passé le premier effet « whaou », l’intérêt reste limité. Si bien que les créations en la matière se multiplient jusqu’à ne plus arriver à suivre, et jusqu’à parfois oublier qu’il existe une licence commerciale.

Depuis le tout premier essai en Mai 2008 avec un petit cube qui tourne, les articles pleuvent (voir l’article de riainside sur flartoolkit et flarmanager) et les projets derivés également : Flarmanager pour le multipoints ou même vu dernièrement ARtisan, qui est une surcouche (assez inutile en mon sens), à Flartoolkit.

Au-delà des applications purement marketing, ce sont surtout les petites expérimentations qui me fascinent…parce que c’est ludique et plein d’idées.

Dernière collection d’exemples

Exemple chez http://sakeprog.cocolog-nifty.com

Certains toutefois s’attèlent plutôt à la detection des objets au travers de la webcam, sans pour autant passer par de la 3D très consommatrice :

Eugene Zatepyakin, décidément petit génie au flash, se concentre sur la détection d’objets également, ce qui constitue une base importante pour ce type d’usage, ce qui rappellera les essais de squidder en la matière :

Flash Motion Tracking [progress] from Eugene Zatepyakin on Vimeo.

Deux autres expérimentations de cartes de visite virtuelles, que certains ont pu voir sur le web ci et là, (article pour le premier et deuxième article pour le second)

Augmented Business Card from jonas on Vimeo.

AR Business Card from James Alliban on Vimeo.

Tandis que certains ne se sont toujours pas remis de la mort de Michael Jackson visiblement :

Ayant délaissé volontairement la réalité augmentée depuis quelques semaines sur hebiflux, je reviens sur le terrain avec quelques usages et applications cette semaine. Côté outil, c’est la nouvelle version de Flarmanager, framework permettant de faire du multipoint avec flash et la librairie flartoolkit. Si vous avez des post-its en trop, c’est le moment…

Je doute que l’on puisse attendre grand chose de ce type d’usage au travers du flash à l’arrivée, tant les limitations sans grande. J’ai vu passer un Flartoolkit + Alchemy, qui pourrait aider à améliorer les performances. Stay Tuned…

Premier exemple des plus connus avec ce très bon usage de mesure du colis qu’il vous faut, réalisé par AKQA :

C’était la fête des pères il y a peu, et http://mangrove.nl/fathersday en a profité (un peu faiblard comme exemple, isn’t it ?) :

Hi Dad! An Augmented Reality Father’s day gift from Mangrove on Vimeo.

Encore une copie conceptuelle de la campagne de General Electrics :

« Ride My Star » Augmented Reality Demo from Rob on Vimeo.

Et une petite vidéo amusante :

Quelques usages de la réalité augmentée sur mobile
Beaucoup d’exemples sont passés ci-et-là sur internet, dont en voici quelques usages. Pour une fois, je me fais suiveur de tendances.. rattrapant mon retard.

KDDI présente une nouvelle application avec Kasazu, elle est disponible sur leur lab http://lab.auone.jp/, et donne des informations sur les lieux en fonction de la position de la personne. La démo en vidéo :

3Dvia de Dassault arrive également sur Iphone avec pour l’instant une application à base de photo qui ressemble pour beaucoup à ce que faisait Metaio au début sur mobile mais on devine qu’ils ne s’arrêteront pas là :

Certains s’amusent côté jeux avec Arhrrrrr, je l’avais un peu laissé de côté, mais il est quand même assez fort en terme d’immersion :

Un peu de fleurs sur le mobile, dans la ville ? :

Tout le monde a du voir la semaine dernière ces deux derniers exemples, l’un de cette vidéo de Layar sur Android, alors je termine par celle-là :

L’autre étant l »expérience de masque des Transformers 2, avec la techno Dfusion, plugin on the web qui marche très bien.

L’un des plus convaincants a été celui-là lancé par Zugara par ailleurs :

Ca ne vous rappelle rien ? Si, un exemple que j’avais déjà cité de miroir augmenté d’un institut de recherche. Même concept avec l’essai virtuel de vêtement. Rien de nouveau sous le soleil donc :)