Ull de color: la webcam com perifèric d'entrada

22 - maig - 2006
http://www.xtec.cat/dnee/udc/

Noves interfícies d'ordinador basades amb les càmeres web .

Recentment han aparegut jocs i programes d'ordinador que no requereixen ni teclat ni ratolí, sinó que van amb una càmera web.

A les botigues, i en els anuncis de la Televisió hem vist persones fent moviments estranys com si agafessin coses invisibles o lluitessin amb enemics imaginaris per nosaltres, però que es fan reals quan mirem a la pantalla de l'ordinador.

El més conegut és l'Eyetoy de la Play Station, però per internet es poden trobar molts altres exemples.

Aquesta nova tecnologia no ens obliga a estar asseguts davant l'ordinador i permet treballar altres aspectes educatius que fins ara no ens havíem plantejat.

Elements que es requereixen

Aquests nous programes estan basats en tecnologia de visió artificial i reconeixement de la imatge que requereix una certa capacitat en el processament de la informació.

El material bàsic es

• Un ordinador amb Windows XP o equivalent.

• Una càmera, podem utilitzar una webcam o una càmera de vídeo digital que capturi més de 15 fotogrames per segon.

• Uns programes específics que podem baixar d'internet.

Per utilitzar aquests materials, primer cal instal·lar la càmera i assegurar-nos que funciona correctament i que l'enfocament, la il·luminació i la resta de paràmetres de la càmera son les adequades.

Tecnologia

Els programes que disposem utilitzen dues tecnologies diferents

• reconeixement del moviment

• reconeixement del color

La tècnica de reconeixement del moviment requereix menys preparació, però també proporciona menor precisió. Els botons han de ser de mida més gran i les activitats més imprecises.

El jugador es posa davant de la càmera i amb els seus moviments fa anar el programa. L'ordinador compara els fotogrames, un darrere l'altre, i s'activa allà un detecta canvis.

Si el jugador es queda quiet es va convertint en transparent, mentre que, si alguna cosa canvia darrera seu, el sistema també ho interpreta com un moviment del jugador.

En aquests programes el jugador es veu a la pantalla, formant part d'un món virtual on conviu amb la resta d'objectes del joc.

La tècnica alternativa, basada en el reconeixement del color, requereix fixar el color que utilitzarem com a cursor, abans de començar.

Amb aquesta tècnica l'ordinador identifica, en cada fotografia, els punts que tenen el color seleccionat i elimina la resta, construint una imatge en blanc i negre que mostra el perfil del cursor de color.

Aquesta tècnica és més precisa, perquè el cursor de color pot ser més petit, però cal una configuració prèvia i triar un color compatible amb l'entorn.

En totes dues tècniques, els canvis en el fons o en la il·luminació també afectaran el procés de reconeixement de la imatge, de la mateixa manera que el soroll en l'ambient afecta l'enregistrament del so.

L'emulator que reconeixen el color

Emulator és un programa amb el que es pot substituir el ratolí, un polsador, el joystick o una tauleta utilitzant una webcam.

L'avantatge de la webcam és que permet un control a distància, i sense fils, alhora que s'aconsegueix una major flexibilitat en l'ús de l'ordinador.

Emulator utilitza la tecnologia de reconeixement de color i abans de treballar cal seleccionar el color que utilitzarem.

El programa inclou opcions per analitzar l'espectre de colors de l'escenari de treball, i del cursor del color, i verificar així que siguin compatibles.

Funcionant com un polsador, Emulator fa un clic de ratolí quan ocultem o tapem la marca de color. Abans mostra uns indicadors visuals i acústics d'avís.

Quan funciona com un polsador, Emulator fa un clic de ratolí si tapem la marca de color. És com si tinguéssim un interruptor. Abans mostra uns indicadors visuals i acústics d'avís.

L'avantatge, en aquest cas, és que qualsevol cosa es pot convertir en polsador: un gomet, un tap, una esponja, una peça de roba, ... i es pot col·locar allà on sigui necessari, al terra, a la taula, a la cadira de rodes, a la paret....

Una altra avantatge és que aquest polsador virtual té menys avaries que altres. Els polsadors mecànics sempre reben els cops i les trompades, involuntàries, dels usuaris. Per contra, la part on l'usuari prem el “polsador” virtual és inert, mentre que la part sensible està ubicada a la webcam i actua per contacte visual.

Tampoc existeixen cables de connexió entre el polsador i l'ordinador cosa que facilita la seva instal·lació

Si Emulator funciona com un ratolí, el cursor de la pantalla es mou allà on apunta l'usuari amb el cursor de color. Quan el cursor està aturat en un lloc concret apareixen els indicadors del clic. D'aquesta manera podem manegar el ratolí a distància i sense fils com si disposéssim d'una pantalla interactiva.

Cal estar entrenat per utilitzar aquest ratolí virtual. Les primeres vegades ens escaparem del camp de visió de la càmera o no sabrem fixar el ratolí per fer clic.

Aquest ratolí virtual és menys precís que el ratolí de sobretaula, ja que la resolució de la webcam és menor que la resolució de la pantalla i, per altra banda, el ratolí virtual capta els petits moviments involuntaris del cos.

Tot i això, es pot aconseguir una precisió equivalent a una pantalla tàctil, com la dels caixers automàtics que utilitzem els dits

Funcionant com un joystick es millora la precisió i el control del cursor que, com fa qualsevol joystick, es mou en la direcció que assenyala el cursor de color i s'atura si ens situem en el centre.

El programa fa el clic si ens aturem, durant un cert temps, en un punt.

Pels discapacitats motòrics un dels avantatges és el poc esforç físic que requereix d'aquest dispositiu. Un senyal col·locat a la mà és suficient per fer-lo funcionar.

La modalitat tauleta està pensada per imprimir la pantalla i assenyalar en el paper allà on volem que situï el cursor a la pantalla. Això permet certs usos específics en l'entrenament de plafons de comunicació i amb el codi braille.

Abans de començar a treballar amb aquesta modalitat, caldrà fixar la làmina i marcar, a la pantalla, els seus extrems.

Emulator funciona igualment en Windows que en Linux.

L'ull de color

L'Ull de color és una utilitat desenvolupada per l'empresa CREA-SI que reconeix una marca de color i retorna les seves coordenades.

Quan engeguem el programa accedim a les opcions de configuració que determinen el color del cursor que utilitzarem. Només cal fer clic sobre la imatge per seleccionar el color. Veureu un quadre vermell que segueix els moviments del cursor de color.

També disposem d'eines per modificar la resposta de la càmera.

L'Ull de color no fa res per si mateix, sinó que cal integrar-lo en d'altres programes que interpretin les coordenades i actuïn en conseqüència.

1. En engegar el programa, ens preguntarà sobre quin dispositiu de captura de vídeo utilitzarem (també apareixeran, si en teniu d'instal·lades a l'ordinador, targes de captura de TV o de vídeo, a més de la webcam). Escollirem la webcam que utilitzarem.

2. Per seleccionar el color cal fer clic sobre la imatge. Immediatament apareixerà un quadre vermell que seguirà els moviments del cursor de color.

3. El menú Imatge | Configuració permet verificar i ajustar la detecció del color.

4. Al menú Imatge | Font de vídeo disposem d'eines per modificar la resposta de la càmera.

5. Podeu trobar més informació al manual del programa o a la documentació de la Jornada Tècnica DNEE per coordinadors d'informàtica del curs 04-05 (http://www.xtec.cat/dnee/jornada/tecnica/0405jte2mat.htm)

Els materials educatius amb l'ull de color

Dance músic converteix el moviment en so

http://www.xtec.cat/dnee/udc/

DanceMusic és una aplicació educativa que integra un generador de música MIDI, desenvolupat per Mike Le Voi (http://home.brisnet.org.au/~mlevoi/), i el mòdul de l'Ull de color

Amb DanceMusic la música es crea a partir dels moviments corporals davant la webcam. El camp isual de la webcam es converteix en un instrument musical que modula el so, segons la posició del cursor.

El noi o la noia mouen un objecte de color, ja sigui una batuta, una joguina o ells mateixos, i aquests moviments es transmeten a l'ordinador que genera les notes.

Pot ser una activitat individual, o de grup, de motricitat fina o gruixuda segons la consigna que proposem.

El joc té diferents modalitats de produir el so.

• Amb Ritme i notes la posició a l'espai controla dues qualitats del so: Greus/ aguts en l'eix vertical, i lent/ràpid en l'eix horitzontal. La nota serà més aguda si ens situem més la dreta i més ràpida si ens situem més amunt.

• Amb Escala i temps tenim un teclat imaginari situat de dreta a esquerra i les figures musicals de baix a dalt

Per treballar-hi, després de calibrar el cursor amb l'Ull de color, cal:

• Engegar el programa Dance Music amb la icona corresponent. La trobareu dins la carpeta de l'Ull de color.

• Verificar que funciona el generador de sons midi prement el botó Escala.

• Anar al menú Accés | Ratolí comprovar com el desplaçament del cursor genera notes diferents

• El menú Accés | Ull de color activa el funcionament del programa amb la webcam

• Els menús Modalitat o Instruments permet variar la resposta del programa

Fred i calent joc d'orientació

http://www.xtec.cat/dnee/udc/

A Fred i calent l'ordinador amaga, virtualment, un objecte que el jugador ha de trobar. Per fer-ho ha de moure el cursor dins el camp visual de la webcam i l'ordinador proporcionarà pistes orals de cap on l'ha de moure.

Quan ens situem en el punt exacte l'ordinador mostra l'objecte amagat i s'escolta un reforç auditiu.

La forma més fàcil de jugar és amb una peça de plàstic de color, millor que no sigui una pilota, i moure-la per una superfície plana com per exemple el terra o una taula.

Els tresors i les veus es poden variar simplement substituint els fitxers gràfics i de so que hi ha dins la carpeta del programa.

El joc té dues formes de donar pistes, que s'activen amb les opcions que hi ha a peu de pantalla:

• Dreta-esquerra dóna instruccions orals amb aquestes consignes de direccionalitat

• Detector proporciona un senyal auditiu, i visual, que serà més intens en la mesura que ens aproximem a l'objecte.

L'opció Solució, que també es troba al peu del programa, mostra l'objecte en pantalla i pot servir com una ajuda o com a modalitat d'entrenament per a jugadors novells.

Els tresors amagats, i els sons del programa, es poden variar simplement substituint els fitxers que hi ha dins la carpeta del programa per d'altres equivalents.

TocaToca

http://www.jfonoll.cat/

TocaToca és un programa de causa efecte que, mitjançant una activitat lúdica intenta establir un control de la resposta en l'usuari.

Les activitats estan organitzades en estímuls i reforços, fitxers gràfics, de so o d'altres, i les accions que són les maneres com l'usuari actua sobre l'ordinador.

A partir de la versió 2.12, a més a més d'utilitzar el teclat, el ratolí, el joystick i la veu, gràcies a la tecnologia de l'Ull de color, podem fer servir la webcam.

El camp visual de la webcam es divideix en zones, com si fossin zones de pantalla, i el programa controla quan situem el color en una zona determinada. Podem fer exercicis d'assenyalar dreta – esquerra, dalt – baix o altres activitats més complexes.

Tswin

http://www.xtec.cat/recursos/tauleta/

La Tauleta sensible, o teclat de conceptes, és un perifèric utilitzat en la dècada dels 90 com alternativa al teclat en l'educació infantil i educació especial. La tauleta permet utilitzar l'ordinador mitjançant unes làmines configurables, simplificant-ne l'accés.

Existeixen més de 100 làmines i activitats de la tauleta que es poden baixar de la web. Actualment els principals usuaris de la tauleta són l'alumnat amb dèficits visuals, ja que, ara per ara, és l'únic perifèric que permet treballar amb objectes en relleu.

Tswin és el programa gestor i editor d'activitats de la tauleta i, en aquests més de 15 anys, ha anat evolucionat adaptant-se a les diferents versions de Windows. En l'actualitat no solament podem utilitzar la Tauleta amb el Windows XP, sinó que Tswin funciona amb altres perifèrics, com la catifa màgica o tauletes gràfiques.

En la darrera versió Tswin ha incorporat la tecnologia de l'ull de color, cosa que vol dir que es poden utilitzar les aplicacions i activitats prescindint la tauleta.

Amb l'ull de color n'hi ha prou en situar la làmina davant de la webcam, engegar el programa i assenyalar les zones amb el cursor de color

Per utilitzar aquesta nova versió del programa Cal:

1. Instal·lar el programari següent:

• Tswin versió 2.1 que trobareu a
  http://www.xtec.es/recursos/tauleta/eines/tauleta21.exe

  Cal instal·lar l'opció personalitzada i triar com a model l'Ull de color

• Alguna activitat de la tauleta, com per exemple el Cançoner infantil http://www.xtec.cat/recursos/tauleta/programari/lam/canco/canco.htm . Si no disposeu de la làmina en paper la podeu imprimir i muntar

• La webcam i l'Ull de color http://www.xtec.net/dnee/udc/

2. Fixeu la làmina i situeu la webcam enfocant-hi perpendicularment. El més pràctic és fixar la làmina en una paret i situar la webcam sobre una taula més o menys allunyada.

3. Engegueu el programa Tswin i, obriu el menú Opcions| Configuracio i Test |Configuració Automàtica per accedir a les opcions de configuració de la webcam. Feu clic a:

   1. Ull de color, per assegurar-vos que la webcam està correctament enfocada i reconeix el cursor de color. En tancar el programa Ull de color cal prémer de nou el botó per accedir a les altres opcions.

   2. Calibrar mides. Fa una foto fixa del camp de visió de la webcam que hauria d'abastar tota la làmina. Aquí cal delimitar la zona activa de la imatge fent clic als quatre vèrtexs de la làmina a la pantalla

   3. Fer un Test per verificar la resposta del programa

4. En el Tswin, el menú Opcions | Test de la Tauleta permet verificar la resposta del Tswin. En moure el cursor de color apareixen uns punts vermells, indicant la translació a la Tauleta virtual. És important poder accedir de forma correcta a tots els punts de la tauleta.

5. Carregueu l'aplicació amb el menú Fitxers | Obrir i engegueu-la amb el menú Fitxers | Engegar, o des de la icona de la pantalla. El Tswin queda a un segon pla.

6. Ara, assenyalant amb el cursor de color sobre la làmina, podreu realitzar les activitats.

7. Per tancar l'aplicació podeu utilitzar les opcions que hi ha en la mateixa làmina, o prémer ALT+ F4.

És bo saber que:

• Les làmines en blanc i negre eviten conflictes amb la identificació del cursor de color.

• Algunes aplicacions de la pàgina web només funcionen amb Windows 3.1 o MS-DOS

• El material del curs telemàtic TD74 explica amb tot detall el funcionament d'aquest programari

(http://jasper.xtec.net:7451/cdweb/dades/actu/actual_matform/materials/td74/index.htm)