SATI EEE SATI EEE

Toca Toca 32 bits



Introducció

Toca Toca és un programa de causa - efecte pensat per educar la resposta voluntària davant l'ordinador i de retruc altres àmbits de la vida de la persona.

Aquesta educació de la resposta engloba tant els aspectes perceptius (atenció, percepció, observació) com els aspectes motrius (acció, precisió i rapidesa del gest) i els cognitius (discriminació, memòria, pressa de decisions, lectura...).

El programa funciona amb un esquema senzill de condicionament de la conducta Estímul - acció - reforç.

  • l'estímul són les imatges, textos o sons que mostra l'ordinador per provocar la resposta de l'usuari
  • l'acció esperada són les respostes a entrenar que es realitzaran amb el teclat, ratolí, micròfon o altres perifèrics més específics (commutadors, pantalla tàctil, tauleta…).
  • el reforç són les imatges, textos o sons que mostra l'ordinador per incentivar l'acció en els estadis inicials i pot indicar si una resposta és correcta o incorrecta.

Accions amb el Tpwin

El programa està concebut com un entorn obert on l'educador pot modificar tots els elements que componen l'exercici.

És important estructurar l'estímul i el reforç utilitzant codificacions prou diferenciades de manera que no confonguin l'usuari.

Les accions

Accions amb el Tpwin

Les respostes de l'usuari amb el teclat, el ratolí i la veu que accepta el programa tenen diferent grau d'especificitat i de complexitat.

  • Amb el ratolí
  • El programa permet destriar entre Moure el ratolí, Clic Dret i Clic Esquerre.

  • Amb el teclat
    • grups de tecla: S'accepta com a correcte qualsevol tecla del grup. Els grups reconeguts són: qualsevol tecla, BlocNumèric, tecles de funció, tecla de la llista.
      algunes tecles específiques: Nomès s'accepta com a correcte la tecla específica. Les tecles diferenciades són: Espai, enter, cursor, Tecla de la llista En aquest cas Tecla de la llista només contindrà una codi alfanumèric (lletres o xifres)
      seqüència de tecles:En aquest cas cal completar tota la seqüència perquè s'accepti la resposta com a correcte. TocaToca mostra un reforç progressiu mentre no es completa totalment la resposta.

  • Amb la veu
  • TocaToca incorpora el Motor de Reconeixement de Veu desenvolupat per en Jordi Lagares en el projecte Fressa. www.xtec.es/~jlagares
    Aquest motor utilitza uns patrons de veu creats pel professor associats a un codi, lletra o paraula.
    El Motor de Reconeixement de Veu compara la producció de l'usuari amb els patrons interns i retorna el codi que TocaToca processa com si fossin teclejades en el teclat.

    Estímuls i reforç

    L'usuari rep els estímuls i reforços forma auditiva a través dels altaveus o visualment mirant la pantalla de l'ordinador.

    Informàticament parlant, els estímuls i els reforços són la mateixa cosa, ordres i fitxers que l'ordinador ha de processar, però tenen funcions diferents. Els estímuls es produeixen abans de l'acció, mentre que els reforços, si bé o malament, en són una conseqüència.

    Reaccions amb el Tpwin

    Les ordres que reconeix el programa, entre d'altres, són

    • Colors: produeix un canvi de color del fons de la pantalla. En la planificació s'utilitza el codi de colors de la paleta del Windows
    • Paraules: mostra un text a la pantalla. Es pot optar entre quatre posicions capçalera, centrat, peu o atzar, que la mostrarà en qualsevol lloc de la pantalla.
    • Fitxers: el programa obre els fitxers presenta les imatges, els sons o carrega nous exercicis, segons si els fitxers són
      • gràfics en format GIF, JPG, BMO o WMF
        de so en format WAV
        d'exercicis en format TOC
        d'estalvis de pantalla en format SRC

    Els estímuls i reforç són una col·lecció d'ordres que el programa interpreta i executa de forma successiva.

    Així, si les ordres són

      COLOR_65535 AMUNT.BMP BE.WAV BE.BMP
      Primer es produirà un canvi dels fons al color 65535 que és el groc
      Després apareixerà el dibuix AMUNT.BMP i a continuació sonarà el fitxer BE.WAV
      i en acabar aquest fitxer apareixerà el BE.BMP

    En una mateixa Acció el programa admet llistes alternatives d'estímuls i reforços que es presentaran de forma aleatòria.

    Les opcions generals

    El formulari General permet configurar alguns paràmetres que afecten de forma global a tota l'activitat. Algunes, com ara el tipus i color de lletra, el color de la pantalla... són de fàcil comprensió, però d'altres necessiten més aclariments.

    Formulari General
    • Consigna és un estímul que apareixerà en començar l'exercici. El temps d'exposició en pantalla està fixat en 4 segons.
    • Espera de l'estímul és el temps en segons que cal esperar un nou estímul quan no es produeix una resposta correcta.
    • Temps de l'estímul i del reforç és l'estona que es visualitza l'estímul o el reforç a la pantalla.
    • Maximitzat / minimitzat determina el funcionament del programa en realitzar una resposta correcta. Maximitzar deixa el programa en un primer pla a l'espera d'un nou estímul. Minimitzar posa el programa en segon pla i torna al primer pla quan es produeix un nou estímul.
    • Fitxers de so és el fitxer creat per Motor de Reconeixement de Veu que conté els patrons de veu a reconèixer.
    • Sons és la llista de sons a reconèixer.
    • Entrenament engega l'entrenament del Motor de Reconeixement de Veu.
    • Obrir carrega un fitxer de reconeixement de veu.

    El sistema de reconeixement de veu

    Toca Toca utilitza el Mòdul de Reconeixement de Veu desenvolupat per el Sr Jordi Lagares (jlagares@pie.xtec.es) i requereix el fitxer totipmspeechrecognitionengine.dll versió 85 (01/10/2001).

    Aquest sistema està basat en la comparació de patrons de veu que el propi usuari pot enregistrar i guardar en un fitxer. Un cop instal·lat permet realitzar exercicis de llengua oral a nivell de sons i paraules.

    El mòdul de reconeixement de veu s'inicialitza automàticament en obrir i engegar una activitat. En aquest cas, l'exercici es pot realitzar parlant pel micròfon.

    El pocés de planificació és més llarg i consisteix en:

    1. preparar un exercici amb el Toca Toca on les Accions han de ser del tipus Tecla de la llista
    2. Obrir Planificar | General i
      1. a la casella de Sons escriure els codis pels sons o paraules que intervenen a l'exercici, separats per comes fins un màxim de 32. Per exemple a,e,i,o,u... o bé 1,2,3...
      2. el botó Entrenament permet fer un registre automàtic de les veus. Presentarà els sons un a un que caldrà anar dient amb el micròfon.
      3. el botó Funcions d'ona permet escoltar els enregistraments i tornar-los a fer per a millorar la qualitat. Entre d'altres, té les opcions:
          Paraula ... desplegable per triar el so amb què es treballa.
          Escoltar ... permet escoltar la paraula gravada. Cal tenir present que el sistema treballa amb sons d'unes dècimes de segon
          Regravar la paraula per tornar a fer l'enregistrament i millorar-ne la qualitat
          En sortir cal tornar a Planificar | General
      4. el botó Guardar desa els patrons enregistrats en un fitxer que té l'extensió .sonstpmsr02 i que el mòdul de reconeixement modifica afegint els codis dels sons a treballar
      5. amb el botó Fitxer so es pot recuperar qualsevol fitxer patrons del sistema de reconeixement de fonemes i incorporar-lo a l'exercici

    Quan s'activi l'exercici s'iniciarà el reconeixement de veu que en identificar un dels sons enviarà les lletres del codi del so com si s'haguessin escrit amb el teclat

    En desar l'exercici es guarda tota aquesta informació i en carregar-lo es recupera i s'inicialitza la informació del mòdul reconeixement de veu.

    Un exemple concret

    En aquest exemple, que ha estat elaborat a partir del curs D25, es crearà una activitat del Toca Toca que té com objectiu la identificació i reconeixement de les vocals.

    • L'Estímul serà la presentació de les vocals en forma de so.
    • L'Acció serà prémer la tecla de les vocals corresponents a l'estímul.
    • La Reacció serà el text de la vocal, juntament amb un canvi de color.

    Mòdul de veu

    El passos a seguir són

    1. Prepareu cinc fitxers amb els sons de les vocals, el podreu treure del Clic o del Galí. Deseu-los a la carpeta \TOCATOCA\VOCALS.
    2. Obriu el Toca Toca, us apareixerà la finestra Planificar.
    3. Feu clic sobre el botó Accions i marqueu Tecla de la llista, i a Llista de tecles, escriviu la lletra "a" i "A".
    4. Feu clic sobre Estímuls i seleccioneu el fitxer de so de la vocal "A" (A.wav), creat anteriorment.
    5. Aneu a Si be, seleccioneu
      • Color "Verd" D'acord
        Paraula Capçalera "A" Acceptar
        Premeu Acceptar i les ordres s'afegiran a la llista de reaccions
    6. Aneu a Si malament, seleccioneu
    7. Color "Vermell" D'acord
      Premeu Acceptar i les ordres s'afegiran a la llista de reaccions
    8. Afegiu una nova acció prement el menú Acció i fent clic al botó +Accions
    9. Repetiu els passos fets als punts 3,4, 5 i 6 per a les següents vocals. Sortiu de la finestra de Planificar prement el botó Tancar.
    10. Deseu el fitxer amb el nom VOCALS.TOC.
    11. Comproveu l'activitat, des del menú (apareix amb la tecla ESC) premeu sobre Engegar.
    12. Podeu fer-hi modificacions accedint novament a Planificar, del menú.
      1. Mòdul de veu

        Tipus d'activitats

        Estimular a l'acció i a la comunicació

        Un primer pas per treballar amb l'ordinador és establir una relació entre les accions que nosaltres fem (amb el teclat , ratolí…) i les respostes que es produeixen a l'ordinador (pantalla, so…). Alguns nens i nenes o persones més grans els costa establir aquesta relació i cal fer una tasca sistemàtica amb programes de causa - afecte.

        TocaToca és configurable i com estímul podem utilitzar un missatge oral, fotos de la persona de la mare o familiars o d'altres elements que despertin el seu interès (menjar, televisió, joguines…).

        Les accions seran molt simples, que quasi es puguin produir per casualitat, com per exemple prémer qualsevol tecla o simplement moure el ratolí.

        És fonamental que el reforç que resulti sigui espectacular i significatiu i cal adaptar-lo a cada persona.

        Exploració lúdica o informativa

        La finalitat d'aquest exercici és que el nen explori el teclat descobrint la funcionalitat de les tecles. Cada tecla és una sorpresa que li aporta un coneixement nou i el convida a seguir explorant.

        Si l'exercici treballa els nombres, per exemple, en prémer les tecles de xifres es mostren una quantitat, es llegeixen els nombres...

        Els estímuls no existeixen o són indiscriminats i s'utilitzen per estructurar l'acció (per exemple, mostrar el color groc o escoltar l'ordre "prem una tecla").

        Per cada tecla que intervingui en l'exercici hi ha una Acció que és una llista de tecles amb una lletra.

        esquema Exploració lúdica

        Les reaccions estan relacionades amb les tecles que intervenen i poden ser diverses per cada tecla.

        Discriminació del gest

        En aquest cas, l'activitat consisteix en respondre adequadament a l'ordinador. Els estímuls són preguntes que esperen una resposta específica.

        Aquí utilitzarem com estímuls imatges, paraules o veus que impliquin una resposta concreta. Per exemple, una quantitat d'objectes, una paraula que li falta una lletra, objectes orientats en diferents direccions, etc.

        Les accions són les respostes específiques. Seran una tecla concreta o diverses si l'exercici admet més d'una resposta.

        esquema discriminació del gest

        El reforç no cal que sigui molt espectacular, ja que la seva funció és indicar si s'ha resolt correctament l'exercici. Podria utilitzar-se un canvi de color (verd o vermell) un so o una veu (bé, malament…), una imatge (semàfor o cares somrient) o completar el text, la imatge, etc.

        Si es prioritza l'atenció i la percepció, les accions poden ser molt simples, com per exemple prémer l'espai o una tecla del teclat.

        Si es prioritzen altres processos, memòria, inferència... les accions poden ser més complexes.

        Un exemple d'aquesta modalitat són els nombres o les direccions.

        Inhibició de l'acció

        En aquest exercici l'important és que l'alumne aprengui a discriminar quan ha de respondre i a inhibir l'acció si no és el cas.

        Per aconseguir-ho barrejarem estímuls amb resposta i d'altres sense resposta.

        esquema inhibició de l'acció

        Com estímuls podem presentar objectes, paraules, xifres… on només s'haurà de respondre unes determinades (objectes de roba, paraules que tinguin la lletra A, xifres parells)

        L'acció a realitzar pot ser molt simple per exemple prémer la tecla Espai o bé fer clic.

        Aquells estímuls on calgui una resposta tindran un reforç SI Bé i un reforç SI malament (per exemple, color verd, color vermell. Aquells estímuls on no calgui una resposta, el reforç a Si BÉ i el Si malament coincidirà amb Si malament dels estímuls on cal respondre ( per exemple, color vermell).

        D'aquesta manera només s'obtindrà reforç positiu quan es respongui correctament a l'estímul adequat.

        Amb aquestes modalitats es poden preparar exercicis amb diferents continguts, jocs, exercicis de lectura i escriptura, o percepció de formes, colors…

        Entrenament de l'atenció i percepció

        Aquest és l'exercici més complet, on intervenen tots els elements del programa

        Els estímuls seran específics i són el nucli de l'activitat. L'ususari haurà de respondre segons els estímuls presentats.

        Reconeixement de veu

        Aquí la resposta serà oral i les activitats seran d'exploració (una paraula - un reforç) o de discriminació (estímul- paraula - reforç).

        La dificultat d'aquest exercici està en que els errors produïts en el mòdul de reconeixement de veu TocaToca els visualitza com errors de l'usuari i aquest es troba en la paradoxa que, tot i fent-ho bé, el programa li presenta constantment el malament.

        Per aquest motiu

        1. L'estímul i el reforç poden ser una imatge, una paraula, un color, però no un fitxer wav de so.
        2. L'acció serà la Tecla de la llista on posarem una única lletra o nombre.
        3. Només es configurarà el reforç Si bé i no es posarà reforç Si mal.

        Amb aquesta estratègia el programa donarà respostes correctes a les produccions bones, mai donarà respostes incorrectes. Aquelles produccions bones que no tinguin resposta serà degut a una mala comprensió del Motor de Reconeixement de Veu.

        A General planificarem el sistema de reconeixement de veu.
        Sons contindrà les lletres que hem posat com Accions separades per comes, per exemple A, B, C...
        Cal prémer Entrenament i després d'una pantalla de presentació apareixeran les lletres, una per una, i haurem de produir el patró de so que hagi de ser reconegut, per exemple, amb la A direm SI i amb la B direm NO.

        imatge de les opcions de reconeixement de veu a General

        No té perquè haver-hi relació entre la paraula enregistrada i la lletra presentada. Les paraules enregistrades són respostes als estímuls, mentre que les lletres tan sols són codis necessaris que es passaran entre el mòdul de reconeixement de veu i el Toca Toca. Aquest primer enregistrament sempre és defectuós. Cal prémer Funcions d'Ona per a millorar-lo. Seleccionarem la paraula, l'escolarem i la tornarem a enregistrar fins aconseguir la qualitat desitjada.

        Un cops s'ha tancat la Funció d'Ona cal tornar a Opcions | Planificar | General:

        • Amb Guardar es podrà desar el fitxer amb extensió
        • Amb Fitxers de so es podrà incorporar el fitxer a l'Exercici TocaToca i utilitzar-lo automàticament la propera vegada

        El menú Opcions | Engegar posa en marxa l'exercici que podrem respondre amb el teclat o bé amb la veu.