La intenció d'aquest programa és facilitar la discriminació del fonemes a persones amb deficiències auditives o amb dificultats a la parla.

La idea per tractar d'aconseguir-ho és controlar senzills jocs amb la veu.

En principi el programa funciona comparant patrons de veu que el mateix programa permet crear.

Quant engeguem el programa apareix després del quadre de crèdit apareix el següent quadre:

Aquí tenim quatre opcions:

Carregar un patró de fonemes:

Ens permetrà recuperar un patró de fonemes prèviament entrenats i desats amb l'opció Guardar... . Aquesta opció és la mateixa que la del menú Obrir fitxer.

Crear un patró de fonemes :

Això ens permetrà construir patrons de fonemes. Aquesta opció és la mateixa que la del menú Entrenament.

Control del volum del micròfon:

Fa aparèixer una finestra on podrem veure el nivell de so d'entrada quan estigui el sistema de captura de so en funcionament, o sigui quan estiguem entrenant a l'ordinador o quan estem fent el reconeixement.

La barra de desplaçament, la fletxa, ens permet triar el nivell mínim de reconeixement. Què vol dir això els sons que no arribin al nivell de la fletxa no seran mai reconeguts, els que la passin ocasionaran el procés de reconeixement. Aquest nivell es pot canviar desplaçant la fletxa esquerra o dreta, depenent de si estem en un ambient silenciós o sorollós també pot interessar modificar això si el nivell de detecció del nostre sistema micròfon-placa és molt o poc sensible.

Aquest quadre també ens permet accedir al programa Control del volum, programa que ve amb el Windows o amb la targeta de so, i a partir d'ell pujar o baixar el nivell del volum de l'entrada de so.

Si no es veu cap senyal caldrà pujar el nivell del comandament del volum del micròfon. Si pel contrari el senyal s'activa i arriba al final molt fàcilment caldrà baixar el comandament del volum del micròfon.

Quant apareix aquest quadre es manté el quadre anterior per si volem fer l'entrenament o el reconeixement.

Cancel·lar:

Si premem aquest botó no passa res, anem directament a la finestra principal del programa i podrem fer les opcions que explicarem a continuació.

Arrencar el programa amb un paràmetre:

Si arrenquem el programa amb un paràmetre, per exemple:

el programa carregarà el fitxer PepetAAEÈÉIOU.SonsTpmSR02, si conté paràmetres correctes de reconeixement passarà a la pantalla principal.

Recordeu que es pot fer això clicant al botó Inicio del Windows i clicar en executar programa on podem escriure la línia de comandes.

També es pot fer en l'explorador del Windows clicant en el fitxer i arrossegant-lo damunt del fitxer .exe del programa.

La finestra principal del programa té el següent aspecte:

-Hi veiem la barra de títol. Aquí s'hi escriurà el fonema reconegut.

-Hi ha una barra de menús que descriurem més endavant.

-Sota la barra de menús hi ha un espai gris. Aquí s'hi escriuran els fonemes que pot entendre.

-Un quadre amb unes fletxes. Aquí s'hi escriuran els fonemes que equivalen a les tecles que controlaran els jocs.

-Al seu costat, un quadre on apareixerà en lletra grossa el fonema reconegut quan es faci el reconeixement.

Hi ha quatre opcions, n'hi ha algunes que s'habilitaran o deshabilitaran, es tornen grises, segons l'estat del programa.

Obrir..., permet carregar un fitxer de patrons que prèviament hàgim desat amb aquest programa. Actua de la mateixa manera que ho hem explicat abans. L'extensió per defecte d'aquest programa és: SonsTpmSR02, tal com sempre es recomana, no és bo canviar-la. El programa, automàticament, a l'iniciar-se s'associa amb aquesta extensió. Si hi hagués un altre programa amb aquesta mateixa extensió, cosa altament improbable, excepte que tinguem dues o més còpies d'aquest programa en el nostre disc dur, ens preguntarà si volem associar-lo a ell. Recordem que si el fitxer conté dades correctes, en cas contrari ja ens ho farà saber.

Guardar..., permet desar les dades de reconeixement prèviament recollides amb l'opció Entrenament en un fitxer del disc. Tal com hem dit abans l'extensió per defecte és: SonsTpmSR02 i no és convenient canviar-la.

Veure el nivell del so..., dóna accés al mateix quadre sobre el nivell del volum del so que hem explicat prèviament.

Sortir, permet abandonar el programa.

És l'opció que permet que l'ordinador aprengui a reconèixer la nostra veu, o la de qui sigui. És la mateixa que hem parlat abans en el quadre inicial, però que no hem explicat en profunditat i aquí passem a fer-ho. Aquí comencem a tractar les particularitats del programa ja que, fins ara, el que hem parlat acostuma a trobar-se, o coses semblants, a la majoria de programes.

En primer lloc apareix el següent quadre:

Aquí cal clicar en els sons als quals volem crear el patró de veu. Com a mínim cal clicar a dos sons.

Hi ha l'opció de canviar els sons. On hi ha escrit els sons són quadres d'edició on podem posar-hi els sons, síl·labes o paraules que vulguem. Podem, també, posar el temps de durada de reconeixement canviant el valor del quadre on hi ha un 1, que significa 1 dècima de segon (com a màxim 5 dècimes de segon). Si el que volem és que reconegui síl·labes caldrà augmentar aquest número. També pot ser bo clicar en el chekBox Detecció de principi de so quan vulguem detectar síl·labes o paraules. En general per sons és millor que aquesta opció estigui desactivada i per síl·labes o paraules és millor que estigui activada. La experiència de l'usuari l'indicarà com modificar aquests paràmetres perquè el reconeixement sigui millor.

El botó iniciar fa que els noms dels sons tornin a ser els que veieu en aquesta figura.

Suposem que hem clicat a totes les vocals: A, AE (vocal neutre), È (E oberta), É (E tancada), O, U, i cliquem retorn ens apareixerà la següent finestra:

Caldrà acostar-nos al micròfon i dir el so A durant molt poc temps un parell o tres dècimes de segon. Quant l'hagi detectat desapareixerà el quadre. Si desapareix massa depressa o sigui, abans que no hàgim dit res potser és perquè tenim el micròfon massa sensible. Recordeu el que hem explicat abans d'utilitzar l'opció control de volum del micròfon. Al principi seria un bon costum tenir aquesta finestra sempre oberta per veure si cridem massa fort o fluix o tenim el valor del micro massa amunt o massa avall. Si pel contrari per més que cridem no passa res, o sigui que no desapareix aquest quadre pot ser degut a què les següents causes o el micròfon no està correctament endollat a la targeta de so o el nivell del micròfon està massa avall. En aquest últim cas aneu a l'opció control del volum.

En el cas que no hi hagués targeta instal·lada, o estigués mal instal·lada o hi hagués un altre programa fent servir l'entrada de veu com pot ser la gravadora de Windows o el wave estudio de la Sound Blaster. Abans que sortís l'anterior quadre us sortiria el següent:

En aquest cas caldrà que us assabenteu quin dels problemes mencionats és el que falla i corregiu-lo. Fins que no estigui la targeta i el micro correctament instal·lat i que no hi hagi cap programa que la faci servir el programa no pot funcionar. Si l'ordinador tingués més d'una targeta no sé massa que pot passar aquest programa fa servir la que l'ordinador hagi configurat com a primera. Però suposo que no es donarà gaire casos que això passi.

Suposant que no hi ha hagut aquesta dificultat i ha aparegut la paraula a reconèixer i l'ordinador l'ha detectat correctament a continuació apareixerà un nou quadre:

On fem exactament el que hem dit abans podrem entrenar el so que ordenarà a la rata que es mogui cap a la dreta. Si funciona normalment apareixeran després els següents quadres:

Si tot ha anat bé veureu com la finestra principal ha canviat d'aspecte i l'opció del menú Exercicis de discriminació haurà deixat de ser gris i serà de color negre, que vol dir que ara ja està activa.

Quan no funciona el reconeixement veureu que el menú Guardar com... està activat aquesta és l'opció que farem servir si els patrons de reconeixement són prou bons i volem guardar-los per una altra ocasió i no volem fer el reconeixement.

Si l'activem apareixen 7 submenús:

Discriminació de fonemes: Si l'activem comença el reconeixement veureu que els menús, Entrenament i Exercicis de discriminació es desactiven i s'activa el menú parar. Si acostem el micròfon a la boca i diem sons semblants als fonemes que hi ha en el patró que hem gravat o recuperat del disc veurem el més semblant indicat amb lletra gran en el quadre de la dreta, que també apareix en la barra de títol. Aquest és l'exercici més simple i l'únic feetback que tenim és que apareix el fonema reconegut indicat.

A continuació vénen 4 submenús que és on s'activen els jocs de discriminació de fonemes. Cadascun d'ells obre un subsubmenú que porta al joc. Alguna persona pot pensar que per què hi ha aquest altre submenú. La raó va ésser perquè es donés la possibilitat de fer diferents jocs per a un mateix nombre de fonemes per discriminar, però és possible que això canvi perquè no tenim gaire temps per fer jocs i a l’haver implementat l'opció programa extern, que explicarem més endavant.

Aquestes quatre opcions són equivalents, l'única diferència és el nombre de fonemes a discriminar. Explicarem la: Joc de 3 fonemes ->Platets voladors.

Al clicar apareix el següent quadre, que és molt semblant a un anterior:

Veiem que només apareixen actives les caselles dels fonemes que tenim en el patró. Aquí cal triar tants fonemes com tecles necessiti el joc. En el nostre cas 3 tecles. Caldrà clicar consecutivament 3 caselles per a cadascuna de les tecles. O sigui, primer per a la tecla esquerra, després per a la tecla dreta i finalment per a la tecla disparar, que són les 3 tecles que necessita el joc platets voladors. Quant hàgim clicat en 3 fonemes apareixerà el mateix quadre amb el següent aspecte:

Veiem que s'ha activat la tecla D'acord. Si ho fem apareixerà el joc corresponent, en aquest cas platets voladors i s'activarà el reconeixement de veu i ja podrem controlar el joc amb la veu. En aquest cas si diem AE (vocal neutra) veureu com el coet va a l'esquerra, si dieu È (E oberta) el coet anirà a la dreta i si dieu I el coet dispararà. De fet al principi del joc apareix la primera pantalla on s'explica el funcionament del programa. Per començar dispareu, o sigui dieu I.

Es pot parar el joc i el reconeixent de veu en qualsevol moment clicant al menú parar.

Si pareu el joc podeu reanudar-lo clicant a l'opció del menú Tornar a jugar o continuar a l'últim joc.

Nota: ChekBox Només discriminar els sons triats. Aquesta és una opció important. Si el nostre patró de sons conté 5 fonemes i el joc en necessita 3, per defecte el programa reconeix tots 5 sons o sigui, que si diguem un so semblant a un dels que no controlen el joc es farà el reconeixement d'aquest s'indicarà en la finestra, però no farà cap efecte en el joc. Si s'activa aquesta opció llavors només es compararà amb els 3 únics sons que controlen el programa. Per si hi ha moltes dificultats en dir els fonemes correctament.

Aquesta opció és prou important com perquè li dediquem un apartat apart. Està pensada per obrir el màxim possible el programa. Si la cliquem apareixerà un quadre estàndard d'obrir fitxers on podrem escollir un programa per executar.

Aquest programa pot ser en principi qualsevol. No té perquè tenir cap relació amb el projecte Fressa 2000. Si triem un programa i cliquem Abrir (el llenguatge depèn del Windows que tingueu) s'executarà el programa i al cap de 5 segons ha d'aparèixer el següent quadre. Si no apareixés cliqueu en la finestra principal del programa ReconeixementDeFonemes:

Si en el quadre anterior cliquem Cancel·lar podrem escollir un joc que estigui en pantalla triant-lo en el quadre que ha aparegut.

Aquí caldrà clicar damunt de les caselles que indiquen les tecles que controlen el vostre programa. Hi ha aquestes tecles perquè són les que creiem que controlen a la majoria de jocs. Si algú vol fer un joc controlat per veu feu servir aquestes tecles. Si algú coneix un joc que vol controlar amb fonemes i no fa servir aquestes tecles feu-nos-ho saber.

Detall important, perquè les tecles s'enviïn al programa correcte cal conèixer el nom de la finestra Windows contenidora del programa. En principi si tot funciona com cal ha d'ésser la que apareix en el quadre d'edició Platets voladors per scaneig de teclat. Si no fos aquesta la finestra feu doble clic en aquest quadre d'edició, s'actualitzen els títols de finestra que en aquest moment s'estan executant i després cliqueu en la fletxa i es desplegaran els títols de les finestres disponibles cliqueu en la del vostre joc o programa i ja podreu prémer d'acord i a continuació succeirà el mateix que passava en els jocs del programa. O sigui, sortirà el quadre on podeu associar cada tecla amb un fonema. A continuació s'activarà el reconeixement i en principi podreu jugar al joc amb reconeixement de fonemes com si d'un dels jocs del programa es tractés. Cal fer notar que els jocs del programa són excloents, és a dir, quan juguem a un joc el programa descarrega els altres jocs que hi ha, però no ho fa amb els programes externs. Per descarregar (sortir) dels programes externs ho haureu de fer de la forma que ho faci el programa, si és una aplicació Windows normal amb Alt + F4 acostuma a funcionar. Procureu descarregar els programes cada vegada que comenceu un joc nou, sinó no sabreu a quin programa envieu les tecles.

Si l'activem apareixen 4 submenús:

Veure les funcions d'ona. Serveix per detectar problemes de reconeixement. Expliquem aquesta opció més avall.

Treure els jocs de la pantalla. Si volem treure els jocs del programa que hem executat prèviament. També es pot fer manualment sortint d'ells.

Intercanviar els botons de la rata. Aquesta opció només serveix per si es juga al joc de 5 sons, bonk, joc del matamosques. Aquest joc no es controla per tecles, sinó amb la rata i es cacen mosques clicant. Si sou esquerrans i feu servir el mouse amb la ma esquerra és possible que tingueu els botons intercanviats. Si fos així no caçaríeu mosques mai perquè de fet clicaríeu amb l'altre botó. Amb aquesta opció podeu intercanviar els clics que envieu al programa bonk.

Doneu una mica de confiança al programa, torneu a repetir l'entrenament i torneu-ho a provar al principi pot costar una mica, però quan funcioni veureu que el resultat és espectacular.

Hi ha alguna manera de veure perquè falla el reconeixement si és que ho fa? Sí, menú Opcions, opció Veure funcions d'ona.

Si cliqueu aquesta opció us apareixerà la finestra següent:

Aquí tindreu el so que us ha gravat per fer el reconeixement. Si veieu alguna gràfica de funció que es vegi molt poc potser no s'ha gravat res. Clicant a l'últim botó podrem escoltar tots els sons gravats per si realment hem dit i s'ha gravat el que pensem que hem dit i gravat. Amb el primer botó podem escoltar cadascun dels sons independentment dels altres triant-lo en el quadre d'elecció que ara apareix la llegenda AE-Esquerra. Si algun so estigués mal gravat podem tornar a fer l'entrenament per aquest últim so clicant en el botó de color vermell que ens farà aparèixer un dels quadres descrits anteriorment, i que en aquest cas seria:

I podem tornar a gravar el so. L'altre botó, el de la fletxa assenyalant a una espècie de dibuix d'un disc dur, serveix per desar la gravació com a fitxer .wav. No és una opció que interessi massa per a l'objectiu del programa.

Aprofito per dir que si ens passegem per damunt de qualsevol botó apareixerà un tip que ens dirà què fa el botó.

El primer so, de color vermell, és al qual li fem el reconeixement els blaus sons els patrons. Si tenim triat aquest primer veureu com al botó de la rodona vermella li desapareix aquesta rodona. És perquè el botó és torna inactiu. Aquest so no és un patró.

Si alguna persona té certa curiositat i es pregunta si el reconeixement es fa comparant aquestes funcions, vos dic que no. És fa fent unes transformacions matemàtiques a aquestes funcions.

Visualitzador de veu - Discriminador de fonemes és un programa que està contínuament en evolució. És possible que la versió que tingueu tingui més opcions que no estan recollides en aquest manual o alguna cosa canviada.

Visualitzador de veu - Discriminador de fonemes s'està desenvolupant per en Jordi Lagares i Roset, professor de matemàtiques de l'IES Santa Eugènia de Girona.

Visualitzador de veu - Discriminador de fonemes és una primera aproximació a l'ús del reconeixement de veu per a ajudar a discriminar fonemes per a persones amb dificultats de la parla.

Tot i les limitacions que pugui tenir aquest programa pensem que pot ajudar a l'escola a cobrir un vuit de manera raonable reservant altres solucions més costoses per equips més especialitzats.

Per qualsevol suggeriment i aportació, que serà ben rebuda, us podeu adreçar per correu electrònic a: jlagares@pie.xtec.es.

Podeu obtenir més informació i altres programes del mateix autor a l'adreça: http://www.xtec.es/~jlagares.

La versió més actualitzada del present programa la trobareu en aquesta adreça.

L'autor vol expressar a Joaquim Fonoll del Programa d'Informàtica Educativa i a les professores del CREDAG i de l'escola Maçana de Salt, el més sincer agraïment pel suport, suggeriments fets a aquest programa.