Les proves de normalitat quantifiquen la validesa del model normal

A la primera part del document es comenta la possibilitat d'emprar la prova de per dur a terme el contrast, i s'explica que el principal inconvenient apareix a partir de la subjectivitat en l'elecció de les classes.

Per aquesta raó, hi ha tot un conjunt de proves de contrast que es basen en els valors de totes i cadascuna de les dades observades, i a partir d'elles consideren la funció de freqüències absolutes acumulades observades (és a dir, empíriques) que confronten amb la funció de distribució teòrica del model normal. Entre aquestes s'explica amb detall la prova de Kolmogorov-Smirnov, la que està més al nostre abast des del punt de vista conceptual i procedimental, i es comenta la d'Anderson-Darling.

La prova de , sí o no?

En el primer document conceptual del mòdul, hem vist la utilitat de la prova de khi quadrat per valorar la bondat de l'ajust d'un conjunt de dades categòriques o bé numèriques discretes mitjançant un model de probabilitat. Les primeres pràctiques del mòdul ens ajuden a consolidar aquests continguts.

En alguns textos o programes d'ordinador suggereixen emprar també la prova de khi quadrat en el cas de variables contínues. A la pràctica 5 ho experimentarem a partir de diversos exemples en l'entorn de l'Excel (que elaborarem a mà perquè el programa no incorpora aquest procediment com a tal en la situació que ara ens ocupa).

A la pràctica veurem de seguida un gran però que, per a les variables contínues, ens ha de portar a usaramb molta precaució. Efectivament, ja s'ha comentat a bastament que l'estudi de les variables estadístiques contínues comença per una agrupació en classes i la tabulació corresponent.

Per dur a terme el test de amb un conjunt de dades individuals corresponents a una variable contínua:

• Hem d'escollir una partició del conjunt de possibles valors de la variable per fer l'agrupació en classes.
  • D'una banda, ens interessa que aquests conjunts siguin com més petits millor de cara a maximitzar la informació que dóna l'estadístic X².
  • Però, de l'altra, aquesta decisió pot xocar amb la necessitat que els valors esperats en cada classe siguin iguals o superiors a 5 (#).
  • La millor recomanació teòrica per triar aquestes classes de manera que siguin equiprobables. Però això comporta molts problemes de càlcul.
  • Per això, el que s'acostuma a fer és prendre les classes que siguin intervals consecutius de la mateixa longitud excepte el primer i l'últim, que serien semirectes. Adoneu-vos que aquest és, justament, el mètode de tabulació que fa servir l'Excel en el procediment histograma.

• Per decidir quin és el model normal amb què volem confrontar les dades, pot ser necessari calcular la mitjana i la desviació estàndard a partir de les dades. Si ho fem així, estrictament ja sabem que s'ha de tenir en compte a l'hora de comptar el nombre de graus de llibertat amb què s'aplica la prova.

• Una vegada decidida l'agrupació en classes i el model amb què es volen ajustar les dades, es calculen les freqüències esperades en cada classe. Si cal, es corregiran els intervals perquè es compleixi (#).

• Finalment, mitjançant Análisis de datos | Histograma, es fa el recompte de freqüències observades en cada classe.

• I quan ja tenim les freqüències esperades i les freqüencies observades, ja sabem com s'ha de procedir per aplicar

Per aquesta raó, amb l'objectiu de valorar el grau de significació de l'ajust per una distribució normal d'un conjunt de dades corresponent a una variable aleatòria contínua, es busquen models teòrics que no incorporin l'agrupació en classes.

Tanmateix, en algunes altres situacions, les dades d'una variable contínua ja les trobem agrupades en intervals i ja estan tabulades. En aquestes condicions, sí que cal aplicar la prova de khi quadrat (amb l'únic i necessari control que les freqüències esperades en cada classe siguin de 5 o més) i aquest procediment serà del tot significatiu. Si només disposem de la taula de freqüències observades agrupades en classes, no tenim informació suficient per fer altra cosa.
 

A diferència del test de khi quadrat que, com acabem de dir, aplicat a una variable contínua presenta l'inconvenient de l'arbitrarietat i la pèrdua d'informació que comporta la partició de la mostra en grups de dades, les proves de normalitat més habituals (i d'ajust amb altres distribucions de probabilitat contínues) tenen en compte el valor de cadascuna de les dades.

Per altra banda, per al test de kui quadrat necessitem un conjunt nombrós de dades, cosa que no succeeix en la prova de Kolmogorov-Smirnov, que presentem en aquest apartat i que es pot aplicar a conjunts no gaire nombrosos.

• Per fer aquest test, es considera la funció que dóna les freqüències relatives acumulades de la distribució empírica, que és una funció escalonada i creixent, i aquesta funció de distribució empírica es compara amb la funció de distribució F(z) que dóna la probabilitat acumulada corresponent al model teòric.

• A la segona part de la pràctica 5 seguireu, amb l'Excel, tots els passos necessaris per fer aquest test. Com a complement tindreu una primera visió gràfica del que s'acaba d'enunciar:
  Us sembla que és un bon ajust?

  La línia vermella del gràfic correspon a la funció de distribució F(z) (probabilitat acumulada) de la distribució normal que té la mateixa mitjana i desviació estàndard que les dades de la mostra, i els punts blaus indiquen la distribució de freqüències acumulades empíriques, que designarem com a G(z). Com més lluny queden els punts blaus de la línia vermella, pitjor és l'ajust.

• Per mesurar numèricament la discrepància entre aquestes dues funcions, s'introdueix l'estadístic de Kolmogorov, D, definit com el suprem (o límit del valor més gran) dels valors que pot prendre el valor absolut de la diferència F(z)-G(z).

• Hem de considerar que el gràfic que s'ha mostrat anteriorment no ensenya exactament la funció de distribució empírica (que ja hem dit que és una funció escalonada), sinó únicament els punts on té salt. Si imaginem que tenim ordenat el conjunt de dades amb què treballem, x₁ x₁ ... x_n, i ens mirem amb més detall el gràfic que confronta la distribució empírica i la distribució teòrica, tindrem:

  A partir de l'anàlisi d'aquesta imatge, és força clar veure que l'estadístic D, és a dir, el suprem del valor absolut de la diferència F(z)-G(z), el podem trobar com el valor màxim del conjunt

  

  on x₁ x₂ ... x_n és el conjunt ordenat de les dades que analitzem.

• Com sembla natural en un test basat en un estadístic que mesura discrepàncies, la regió crítica del test es defineix de la forma D > K per a un cert valor de K. Valors petits de D, bon ajust; valors grans de D poden portar a fer dubtar del model. Hi ha un resultat teòric que diu que la llei de probabilitat de l'estadístic D, suposant que es compleixi la hipòtesi nul·la d'ajust mitjançant el model estudiat, és la mateixa per qualsevol distribució de probabilitat contínua. Aquesta distribució es pot trobar tabulada als tractats d'estadística que exposen els valors de K que corresponen a cada nivell de significació segons la mida de la mostra escollida.

  Tot seguit, teniu un extracte d'aquesta taula, que també podeu trobar al full Taula KS del llibre taules.XLS que teniu a la carpeta dels fitxers del curs:

  

• El fet que aquesta taula ens mostri que el test de Kolmogorov-Smirnov es pot aplicar a conjunts poc nombrosos de dades explica clarament el fet que habitualment es fa servir la prova per confrontar dades a un model preestablert.
  • Com, si no, podem pensar a confrontar una sola dada amb un model estadístic?
    Ja tenim idees intuïtives per fer aquesta tasca en el cas del model normal, que consisteixen a trobar el valor estandarditzat; si el valor absolut és superior a 3, ja sabem que probabilísticament hem de refusar-lo gairebé amb seguretat com a pertanyent al model; si és superior a 2, el podem refusar amb un grau de confiança del 95,5 % (nivell de significació del 4,5 %), etc. Una alternativa és el test de KS.
    
    

  Tanmateix, no hi ha contradicció teòrica si s'aplica a un model de què s'han deduït els paràmetres definidors a partir de les dades.

En la literatura estadística trobareu documentades moltes proves de normalitat. Feu una prova: escriviu al Google normality test o també prueba normalidad i tindreu clara constància del que diem. Tanmateix, l'explicació detallada de moltes d'aquestes proves escapa dels objectius d'aquest curs (i dels coneixements dels autors).

Per altra banda, convé comentar que, com que cada prova fa servir un estadístic diferent, les conclusions no són sempre coincidents (si fos així, només faria falta un test!). L'estudi de les diverses situacions en què convé aplicar un test o un altre (fins i tot dels que s'han comentat), ens portaria a un elaborat tractat d'estadística, i aquest no és pas un objectiu que ens hàgim marcat.

Aquesta és una prova inclosa en el grup de proves de la bondat de l'ajust que es basen, com la de Kolmogorov-Smirnov que s'ha explicat amb detall, en l'intent de mesurar la discrepància entre la funció que dóna les freqüències relatives acumulades de la distribució empírica de les dades recollides i la funció de distribució que dóna la probabilitat acumulada en el model teòric.

Representarem com a G(x) i F(x), respectivament, les dues funcions indicades anteriorment.

Hi ha una família d'estadístics que valoren aquesta discrepància, que rep el nom de Cramér-von Mises i que estan formulats, de manera general, així:

En el cas de la prova d'Anderson-Darling, l'estadístic es defineix mitjançant la funció de ponderació següent:

Per tant, és interessant tenir-ho en compte per emprar el test d'Anderson-Darling i pensar que moltes altres proves de normalitat vigilen molt contra una excessiva influència dels valors extrems.