Lavalidació encreuada[1] —cross-validation en anglès— és unatècnica utilitzada peravaluar els resultats d'una anàlisiestadística i garantir que són independents de la partició entredades d'entrenament i prova. Consisteix a repetir icalcular lamitjana aritmètica obtinguda de lesmesures d'avaluació sobre diferents particions. S'utilitza en entorns on l'objectiu principal és la predicció i es vol estimar com és deprecís un model que es durà a terme a la pràctica.[2] És una tècnica molt utilitzada en projectes d'intel·ligència artificial per a validar models generats.
La validació creuada prové de la millora del mètode de retenció oholdout method. Aquest consisteix adividir en dosconjuntscomplementaris les dades de mostra, realitzar l'anàlisi d'unsubconjunt (anomenat dades d'entrenament otraining set), i validar l'anàlisi en l'altre subconjunt (anomenat dades de prova otest set), de manera que lafunció d'aproximació només s'ajusta amb el conjunt de dades d'entrenament i a partir d'aquí calcula els valors de sortida per al conjunt de dades de prova (valors que no ha analitzat abans). L'avantatge d'aquest mètode és que és molt ràpid a l'hora decomputar. No obstant això, aquest mètode no és massaprecís degut a la variació del resultats obtinguts per a diferents dades d'entrenament. L'avaluació pot dependre en gran manera de quina és ladivisió entre dades d'entrenament i de prova i, per tant, pot ser significativament diferent en funció de com es realitzi aquesta divisió.Degut a aquestes mancances apareix el concepte de validació encreuada.[4]
Suposem que tenim un model amb un o mésparàmetres d'ajust desconeguts i unesdades d'entrenament que volem analitzar. El procés d'ajustoptimitza els paràmetres del model perquè aquest s'ajusti a les dades d'entrenament tan bé com pugui. Si agafem una mostra independent com a dada de prova (validació), del mateix grup que les dades d'entrenament, normalment el model no s'ajustarà a les dades de prova tan bé com a les dades d'entrenament. Això s'anomenasobre-ajust i acostuma a passar quan la mida de les dades d'entrenament és petita o quan el nombre deparàmetres del model és gran. La validació encreuada és una manera de predir l'ajust d'un model a unhipotètic conjunt de dades de prova quan no disposem del conjunt explícit de dades de prova.[5]
En la validació encreuada deK iteracions oK-fold cross-validation les dades de mostra es divideixen enKsubconjunts. Un dels subconjunts s'utilitza com a dades de prova i la resta (K-1) com a dades d'entrenament. El procés de validació encreuada és repetit durantk iteracions, amb cada un dels possibles subconjunts de dades de prova. Finalment es realitza lamitjana aritmètica dels resultats de cada iteració per a obtenir un únic resultat. Aquests mètode és molt precís, ja que avaluem a partir deK combinacions de dades d'entrenament i de prova, però tot i així té un desavantatge, i és que, a diferència del mètode de retenció, és lent des del punt de vistacomputacional.[5] A la pràctica, l'elecció del nombre d'iteracions depèn de la mida del conjunt de dades. El més comú és utilitzar la validació encreuada de 10 iteracions (10-fold cross-validation).[6]
Aquest mètode consisteix a dividiraleatòriament el conjunt de dades d'entrenament i el conjunt de dades de prova. Per a cada divisió la funció d'aproximació s'ajusta a partir de les dades d'entrenament i calcula els valors de sortida per al conjunt de dades de prova. El resultat final es correspon a lamitjana aritmètica dels valors obtinguts per a les diferents divisions. L'avantatge d'aquest mètode és que la divisió de dades entrenament-prova no depèn del nombre d'iteracions. Però en canvi amb aquest mètode hi ha algunes mostres que queden senseavaluar i d'altres que s'avaluen més d'una vegada, és a dir, elssubconjunts de prova i entrenament es poden solapar.[7]
.jpg)
La validació encreuada deixant-ne un fora oLeave-one-out cross-validation (LOOCV) implica separar les dades de manera que per a cada iteració tinguem una sola mostra per a les dades de prova i tota la resta conformant les dades d'entrenament. L'avaluació ve donada per l'error, i en aquest tipus de validació encreuada l'error és molt baix, però en canvi, a nivellcomputacional és molt costós, ja que s'han de realitzar un elevat nombre d'iteracions, tantes comN mostres tinguem i per a cada una analitzar les dades tant d'entrenament com de prova.[8]
L'avaluació de les diferents validacions creuades normalment ve donada per l'error obtingut en cada iteració, ara bé, per cada un dels mètodes pot variar el nombre d'iteracions, segons l'elecció del dissenyador en funció del nombre dedades total.[9]
En cadascuna de les k iteracions d'aquest tipus de validació es realitza uncàlcul d'error. El resultat final l'obtenim a partir de realitzar lamitjana aritmètica delsK valors d'errors obtinguts, segons lafórmula:
És a dir, es realitza elsumatori delsK valors d'error i esdivideix entre el valor deK.
En la validació encreuada aleatòria a diferència del mètode anterior, agafem mostres a l'atzar durant k iteracions, tot i que d'igual manera, es realitza uncàlcul d'error per a cada iteració. El resultat final també l'obtenim a partir de realitzar lamitjana aritmètica delsK valors d'errors obtinguts, segons la mateixafórmula:
En la validació encreuada deixant un fora es realitzen tantes iteracions com mostres (N) tingui elconjunt dedades. De manera que per a cada una de les N iteracions es realitza un càlcul d'error. El resultat final l'obtenim realitzant lamitjana aritmètica delsN valors d'errors obtinguts, segons lafórmula:
On es realitza elsumatori delsN valors d'error i esdivideix entre el valor deN.
L'objectiu de la validació encreuada consisteix a estimar el nivell d'ajust d'un model a un cert conjunt de dades de prova independents de les utilitzades per entrenar el model. Aquestes mesures obtingudes poden ser utilitzades perestimar qualsevol mesura quantitativa d'ajust apropiada per a les dades i el model. Per exemple, en un model basat enclassificacióbinària, cada mostra es preveu com a correcta o incorrecta (si pertany a la temàtica o no), de manera que en aquest cas, la taxa d'error de classificació pot ser utilitzada per resumir l'ajust del model.
