Per la statistica, il Criterio di informazione Bayesiano (Bayesian information criterion, BIC) o Criterio di Schwarz (indicato anche come SBC, SBIC) è un criterio per la selezione di un modello tra una classe di modelli parametrici con un diverso numero di parametri. La scelta di un modello che ottimizzi il BIC costituisce una forma di regolarizzazione.
Stimando i parametri del modello mediante il metodo della massima verosimiglianza, è possibile aumentare la verosimiglianza attraverso l'aggiunta di parametri, la qual cosa può provocare overfitting. Il BIC risolve questo problema introducendo un termine di penalizzazione per il numero di parametri nel modello.
Il BIC è stato sviluppato da Gideon E. Schwarz, il quale ha fornito argomentazioni bayesiane per la sua adozione. Risulta strettamente correlato al criterio informativo di Akaike (AIC). In BIC, la penalizzazione per parametri aggiuntivi è più forte di quella dell'AIC.
Definizione Nel caso generale è definito come
dove è il numero di parametri nel modello statistico, il numero di osservazioni e è il valore che massimizza la funzione di verosimiglianza del modello stimato.
Applicazioni Il BIC è stato ampiamente utilizzato per l'identificazione del modello di serie storiche e regressione lineare. Può, tuttavia, essere ampiamente applicato a qualsiasi insieme di modelli basati sulla massima verosimiglianza. Tuttavia, in molte applicazioni (per esempio, la selezione di un corpo nero o una legge di potenza dello spettro per una sorgente astronomica), il BIC si riduce semplicemente alla scelta della massima verosimiglianza, perché il numero di parametri è uguale per i modelli di interesse.
Note
Bibliografia Liddle, A.R., "Information criteria for astrophysical model selection", McQuarrie, A. D. R., and Tsai, C.-L., 1998. Regression and Time Series Model Selection. World Scientific. Priestley, M. B., 1981. Spectral Analysis and Time Series: Volume 1: Univariate Series. Academic Press.
Voci correlate Criterio informativo di Akaike
Collegamenti esterni
Categoria:Analisi di regressione Categoria:Apprendimento automatico