搜索
您的当前位置:首页AIC和BIC

AIC和BIC

时间:2022-06-19 来源:飒榕旅游知识分享网
AIC和BIC

⼀、模型选择之AIC和BIC

 ⼈们提出许多信息准则,通过加⼊模型复杂度的惩罚项来避免过拟合问题,此处我们介绍⼀下常⽤的两个模型选择⽅法

 ⾚池信息准则(Akaike Information Criterion,AIC)和贝叶斯信息准则(Bayesian Information Criterion,BIC)

 AIC是衡量统计模型拟合优良性的⼀种标准,由⽇本统计学家⾚池弘次在1974年提出

 它建⽴在熵的概念上,提供了权衡估计模型复杂度和拟合数据优良性的标准,通常情况下,AIC定义为:

AIC=2K−2ln(L)

 

 其中K是模型参数个数,L是似然函数。从⼀组可供选择的模型中选择最佳模型时,通常选择AIC最⼩的模型。

 当两个模型之间存在较⼤差异时,差异主要体现在似然函数项,当似然函数差异不显著时,上式第⼀项,即模型复杂度则起作⽤,从⽽参数个数少的模型是较好的选择。

 ⼀般⽽⾔,当模型复杂度提⾼(k增⼤)时,似然函数L也会增⼤,从⽽使AIC变⼩,但是k过⼤时,似然函数增速减缓,导致AIC增⼤,模型过于复杂容易造成过拟合现象

 ⽬标是选取AIC最⼩的模型,AIC不仅要提⾼模型拟合度(极⼤似然),⽽且引⼊了惩罚项,使模型参数尽可能少,有助于降低过拟合的可能性。

 BIC(Bayesian InformationCriterion)贝叶斯信息准则与AIC相似,⽤于模型选择,1978年由Schwarz提出。

 训练模型时,增加参数数量,也就是增加模型复杂度,会增⼤似然函数,但是也会导致过拟合现象

 针对该问题,AIC和BIC均引⼊了与模型参数个数相关的惩罚项,BIC的惩罚项⽐AIC的⼤,考虑了样本数量,样本数量过多时,可有效防⽌模型精度过⾼造成的模型复杂度过⾼:

BIC=Kln(n)−2ln(L)

 其中,K为模型参数个数,n为样本数量,L为似然函数。Kln(n)惩罚项在维数过⼤且训练样本数据相对较少的情况下,可以有效避免出现维度灾难现象。

Processing math: 100%

因篇幅问题不能全部显示,请点此查看更多更全内容

热门图文

Top