极限学习机的快速留一交叉验证算法

上海交通大学学报（自然版） ›› 2011, Vol. 45 ›› Issue (08): 1140-1145.

• 自动化技术、计算机技术 • 上一篇下一篇

极限学习机的快速留一交叉验证算法

刘学艺a，李平a,b，郜传厚c

（浙江大学 a.航空航天学院； b.工业控制研究所； c.数学系，杭州 310027）

收稿日期:2011-03-15 出版日期:2011-08-30 发布日期:2011-08-30
基金资助:
国家高技术研究发展计划(863)项目(2006AA04Z184)，国家自然科学基金资助项目(10901139，60911130510，60874029)

Fast Leave-One-Out Cross-Validation Algorithm for Extreme Learning Machine

LIU Xue-Yi-a, LI Ping-a, b , GAO Chuan-Hou-c

(a. School of Aeronautics and Astronautics; b. Institute of Industrial Process Control;c. Department of Mathematics, Zhejiang University, Hangzhou 310027, China)

Received:2011-03-15 Online:2011-08-30 Published:2011-08-30

摘要/Abstract

摘要： 针对回归和分类问题，提出一种极限学习机(Extreme Learning Machine, ELM)的快速留一交叉验证算法，并从理论和数值仿真两方面说明其有效性.结果表明，该算法避免了以训练样本数量N次的ELM模型的显式训练，其计算复杂度与N仅呈线性趋势增长，即O(N).即使在处理大型数据集建模问题时，该算法仍然可以快速地进行ELM模型的选择和评价.通过人工和实际数据集上的仿真实验，验证了该快速留一交叉验证算法的有效性.

关键词: 极限学习机, 留一法, 交叉验证, 计算复杂性

Abstract: Leaveoneout crossvalidation has proved to be near capable of giving the unbiased estimation of the generalization performance of statistical models, and thus can provide a reliable criterion for model selection and comparison. For this reason, the current paper presented a fast leaveoneout crossvalidation algorithm in the framework of extreme learning machines (ELMs) with respect to both regression and classification problems, which can avoid training explicitly and just has the complexity of O(N) for a data set with N points. The validity of the algorithm is also strictly proved. The simulations conducted on the artificial and realworld problems show the effectiveness and efficiency of the proposed algorithm.

Key words: extreme learning machine (ELM), leaveoneout, crossvalidation, computational complexity

中图分类号:

TP18
O234

刘学艺a, 李平a, b, 郜传厚c. 极限学习机的快速留一交叉验证算法[J]. 上海交通大学学报（自然版）, 2011, 45(08): 1140-1145.

LIU Xue-Yi-a, LI Ping-a, b , GAO Chuan-Hou-c. Fast Leave-One-Out Cross-Validation Algorithm for Extreme Learning Machine[J]. Journal of Shanghai Jiaotong University, 2011, 45(08): 1140-1145.

参考文献

［1］Xu J X, Hou Z S. Notes on datadriven system approaches［J］. Acta Automatics Sinica, 2009, 35(6): 668675.

［2］许开州，胡德金，魏臣隽. 基于正交试验和Vogl快速BP网络的球面磨削工艺优化方法［J］. 上海交通大学学报，2009，43（12）：19561961.

XU Kaizhou, HU Dejin, WEI Chenjun. Vogl fast BP network and orthogonal experiment method in optimization of sphere grinding process parameters［J］. Journal of Shanghai Jiaotong University, 2009, 43(12): 19561961.

［3］Huang G B, Zhu Q Y, Siew C K. Extreme learning machine: Theory and applications［J］. Neurocomputing, 2006, 70: 489501.

［4］Zhang R, Huang G B, Sundararajan N, et al. Multicategory classification using extreme learning machine for microarray gene expression cancer diagnosis［J］. IEEE/ACM Transactions on Computational Biology and Bioinformatics, 2007, 4(3): 185495.

［5］Miche Y, Sorjamaa A, Bas P, et al. OPELM: Optimally pruned extreme learning machine［J］. IEEE Transactions on Neural Networks,2010,21(1):159162.

［6］Kim J, Shin H S, Shin K, et al. Robust algorithm for arrhythmia classification in ECG using extreme learning machine［J］. BioMedical Engineering Online, 2009, 8: 112.

［7］邓万宇，郑庆华，陈琳，等. 神经网络极速学习方法研究［J］. 计算机学报，2010，33（2）：279287.

DENG Wanyu, ZHENG Qinghua, CHEN Lin, et al. Research on extreme learning of neural networks［J］. Chinese Journal of Computers, 2010, 33(2): 279287.

［8］Opper M, Winter O. Gaussian processes and SVM: Mean field and leaveone out［C］//Advances in Large Margin Classifers. Cambridge: MIT Press, 2000: 311326.

［9］Zhao Y, Kwoh C K. Fast leaveoneout evaluation and improvement on inference for LSSVMs［C］//Proceedings of the 17th International Conference on Pattern Recognition. Cambridge: IEEE CS, 2004: 494497.

［10］Cawley G, Talbot N. Fast exact leaveoneout crossvalidation of sparse leastsquares support vector machines［J］. Neural Networks, 2004, 17(10): 14671475.

［11］Cawley G C, Talbot N L C. Efficient leaveoneout crossvalidation of kernel fisher discriminant classifiers［J］. Pattern Recognition, 2003, 36(11): 25852592.

[1]	金皓纯, 葛敏辉, 徐波. 基于极限学习机的双馈感应风力发电机综合自适应调频参数优化方法[J]. 上海交通大学学报, 2021, 55(S2): 42-50.
[2]	席剑辉, 姜瀚, 陈博, 傅莉. 基于PCA-ELM的红外多光谱辐射测温[J]. 上海交通大学学报, 2021, 55(7): 891-898.
[3]	丘文桢, 宋兴宇, 张新曙. 基于代理模型的三立柱半潜平台多目标优化[J]. 上海交通大学学报, 2021, 55(1): 11-20.
[4]	李春祥, 张浩怡. 基于混合多变量经验模态分解和极限学习机的非平稳过程预测[J]. 上海交通大学学报, 2020, 54(4): 376-386.
[5]	张林林，胡熊伟，李鹏，石访，于之虹. 基于极限学习机的电力系统暂态稳定评估方法[J]. 上海交通大学学报, 2019, 53(6): 749-756.
[6]	刘敏，张英堂，李志宁，范红波. 基于增量稀疏核极限学习机的柴油机故障在线诊断[J]. 上海交通大学学报（自然版）, 2019, 53(2): 217-224.
[7]	钟国强1,2，王浩1，张国华1，覃卫民1，王成汤1,2，熊俊峰1,2. 基于RS-MIV-ELM模型的基坑水平位移影响因素分析和预测[J]. 上海交通大学学报（自然版）, 2018, 52(11): 1508-1515.
[8]	张伟，许爱强，高明哲. 一种基于积累一致性测量的在线状态预测算法[J]. 上海交通大学学报（自然版）, 2017, 51(11): 1391-1398.
[9]	卢诚波，梅颖. 前馈网络的一种高精度鲁棒在线贯序学习算法[J]. 上海交通大学学报（自然版）, 2015, 49(08): 1137-1143.
[10]	王萍，王迪，冯伟. 基于流形正则化的在线半监督极限学习机[J]. 上海交通大学学报（自然版）, 2015, 49(08): 1153-1158.
[11]	刘菲菲，彭荻，贺彦林，朱群雄. 基于极限学习的过程神经网络研究及化工应用[J]. 上海交通大学学报（自然版）, 2014, 48(07): 977-981.
[12]	张英堂,马超，李志宁，范红波. 基于快速留一交叉验证的核极限学习机在线建模[J]. 上海交通大学学报（自然版）, 2014, 48(05): 647-652.

极限学习机的快速留一交叉验证算法

Fast Leave-One-Out Cross-Validation Algorithm for Extreme Learning Machine

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 12

编辑推荐

Metrics

本文评价