基于流形正则化的在线半监督极限学习机

摘要/Abstract

摘要：

摘要：在基于流形正则化的半监督极限学习机(SSELM)的基础上，利用分块矩阵的运算法则，提出了在线半监督极限学习机(OSSELM)方法.为避免在实时学习的过程中由于数据累积引起的内存不足，通过对SSELM的目标函数的流形正则项的近似，给出了OSSELM的近似算法OSSELM(buffer).在Abalone数据集上的实验显示，OSSELM(buffer) 在线学习的累计时间与所处理的样本个数呈线性关系，同时，9个公共数据集上的实验表明，OSSELM(buffer)的泛化能力与SSELM的泛化能力的相对偏差在1%以下.这些实验结果说明，OSSELM(buffer)不仅解决了内存问题，还在基本保持SSELM泛化能力的基础上大幅度提高了在线学习速度，可以有效应用于在线半监督学习当中.

关键词: 极限学习机, 半监督学习, 在线学习, 流形正则化

Abstract:

Abstract： In this paper, with the help of the rules of block matrix multiplication, an online semi-supervised extreme learning machine(OSSELM) was proposed according to semi-supervised extreme learning machine (SS-ELM) based on manifold regularization.By the analysis of the manifoldregularization term of the objective function of SSELM, a kind of approximation algorithm of OSS-ELM named OSS-ELM(buffer) was proposed to avoid running out of memory in the process of online learning.The linear relationship between the sample number and the cumulative running time of the OSS-ELM(buffer) was revealed in the experiments using Abalone and the relative deviation of the generalization ability of the OSSELM and the SS-ELM is less than 1% in 9 public data sets, which show that the OSSELM(buffer) not only solves the problem of limited memory, but also improves the speed of online learning while keeping the generalization ability of SSELM. This proves that the OSSELM(buffer)can be effectively applied to online semisupervised learning.

Key words: extreme learning machine(ELM), semi-supervised learning, online learning, manifold regularization

中图分类号:

TP 183

王萍，王迪，冯伟. 基于流形正则化的在线半监督极限学习机[J]. 上海交通大学学报（自然版）, 2015, 49(08): 1153-1158.

WANG Ping,WANG Di,FENG Wei. Online Semi-Supervised Extreme Learning Machine Based on Manifold Regularization[J]. Journal of Shanghai Jiaotong University, 2015, 49(08): 1153-1158.

参考文献

［1］Huang G B, Zhu Q Y, Siew C K. Extreme learning machine: A new learning scheme of feedforward neural networks［C］∥Neural Networks, Proceedings of 2004 IEEE International Joint Conference on. Budapest：IEEE， 2004：985990.

［2］Huang G B, Zhou H, Ding X, et al. Extreme learning machine for regression and multiclass classification［J］. Systems, Man, and Cybernetics, Part B: Cybernetics, IEEE Transactions on，2012，42(2)：513529.

［3］Huang G B, Wang D H, Lan Y. Extreme learning machines: a survey［J］. International Journal of Machine Learning and Cybernetics，2011，2(2)：107122.

［4］Huang G B, Zhu Q Y, Siew C K. Extreme learning machine: theory and applications［J］. Neurocomputing，2006，70(1)：489501.

［5］Huang G B. An insight into extreme learning machines: Random neurons, random features and kernels［J］. Cognitive Computation，2014，6(3)：376390.

［6］张弦，王宏力. 局域极端学习机及其在状态在线监测中的应用［J］. 上海交通大学学报，2011，45(2)：236240.

ZHANG Xian, WANG Hongli. Local extreme learning machine and its application to condition online monitoring［J］. Journal of Shanghai Jiaotong University，2011，45(2)：236240.

［7］刘学艺,李平,郜传厚. 极限学习机的快速留一交叉验证算法［J］. 上海交通大学学报，2011，45(8)：11401145.

LIU Xueyi, LI Ping, GAO Chuanhou. Fast leaveoneout crossvalidation algorithm for extreme learning machine［J］. Journal of Shanghai Jiaotong University，2011，45(8)：11401145.

［8］张英堂，马超，李志宁，等. 基于快速留一交叉验证的核极限学习机在线建模［J］. 上海交通大学学报，2014，48(5)：641646.

ZHANG Yingtang, MA Chao, LI Zhining, et al. Online modeling of kernel extreme learning machine based on fast leaveoneout crossvalidation［J］. Journal of Shanghai Jiaotong University，2014，48(5)：641646.

［9］Huang G B, Song S J, Jatinder N D G, et al. Semisupervised and unsupervised extreme learning machines［J］. IEEE Transactions on Cybernetics, accepted paper，2014，44(12)：24052417.

［10］Chapelle O, Schlkopf B, Zien A. Semisupervised learning［M］. London: The MIT Press, 2006.

［11］Zhu X J. Semisupervised learning literature survey［R］.1530，Madison：University of Wisconsin–Madison, 2008.

［12］Andrew B G, Li M, Zhu X J. Online manifold regularization: A new learning setting and empirical study［C］∥Machine Learning and Knowledge Discovery in Databases Lecture Notes in Computer Science. Antwerp：Springer Berlin Heidelberg，2008：393407.

［13］Sun B L, Li G H, Jia L, et al. Online manifold regularization by dual ascending procedure. Mathematical Problems in Engineering［EB/OL］. 2013. http:∥www.hindawi.com/journals/ mpe/2013/838439/.

［14］黎铭，周志华. 基于多核集成的在线半监督学习方法［J］. 计算机研究与发展，2008，45(12)：20602068.

LI Ming, ZHOU Zhihua. Online SemiSupervised learning with multikernel ensemble［J］. Journal of Computer Research and Development，2008，45(12)：20602068.

[1]	金皓纯, 葛敏辉, 徐波. 基于极限学习机的双馈感应风力发电机综合自适应调频参数优化方法[J]. 上海交通大学学报, 2021, 55(S2): 42-50.
[2]	席剑辉, 姜瀚, 陈博, 傅莉. 基于PCA-ELM的红外多光谱辐射测温[J]. 上海交通大学学报, 2021, 55(7): 891-898.
[3]	李春祥, 张浩怡. 基于混合多变量经验模态分解和极限学习机的非平稳过程预测[J]. 上海交通大学学报, 2020, 54(4): 376-386.
[4]	张林林，胡熊伟，李鹏，石访，于之虹. 基于极限学习机的电力系统暂态稳定评估方法[J]. 上海交通大学学报, 2019, 53(6): 749-756.
[5]	刘敏，张英堂，李志宁，范红波. 基于增量稀疏核极限学习机的柴油机故障在线诊断[J]. 上海交通大学学报（自然版）, 2019, 53(2): 217-224.
[6]	钟国强1,2，王浩1，张国华1，覃卫民1，王成汤1,2，熊俊峰1,2. 基于RS-MIV-ELM模型的基坑水平位移影响因素分析和预测[J]. 上海交通大学学报（自然版）, 2018, 52(11): 1508-1515.
[7]	屠恩美，杨杰. 半监督学习理论及其研究进展概述[J]. 上海交通大学学报（自然版）, 2018, 52(10): 1280-1291.
[8]	张伟，许爱强，高明哲. 一种基于积累一致性测量的在线状态预测算法[J]. 上海交通大学学报（自然版）, 2017, 51(11): 1391-1398.
[9]	卢诚波，梅颖. 前馈网络的一种高精度鲁棒在线贯序学习算法[J]. 上海交通大学学报（自然版）, 2015, 49(08): 1137-1143.
[10]	刘菲菲，彭荻，贺彦林，朱群雄. 基于极限学习的过程神经网络研究及化工应用[J]. 上海交通大学学报（自然版）, 2014, 48(07): 977-981.
[11]	张英堂,马超，李志宁，范红波. 基于快速留一交叉验证的核极限学习机在线建模[J]. 上海交通大学学报（自然版）, 2014, 48(05): 647-652.
[12]	刘学艺a, 李平a, b, 郜传厚c. 极限学习机的快速留一交叉验证算法[J]. 上海交通大学学报（自然版）, 2011, 45(08): 1140-1145.
[13]	马波，周越. 一种新的多视角人脸跟踪算法[J]. 上海交通大学学报（自然版）, 2010, 44(07): 902-0906.