SVM方法是通过一个非线性映射p,把样本空间映射到一个高维乃至无穷维的特征空间中(Hilbert空间),使得在原来的样本空间中非线性可分的问题转化为在特征空间中的线性可分的问题.简单地说,就是升维和线性化.升维,就是把样本向高维空间做映射,一般情况下这会增加计算的复杂性,甚至会引起维数灾难,因而人们很少问津.但是作为分类、回归等问题来说,很可能在低维样本空间无法线性处理的样本集,在高维特征空间中却可以通过一个线性超平面实现线性划分(或回归).一般的升维都会带来计算的复杂化,SVM方法巧妙地解决了这个难题:应用核函数的展开定理,就不需要知道非线性映射的显式表达式;由于是在高维特征空间中建立线性学习机,所以与线性模型相比,不但几乎不增加计算的复杂性,而且在某种程度上避免了维数灾难.这一切要归功于核函数的展开和计算理论.
支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的,它在解决小样本、非线性及高维模式识别中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中。
回归分析是广泛应用的统计分析方法,可用于分析自变量和因变量的影响搞关系(通过自变量求因变量),也可以分析自变量对因变量的影响方向(正影响还是负影响)。回归分析的主要应用场景是进行预测和控制,例如计划制定,KPI制定,目标制定等,也可基于预测数据与实际数据进行比对和分析,确定事件发展程度并给未来行动提供方向性指导。