Ace8a68f2354c8a8d9c3c54a3a050dc7
支持向量机的补充之核函数

0、前言

在之前的SVM章节中我们介绍了其具体的原理和大致推导过程,但是由于SVM只能应用于线性可分的数据,那么如果出现了线性不可分的情况怎么办呢,这就要引入今天的重点核函数。这种思想将在未来的深度学习中也会出现。

1、为什么要使用核函数

  1. 之前我们在线性回归算法中讲到的,使用多项式扩展来考虑属性间有相关性的问题。
  2. 将非线性问题变成线性问题

2、核函数的核心思想与优势

什么是核函数呢?核函数就是两个向量在隐式映射过后的高纬空间中的内积的函数。它的价值在于它虽然也是将特征进行从低维到高维的转换,但核函数它事先在低维上进行计算,而将实质上的分类效果表现在了高维上,也就说它避免了直接在高维空间中的复杂计算。

简单的来说,就是原本我们将低维的特征值映射到高维度的空间的时候,我们需要先将需要进行内积的两个向量映射到高维度的空间,之后进行内积操作。而使用核函数的价值在于,先对两个向量进行内积操作,之后再进行高维度的映射,而这个结果可以和之前先对向量进行映射的操作的方法大致相同。

top Created with Sketch.