日志

逻辑回归 vs 决策树 vs 支持向量机

已有 1627 次阅读| 2020-9-30 19:34 |系统分类:芯片设计

上面列出的算法都是用来解决分类问题（SVM和DT也被用于回归，但这不在我们的讨论范围之内）。我多次看到有人提问，对于他的问题应该选择哪一种方法。经典的也是最正确的回答是“看情况而定！”，这样的回答却不能让提问者满意。确实让人很费神。因此，我决定谈一谈究竟是看什么情况而定。

这个解释是基于非常简化的二维问题，但足以借此来理解读者棘手的更高维度数据。

我将从最重要的问题开始讨论：在分类问题中我们究竟要做什么？显然，我们是要做分类。（这是个严肃的问题？真的吗？）我再来复述一遍吧。为了做分类，我们试图寻找决策边界线或是一条曲线（不必是直线），在特征空间里区分两个类别。

特征空间这个词听起来非常高大上，容易让很多新人犯迷糊。我给你展示一个例子来解释吧。我有一个样本，它包含三个变量：x1, x2和target。target有0和1两种值，取决于预测变量x1和x2的值。我将数据绘制在坐标轴上。