【Python机器学习】理论知识:决策树

决策树是广泛用于分类和回归任务的模型,本质上是从一层层if/else问题中进行学习,并得出结论。这些问题类似于“是不是”中可能问到的问题。

决策树的每个结点代表一个问题或一个包含答案的终结点(叶结点)。树的边奖问题的答案与将问的下一个问题连接起来。

用机器学习的语言来说,,为了得到预测结果,利用多个特征构建一个模型,可以利用监督学习从数据中学习模型,而不需要人为构建模型。

学习决策树,就是学习一系列if/else问题,使我们能够最快的速度得到正确答案。在机器学习中,这些问题就叫做测试。数据通常不具有二元特征(是/否),而是表现为连续特征。为了构造决策树,算法搜遍所有可能得测试,找到对目标变量来说信息量最大的一个。

顶结点(也叫根结点)表示整个数据集,包含属于类别0的所有点和类别1的所有点,通过测试的真假来对数据集进行区分。递归生成二元决策树,其中每个结点都包含一个测试。

对数据反复进行递归,直到划分后的每个区域都只包含单一目标值(单一类别或单一回归值)。如果树中某个叶结点包含的数据点的目标值都相同,那么这个叶结点就是纯的。

想要对新的数据点进行预测,首先要查看这个点位于特征空间划分的哪个区域,然后将该区域的多数目标值作为预测结果。从根结点开始对树进行遍历就可以找到这个区域,每一步向左还是向右取决于是否满足相应的测试。

决策树也可以用于回归任务,使用的方法相同。预测的方法是基于每个结点的测试对树进行遍历,最终找到新数据点所属的叶结点,这个数据点的输出也就是这个叶结点中所有训练点的平均目标值。

相关推荐

  1. Python机器学习理论知识决策

    2024-01-09 08:02:03       54 阅读
  2. Python 机器学习 决策 分类原理

    2024-01-09 08:02:03       54 阅读
  3. 机器学习-决策

    2024-01-09 08:02:03       42 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-01-09 08:02:03       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-01-09 08:02:03       101 阅读
  3. 在Django里面运行非项目文件

    2024-01-09 08:02:03       82 阅读
  4. Python语言-面向对象

    2024-01-09 08:02:03       91 阅读

热门阅读

  1. wiki 爬虫记录

    2024-01-09 08:02:03       59 阅读
  2. Qt Creator 常用快捷键

    2024-01-09 08:02:03       55 阅读
  3. python 人脸检测与人脸识别

    2024-01-09 08:02:03       49 阅读
  4. ctypes实现numpy和OpenCV Mat之间的数据交互

    2024-01-09 08:02:03       60 阅读
  5. HarmonyOS应用开发者基础(初级)认证题库

    2024-01-09 08:02:03       56 阅读
  6. Python处理音频文件两个非常重要库

    2024-01-09 08:02:03       61 阅读
  7. Linux 软件安装以及管理

    2024-01-09 08:02:03       59 阅读
  8. 04MyBatis核心配置文件

    2024-01-09 08:02:03       58 阅读
  9. facebook可以去批量私信吗

    2024-01-09 08:02:03       63 阅读