基础树模型
0. 引言 基础的树模型主要包含: 决策树(Decision Tree) 随机森林(Random Forest) 梯度提升树(Gradient Boosting Trees) 1. 决策树(Decision Tree) 1.1 算法原理 决策树是一种树形结构的分类和回归模型,通过对数据特征进行条件判断,将数据划分成不同的区域。树的每个节点代表一个特征的判断条件,叶子节点代表最终的类别或预测值。 ...
0. 引言 基础的树模型主要包含: 决策树(Decision Tree) 随机森林(Random Forest) 梯度提升树(Gradient Boosting Trees) 1. 决策树(Decision Tree) 1.1 算法原理 决策树是一种树形结构的分类和回归模型,通过对数据特征进行条件判断,将数据划分成不同的区域。树的每个节点代表一个特征的判断条件,叶子节点代表最终的类别或预测值。 ...
1. 引言 在机器学习领域,梯度提升树(Gradient Boosting Tree)是一种非常强大的集成学习方法,而XGBoost(eXtreme Gradient Boosting)是梯度提升树的高效实现,因其速度快、性能优异而广受欢迎,广泛应用于分类、回归、排序等任务。 ...
线性代数 线性代数是机器学习的数学基础,为数据表示和算法实现提供了核心工具。深入理解线性代数原理对于掌握现代机器学习算法至关重要。 核心概念与数学原理 向量空间与线性变换 定义:向量空间V是满足以下公理的集合,配备加法和标量乘法运算: ...