决策树是我们最常见的机器学习算法，和网上的博客和教材都介绍了决策树的不同，本文以“分而治之”的思想介绍了决策树的来源，包括ID3，C4.5 和 CART树，分别讲解了这些算法的原理，几何意义和物理意义，让大家更加清楚三种决策树短发的本质和由来。里面有一些自己的观点和体会，如有不当，请大家指正。

本文从无约束的优化问题、有等式约束的优化问题和等式和不等式约束的优化问题三种优化问题的几何意义入手，讲解了L1 正则化和 L2 正则化的几何含义，进而推广至正则化的一般形式： $L_q$ 正则化 和 Elastic Net 正则化，得到L1 正则化和 L2 正则化的折中版本。

很多同学在入门机器学习的时候都会好奇，这么多的机器学习指标，到底要用哪个？这些指标的含义和优缺点是什么？他们之间有没有联系？像AUC这种常用的指标到底是什么意思，它的核心idea又是什么？它是怎样计算出来的？

下面，我会用通俗易懂的语言，介绍不同的机器学习评估指标的具体含义，优缺点，以及它们之间的联系，将常用的机器学习评估指标串成一条线。然后重点介绍了AUC的来历，核心的idea以及计算过程。并简要介绍了评估指标和代价函数之间的关系和区别。里面有一些自己的观点和体会，如有不当，请大家指正。废话少说，上正文哈！！！