Escribir código de un árbol de decisiones en python

Los árboles de decisión se utilizan generalmente en el aprendizaje automático para la clasificación.

Ventaja: la complejidad de cálculo no es alta, los resultados de salida son fáciles de entender, no es sensible a la falta de valores intermedios, y puede manejar datos de características no relacionadas.
Desventaja: puede producir problemas de sobreajuste.
Tipos de datos aplicables: numéricos y nominales.

1.信息增益

划分数据集的目的是：将无序的数据变得更加有序。组织杂乱无章数据的一种方法就是使用信息论度量信息。通常采用信息增益，信息增益是指数据划分前后信息熵的减少值。信息越无序信息熵越大，获得信息增益最高的特征就是最好的选择。
熵定义为信息的期望，符号xi的信息定义为：

其中p(xi)为该分类的概率。
熵，即信息的期望值为：

计算信息熵的代码如下：

def calcShannonEnt(dataSet):
  numEntries = len(dataSet)
  labelCounts = {}
  for featVec in dataSet:
    currentLabel = featVec[-1]
    if currentLabel not in labelCounts:
      labelCounts[currentLabel] = 0
    labelCounts[currentLabel] += 1
  shannonEnt = 0
  for key in labelCounts:
    shannonEnt = shannonEnt - (labelCounts[key]/numEntries)*math.log2(labelCounts[key]/numEntries)
  return shannonEnt

可以根据信息熵，按照获取最大信息增益的方法划分数据集。

2.划分数据集

划分数据集就是将所有符合要求的元素抽出来。

def splitDataSet(dataSet,axis,value):
  retDataset = []
  for featVec in dataSet:
    if featVec[axis] == value:
      newVec = featVec[:axis]
      newVec.extend(featVec[axis+1:])
      retDataset.append(newVec)
  return retDataset

3.选择最好的数据集划分方式

信息增益是熵的减少或者是信息无序度的减少。

def chooseBestFeatureToSplit(dataSet):
  numFeatures = len(dataSet[0]) - 1
  bestInfoGain = 0
  bestFeature = -1
  baseEntropy = calcShannonEnt(dataSet)
  for i in range(numFeatures):
    allValue = [example[i] for example in dataSet]#列表推倒，创建新的列表
    allValue = set(allValue)#最快得到列表中唯一元素值的方法
    newEntropy = 0
    for value in allValue:
      splitset = splitDataSet(dataSet,i,value)
      newEntropy = newEntropy + len(splitset)/len(dataSet)*calcShannonEnt(splitset)
    infoGain = baseEntropy - newEntropy
    if infoGain > bestInfoGain:
      bestInfoGain = infoGain
      bestFeature = i
  return bestFeature

4.递归创建决策树

结束条件为：程序遍历完所有划分数据集的属性，或每个分支下的所有实例都具有相同的分类。
当数据集已经处理了所有属性，但是类标签还不唯一时，采用多数表决的方式决定叶子节点的类型。

def majorityCnt(classList):
 classCount = {}
 for value in classList:
  if value not in classCount: classCount[value] = 0
  classCount[value] += 1
 classCount = sorted(classCount.items(),key=operator.itemgetter(1,reverse=True)
 return classCount[0][0]

生成决策树：

def createTree(dataSet,labels):
 classList = [example[-1for example in dataSet]:
 labelsCopy = labels[:]
 if classList.count(classList[0]) == len(classList):
  devolver classList[0]
 if longitud(dataSet[0]) == 1:
  devolver cantidadMayoritaria(classList)
 mejorCaracterística = elegirMejorCaracterísticaParaDividir(ConjuntoDeDatos)
 mejorEtiqueta = copiaDeEtiquetas[mejorCaracterística]
 myTree = {mejorEtiqueta:{}}
 valoresDeCaracterística = [ejemplo[mejorCaracterística] para ejemplo en ConjuntoDeDatos]
 valoresDeCaracterística = conjunto(valoresDeCaracterística)
 eliminar(copiaDeEtiquetas[mejorCaracterística])
 for value in valoresDeCaracterística:
  subEtiquetas = copiaDeEtiquetas[:]
  myTree[mejorEtiqueta][value] = crearArbol(dividir ConjuntoDeDatos(bestFeature, value), subEtiquetas)
 devolver myTree

5.测试算法——使用决策树分类

同样采用递归的方式得到分类结果。

def clasificar(inputTree, featLabels, testVec):
 currentFeat = listaDeClaves(inputTree)[0]
 secondTree = inputTree[currentFeat]
 try:
  featureIndex = featLabels.index(currentFeat)
 except ValueError como err:
  imprimir('sí')
 try:
  for value in secondTree.keys():
   if value == testVec[featureIndex]:
    if type(secondTree[value]).__name__ == 'dict':
     classLabel = clasificar(secondTree[value], featLabels, testVec)
    else:
     classLabel = secondTree[value]
  devolver classLabel
 except AttributeError:
  imprimir(secondTree)

6.完整代码如下

import numpy as np
import math
import operator
def createDataSet():
 dataSet = [[1,1,'yes'],
    [1,1,'yes'],
    [1,0,'no'],
    [0,1,'no'],
    [0,1,'no']]
 label = ['no surfacing','flippers']
 return dataSet,label
def calcShannonEnt(dataSet):
 numEntries = len(dataSet)
 labelCounts = {}
 for featVec in dataSet:
  currentLabel = featVec[-1]
  if currentLabel not in labelCounts:
   labelCounts[currentLabel] = 0
  labelCounts[currentLabel] += 1
 shannonEnt = 0
 for key in labelCounts:
  shannonEnt = shannonEnt - (labelCounts[key]/numEntries)*math.log2(labelCounts[key]/numEntries)
 return shannonEnt
def splitDataSet(dataSet,axis,value):
 retDataset = []
 for featVec in dataSet:
  if featVec[axis] == value:
   newVec = featVec[:axis]
   newVec.extend(featVec[axis+1:])
   retDataset.append(newVec)
 return retDataset
def chooseBestFeatureToSplit(dataSet):
 numFeatures = len(dataSet[0]) - 1
 bestInfoGain = 0
 bestFeature = -1
 baseEntropy = calcShannonEnt(dataSet)
 for i in range(numFeatures):
  allValue = [example[i] for example in dataSet]
  allValue = set(allValue)
  newEntropy = 0
  for value in allValue:
   splitset = splitDataSet(dataSet,i,value)
   newEntropy = newEntropy + len(splitset)/len(dataSet)*calcShannonEnt(splitset)
  infoGain = baseEntropy - newEntropy
  if infoGain > bestInfoGain:
   bestInfoGain = infoGain
   bestFeature = i
 return bestFeature
def majorityCnt(classList):
 classCount = {}
 for value in classList:
  if value not in classCount: classCount[value] = 0
  classCount[value] += 1
 classCount = sorted(classCount.items(),key=operator.itemgetter(1,reverse=True)
 return classCount[0][0]   
def createTree(dataSet,labels):
 classList = [example[-1for example in dataSet]:
 labelsCopy = labels[:]
 if classList.count(classList[0]) == len(classList):
  devolver classList[0]
 if longitud(dataSet[0]) == 1:
  devolver cantidadMayoritaria(classList)
 mejorCaracterística = elegirMejorCaracterísticaParaDividir(ConjuntoDeDatos)
 mejorEtiqueta = copiaDeEtiquetas[mejorCaracterística]
 myTree = {mejorEtiqueta:{}}
 valoresDeCaracterística = [ejemplo[mejorCaracterística] para ejemplo en ConjuntoDeDatos]
 valoresDeCaracterística = conjunto(valoresDeCaracterística)
 eliminar(copiaDeEtiquetas[mejorCaracterística])
 for value in valoresDeCaracterística:
  subEtiquetas = copiaDeEtiquetas[:]
  myTree[mejorEtiqueta][value] = crearArbol(dividir ConjuntoDeDatos(bestFeature, value), subEtiquetas)
 devolver myTree
def clasificar(inputTree, featLabels, testVec):
 currentFeat = listaDeClaves(inputTree)[0]
 secondTree = inputTree[currentFeat]
 try:
  featureIndex = featLabels.index(currentFeat)
 except ValueError como err:
  imprimir('sí')
 try:
  for value in secondTree.keys():
   if value == testVec[featureIndex]:
    if type(secondTree[value]).__name__ == 'dict':
     classLabel = clasificar(secondTree[value], featLabels, testVec)
    else:
     classLabel = secondTree[value]
  devolver classLabel
 except AttributeError:
  imprimir(secondTree)
if __name__ == "__main__":
 dataset,label = createDataSet()
 myTree = createTree(dataset,label)
 a = [1,1]
 print(classify(myTree,label,a))

7.Consejos de programación

Diferencias entre extend y append

 newVec.extend(featVec[axis+1:])
 retDataset.append(newVec)

extend([]), añade cada elemento de la lista a la nueva lista
append() añade el contenido entre paréntesis como un elemento a la nueva lista

Desplazamiento de lista

Creación de una nueva lista

allValue = [example[i] for example in dataSet]

Extracción de elementos únicos de la lista

allValue = set(allValue)

Lista/Clasificación de tuplas, función sorted()

classCount = sorted(classCount.items(),key=operator.itemgetter(1,reverse=True)

Copia de lista

labelsCopy = labels[:]

Descarga de código y conjunto de datos:Árbol de decisión

Esto es todo el contenido del artículo, espero que sea útil para su aprendizaje y también espero que todos los amigos apoyen el tutorial de grito.

Declaración: Este artículo se ha redactado en línea, es propiedad del autor original, el contenido se ha contribuido y subido por los usuarios de Internet, este sitio web no posee los derechos de propiedad, no se ha realizado la edición humana y no asume la responsabilidad legal correspondiente. Si encuentra contenido sospechoso de infracción de derechos de autor, por favor envíe un correo electrónico a: notice#w3Declaración: El contenido de este artículo se ha obtenido de la red, es propiedad del autor original, el contenido se ha contribuido y subido por los usuarios de Internet, este sitio web no posee los derechos de propiedad, no se ha realizado la edición humana y no asume la responsabilidad legal correspondiente. Si encuentra contenido sospechoso de infracción de derechos de autor, por favor envíe un correo electrónico a: notice#w proporcionando evidencia relevante, una vez que se verifique, este sitio eliminará inmediatamente el contenido sospechoso de infracción.

Tutoriales básicos

Te gustará