R语言判别分析

#判别分析用以判别个体所属群体的一种统计方法判别分析重点是两类群体的判别方法

#主要判别分析方法有距离判别贝叶斯判别费歇判别法

1、关键点：

#贝叶斯判别贝叶斯判别式假定对研究对象已有一定的认识这种认识常用先验概率来描述

#当取得样本后就可以用样本来修正已经有的先验概率分布得出后验概率分布

#然后通过后验概率分布进行各种统计推断

#实际上就是使平均误判损失（误判概率与误判损失的结合）ECM达到极小的过程

2、案例分析

（一）两个总体的贝叶斯判别分析

#1.载入数据
TrnX1<-matrix(
  c(24.8, 24.1, 26.6, 23.5, 25.5, 27.4,-2.0, -2.4, -3.0, -1.9, -2.1, -3.1),ncol=2)
TrnX2<-matrix(
  c(22.1, 21.6, 22.0, 22.8, 22.7, 21.5, 22.1, 21.4,
  -0.7, -1.4, -0.8, -1.6, -1.5, -1.0, -1.2, -1.3),
  ncol=2)
#2、载入两总体的贝叶斯判别函数  注 把贝叶斯判别函数存在了计算机的E盘R文件夹中
source("E:/R/discriminiant.bayes.R")
#3、协方差相同时的判别
discriminiant.bayes(TrnX1, TrnX2, rate=8/6,var.equal=TRUE)
#协方差不同时的判别
discriminiant.bayes(TrnX1, TrnX2, rate=8/6)

PS============================discriminiant.bayes.R========================

#两个总体判别的贝叶斯判别程序

#输入 TrnX1 TrnX2表示X1类 X2类训练样本样本输入格式为数据框

#rate=p2/p1缺省时为1

#Tst为待测样本其输入格式是数据框为两个训练样本之和

#var.equal是逻辑变量当其值为TRUE是表示认为两个总体的协方差相同否则不同

#输出函数的输出时1和2构成的一维矩阵 1表示待测样本属于X1类

discriminiant.bayes <- function
(TrnX1, TrnX2, rate = 1, TstX = NULL, var.equal = FALSE){
  if (is.null(TstX) == TRUE) TstX<-rbind(TrnX1,TrnX2)
  if (is.vector(TstX) == TRUE) TstX <- t(as.matrix(TstX))
  else if (is.matrix(TstX) != TRUE)
  TstX <- as.matrix(TstX)
  if (is.matrix(TrnX1) != TRUE) TrnX1 <- as.matrix(TrnX1)
  if (is.matrix(TrnX2) != TRUE) TrnX2 <- as.matrix(TrnX2)
  nx <- nrow(TstX)
  blong <- matrix(rep(0, nx), nrow=1, byrow=TRUE,
  dimnames=list("blong", 1:nx))
  mu1 <- colMeans(TrnX1); mu2 <- colMeans(TrnX2)
  if (var.equal == TRUE || var.equal == T){
  S <- var(rbind(TrnX1,TrnX2)); beta <- 2*log(rate)
  w <- mahalanobis(TstX, mu2, S)
  - mahalanobis(TstX, mu1, S)
  }
  else{
  S1 <- var(TrnX1); S2 <- var(TrnX2)
  beta <- 2*log(rate) + log(det(S1)/det(S2))
  w <- mahalanobis(TstX, mu2, S2)
  - mahalanobis(TstX, mu1, S1)
  }
  for (i in 1:nx){
  if (w[i] > beta)
  blong[i] <- 1
  else
  blong[i] <- 2
  }
  blong
}

（二）多个总体贝叶斯判别

X<-iris[,1:4]
G<-gl(3,50)
source("E:/R/distinguish.bayes.R")
distinguish.bayes(X,G)

PS：=============distinguish.bayes.R====================

#多个总体判别的贝叶斯判别程序

#输入 TrnX 表示训练样本样本输入格式为数据框

#TrnG是因子变量表示训练样本的分类情况

#输入变量p是先验概率缺省值为1

#Tst为待测样本其输入格式是数据框

#var.equal是逻辑变量当其值为TRUE是表示认为两个总体的协方差相同否则不同

#输出函数的输出是数字构成的一维矩阵 1表示待测样本属于X1类

distinguish.bayes <- function
(TrnX, TrnG, p = rep(1, length(levels(TrnG))),
 TstX = NULL, var.equal = FALSE){
  if ( is.factor(TrnG) == FALSE){
  mx <- nrow(TrnX); mg <- nrow(TrnG)
  TrnX <- rbind(TrnX, TrnG)
  TrnG <- factor(rep(1:2, c(mx, mg)))
  }
  if (is.null(TstX) == TRUE) TstX <- TrnX
  if (is.vector(TstX) == TRUE) TstX <- t(as.matrix(TstX))
  else if (is.matrix(TstX) != TRUE)
  TstX <- as.matrix(TstX)
  if (is.matrix(TrnX) != TRUE) TrnX <- as.matrix(TrnX)
  nx <- nrow(TstX)
  blong <- matrix(rep(0, nx), nrow=1,
  dimnames=list("blong", 1:nx))
  g <- length(levels(TrnG))
  mu <- matrix(0, nrow=g, ncol=ncol(TrnX))
  for (i in 1:g)
  mu[i,] <- colMeans(TrnX[TrnG==i,])
  D <- matrix(0, nrow=g, ncol=nx)
  if (var.equal == TRUE || var.equal == T){
  for (i in 1:g){
  d2 <- mahalanobis(TstX, mu[i,], var(TrnX))
  D[i,] <- d2 - 2*log(p[i])
  }
  }
  else{
  for (i in 1:g){
  S <- var(TrnX[TrnG==i,])
  d2 <- mahalanobis(TstX, mu[i,], S)
  D[i,] <- d2 - 2*log(p[i])-log(det(S))
  }
  }
  for (j in 1:nx){
  dmin <- Inf
  for (i in 1:g)
  if (D[i,j] < dmin){
  dmin <- D[i,j]; blong[j] <- i
  }
  }
  blong
}

R语言 判别分析