データサイエンス演習（R システムを使用）（スライド資料とプログラム例）（全１３回）

プログラム１

install.packages("ggplot2")
install.packages("dplyr")
install.packages("klaR")

プログラム２

library(ggplot2)
ggplot(iris, aes(x=Sepal.Length)) + 
  geom_point( aes(y=Sepal.Width, colour=Species), size=3 ) + 
  theme_bw()

プログラム３

library(ggplot2)
ggplot(iris, aes(x=Petal.Length)) + 
  geom_point( aes(y=Petal.Width, colour=Species), size=3 ) + 
  theme_bw()

プログラム４

library(dplyr)
library(klaR)
d <- tbl_df(iris[c(3,4,5)])
partimat(Species~., data=d, method="lda")

rd-4. 平均と分散 [PDF], [パワーポイント]

プログラム１

x <- round( rnorm(1000000, mean=100, sd=20) )
x[floor( runif(5, 1, 1000000+1) )]
x[floor( runif(5, 1, 1000000+1) )]
x[floor( runif(5, 1, 1000000+1) )]

プログラム２

x <- round( rnorm(1000000, mean=100, sd=20) )
m <- numeric(20)
v <- numeric(20)
for (i in 1:20) {
  s <- x[floor( runif(5, 1, 1000000+1) )]
  m[i] <- mean(s)
  v[i] <- var(s)
}
print(m)
print(v)

プログラム３

x <- round( rnorm(1000000, mean=100, sd=20) )
m <- numeric(20)
v <- numeric(20)
for (i in 1:20) {
  s <- x[floor( runif(5, 1, 1000000+1) )]
  m[i] <- mean(s)
  v[i] <- var(s)
}
for (i in 1:20) { print( mean(m[1:i]) ) }
for (i in 1:20) { print( mean(v[1:i]) ) }

YouTube 動画: https://www.youtube.com/watch?v=qUdpcMUdzts

rd-5. t 検定 [PDF], [パワーポイント]

t 検定
二変数ともに正規分布のときに使用
求まった p 値の値が小さいときは「二変数の母平均は等しい」という仮説が棄却される
求まった p 値の値が小さくないときは，棄却ができず，結論としては何も言えないと考える．

YouTube 動画: https://www.youtube.com/watch?v=YXHKjzEKjkI

t.test( c(128, 104, 124, 85, 120), c(100, 106, 89, 89, 105), var.equal=F )

t.test( c(128, 104, 124, 85, 120), c(180, 190, 189, 131, 130, 150), var.equal=F )

rd-6. 相関，相関係数[PDF], [パワーポイント]

相関は，2つの変数の間に関連性があるか
（一方が変化すれば、もう一方も変化する関係）
相関あり
X が増えると，Yが増えている．X が増えると，Y が減っている．
相関なし
X と Y に関係がない
R システムでは cor を用いて，相関係数を算出

YouTube 動画: https://www.youtube.com/watch?v=RQRvQN_V0pU

x <- rnorm(100000, mean=5, sd=5) 
y <- rnorm(100000, mean=5, sd=5) 
d7 <- data.frame( xx=x[floor( runif(100, 1, 100000+1) )], 
  yy=y[floor( runif(100, 1, 100000+1) )] )
d7$yy <- d7$yy + (d7$xx - d7$yy) * 0.6
library(ggplot2)
ggplot(d7, aes(x=xx)) + 
  geom_point( aes(y=yy), size=3 ) + theme_bw() 
cor(d7$xx, d7$yy)

x2 <- rnorm(100000, mean=5, sd=5) 
y2 <- rnorm(100000, mean=5, sd=0.1) 
d10 <- data.frame( xx=x2[floor( runif(100, 1, 100000+1) )], 
  yy=y2[floor( runif(100, 1, 100000+1) )] )
d10$yy <- 0.1 * d10$xx + d10$yy
library(ggplot2)
ggplot(d10, aes(x=xx)) + 
  geom_point( aes(y=yy), size=3 ) + xlim(-5, 15) + ylim(-5, 15) +
  theme_bw()
cor(d10$xx, d10$yy)

x2 <- rnorm(100000, mean=5, sd=5) 
y2 <- rnorm(100000, mean=5, sd=0.1) 
d11 <- data.frame( xx=x2[floor( runif(100, 1, 100000+1) )], 
  yy=y2[floor( runif(100, 1, 100000+1) )] )
d11$yy <- 0.4 * d11$xx + d11$yy
library(ggplot2)
ggplot(d11, aes(x=xx)) + 
  geom_point( aes(y=yy), size=3 ) + xlim(-5, 15) + ylim(-5, 15) +
  theme_bw()
cor(d11$xx, d11$yy)

rd-7. 次元削減，主成分分析 [PDF], [パワーポイント]

主成分分析
複数の変数から得られた標本をもとに，軸を得るための方式．
次元数が n のとき， n 個の軸が得られる
主成分分析と次元削減
主成分分析で得られた上位の軸を残し、下位の軸を削除

YouTube 動画: https://www.youtube.com/watch?v=5f5QrGBePO0

前準備
install.packages("ggplot2")
install.packages("pcaPP")


主成分分析
x <- rnorm(100000, mean=5, sd=5) 
y <- rnorm(100000, mean=5, sd=5)
n <- floor( runif(100, 1, 100000+1) ) 
d8 <- data.frame( xx=x[n],  yy=y[n] )
d8$yy <- d8$yy - (d8$xx + d8$yy) * 0.6
library(ggplot2)
ggplot(d8, aes(x=xx)) + 
  geom_point( aes(y=yy), size=3 ) + theme_bw() 
a <- prcomp(d8)
print(a$rotation)

主成分分析（データの合成の部分を変更）
x <- rnorm(100000, mean=5, sd=5) 
y <- rnorm(100000, mean=5, sd=5) 
n <- floor( runif(100, 1, 100000+1) ) 
d9 <- data.frame( xx=x[n],  yy=y[n] )
d9$yy <- d9$yy + (d9$xx - d9$yy) * 0.8
library(ggplot2)
ggplot(d9, aes(x=xx)) + 
  geom_point( aes(y=yy), size=3 ) + theme_bw() 
a <- prcomp(d9)
print(a$rotation)

主成分分析は外れ値に弱い
x <- rnorm(100000, mean=5, sd=5) 
y <- rnorm(100000, mean=5, sd=5) 
n <- floor( runif(100, 1, 100000+1) ) 
d9 <- data.frame( xx=x[n],  yy=y[n] )
d9$yy <- d9$yy + (d9$xx - d9$yy) * 0.8
d10 <- data.frame( xx=rnorm(10, mean=-20, sd=1), 
  yy=rnorm(10, mean=5, sd = 1) )
d11 <- rbind( d9, d10 )
library(ggplot2)
ggplot(d11, aes(x=xx)) + 
  geom_point( aes(y=yy), size=3 ) + theme_bw() 
a <- prcomp(d11)
print(a$rotation)

pcaPP パッケージを用いて robust PCA23:03 2021/05/17
x <- rnorm(100000, mean=5, sd=5) 
y <- rnorm(100000, mean=5, sd=5) 
n <- floor( runif(100, 1, 100000+1) ) 
d9 <- data.frame( xx=x[n],  yy=y[n] )
d9$yy <- d9$yy + (d9$xx - d9$yy) * 0.8
d10 <- data.frame( xx=rnorm(10, mean=-20, sd=1), 
  yy=rnorm(10, mean=5, sd = 1) )
d11 <- rbind( d9, d10 )
library(ggplot2)
ggplot(d11, aes(x=xx)) + 
  geom_point( aes(y=yy), size=3 ) + theme_bw() 
library(pcaPP)
a2 <- PCAgrid(d11)
print(a2$loadings)

rd-8. クラスタリング [PDF], [パワーポイント]

rd-9. テーブルデータ処理，並べ替え（ソート）・集計・集約 [PDF], [パワーポイント]

rd-10. オブジェクトのセーブとロード [PDF], [パワーポイント]

rd-11. リレーショナルデータベースとの連携 [PDF], [パワーポイント]

rd-12. CSV ファイルのインポート，エクスポート [PDF], [パワーポイント]

YouTube 動画: https://www.youtube.com/watch?v=hsHkgfjAHNU

前準備
install.packages("dplyr") 

データフレームを CSV ファイルにエクスポート
library(dplyr)
d <- data_frame(
    name=c("apple", "rose", "rose", "tomato"), 
    color=c("red", "white", "pink", "red"), 
    price=c(100, 400, 200, 40) )
write.csv(d, file="C:/hoge/hoge.csv")

※ 「C:/hoge」は作業用のディレクトリ．
前もって作成しておくこと．

データフレームに CSV ファイルからインポート
library(dplyr)
m <- read.csv(file="C:/hoge/bar.csv")
print(m)

データサイエンス演習（R システムを使用）（スライド資料とプログラム例）（全１３回）

資料

動画及びソースコード（上の資料と同じ内容）（動画は，全１３回のうち８回分を準備）