授業「情報システム工学特論」サポートページ

● パッケージの設定（前準備として）

install.packages("ggplot2")
install.packages("dplyr")
install.packages("tidyr")    
install.packages("magrittr")
install.packages("KernSmooth")

R オブジェクトのコンストラクタ

x1 <- data.frame( 年次=c(1985, 1990, 1995, 2000, 2005, 2010),
                 出生数=c(1432, 1222, 1187, 1191, 1063, 1071),
                 死亡数=c(752, 820, 922, 962, 1084, 1197) )

ヒストグラム（Iris データセットのヒストグラム）

library(dplyr)
d2 <- tbl_df( iris )
library(tidyr)
library(magrittr)
library(KernSmooth)
library(ggplot2)
d2 %>% select( Sepal.Length, Sepal.Width, Petal.Length, Petal.Width ) %>% gather() %>% ggplot( aes(x=value, fill=key) ) +
  geom_histogram( binwidth=dpih( use_series(d2, Sepal.Length) ), alpha=0.5, position="identity") +
  theme_bw()

ヒストグラムでの区間幅の調整

library(ggplot2)
ggplot(iris, aes(x = Sepal.Length)) +
  geom_histogram(binwidth=0.1) +
  theme_bw()

library(magrittr)
library(KernSmooth)
library(ggplot2)
ggplot(iris, aes(x = Sepal.Length)) +
  geom_histogram(
    binwidth=dpih( iris$Sepal.Length ) ) +
  theme_bw()


散布図、折れ線グラフ

x1 <- data.frame( 年次=c(1985, 1990, 1995, 2000, 2005, 2010),
                 出生数=c(1432, 1222, 1187, 1191, 1063, 1071),
                 死亡数=c(752, 820, 922, 962, 1084, 1197) )
library(ggplot2)
ggplot(x1, aes(x=年次)) +
  geom_point( aes(y=出生数, colour="出生数"), size=3 ) +
  geom_point( aes(y=死亡数, colour="死亡数"), size=3 ) +
  labs(x="年次", y="出生数, 死亡数") +
  theme_bw()

x1 <- data.frame( 年次=c(1985, 1990, 1995, 2000, 2005, 2010),
                 出生数=c(1432, 1222, 1187, 1191, 1063, 1071),
                 死亡数=c(752, 820, 922, 962, 1084, 1197) )
library(ggplot2)
ggplot(x1, aes(x=年次)) +
  geom_point( aes(y=出生数, colour="出生数"), size=6 ) +
  geom_point( aes(y=死亡数, colour="死亡数"), size=6 ) +
  geom_line( aes(y=出生数, colour="出生数"), size=2 ) +
  geom_line( aes(y=死亡数, colour="死亡数"), size=2 ) +
  labs(x="年次", y="出生数, 死亡数") +
  theme_bw()

x1 <- data.frame( 年次=c(1985, 1990, 1995, 2000, 2005, 2010),
                 出生数=c(1432, 1222, 1187, 1191, 1063, 1071),
                 死亡数=c(752, 820, 922, 962, 1084, 1197) )
library(ggplot2)
ggplot(x1, aes(x=年次)) +
  geom_point( aes(y=出生数, colour="出生数"), size=6 ) +
  geom_point( aes(y=死亡数, colour="死亡数"), size=6 ) +
  stat_smooth( method="lm", se=FALSE, aes(y=出生数, colour="出生数"), size=2 ) +
  stat_smooth( method="lm", se=FALSE, aes(y=死亡数, colour="死亡数"), size=2 ) +
  labs(x="年次", y="出生数, 死亡数") +
  theme_bw()

グラフのファイルへの保存
  このプログラムで「1.png」とあるのは、グラフのファイル名です。グラフは画像ファイルとして保存されます。

x1 <- data.frame( 年次=c(1985, 1990, 1995, 2000, 2005, 2010),
                 出生数=c(1432, 1222, 1187, 1191, 1063, 1071),
                 死亡数=c(752, 820, 922, 962, 1084, 1197) )
library(ggplot2)
png("1.png")
ggplot(x1, aes(x=年次)) +
  geom_point( aes(y=出生数, colour="出生数"), size=3 ) +
  labs(x="年次", y="出生数") +
  theme_bw()
dev.off()

要約統計量、頻度、ヒストグラム

d1 <- data.frame(
    科目=c("国語", "国語", "算数", "算数", "理科"),
    受講者=c("A", "B", "A", "B", "A"),
    得点=c(90, 80, 95, 90, 80) )
summary(d1)

d1 <- data.frame(
    科目=c("国語", "国語", "算数", "算数", "理科"),
    受講者=c("A", "B", "A", "B", "A"),
    得点=c(90, 80, 95, 90, 80) )
library(ggplot2)
ggplot(d1, aes( x=科目, fill=科目 )) +
  geom_bar(stat="count") +
  labs(x="科目", y="総数") +
  theme_bw()

d1 <- data.frame(
    科目=c("国語", "国語", "算数", "算数", "理科"),
    受講者=c("A", "B", "A", "B", "A"),
    得点=c(90, 80, 95, 90, 80) )
library(ggplot2)
ggplot(d1, aes( x=得点 )) +
  geom_bar(stat="count") +
  labs(x="得点", y="総数") +
  theme_bw()

install.packages("dplyr")

データフレームを CSV ファイルにエクスポート
library(dplyr)
d <- data_frame(
    name=c("apple", "rose", "rose", "tomato"),
    color=c("red", "white", "pink", "red"),
    price=c(100, 400, 200, 40) )
write.csv(d, file="C:/hoge/hoge.csv")

※ 「C:/hoge」は作業用のディレクトリ．
前もって作成しておくこと．

データフレームに CSV ファイルからインポート
library(dplyr)
m <- read.csv(file="C:/hoge/bar.csv")
print(m)

前準備
install.packages("ggplot2")
install.packages("pcaPP")

主成分分析
x <- rnorm(100000, mean=5, sd=5) 
y <- rnorm(100000, mean=5, sd=5)
n <- floor( runif(100, 1, 100000+1) ) 
d8 <- data.frame( xx=x[n],  yy=y[n] )
d8$yy <- d8$yy - (d8$xx + d8$yy) * 0.6
library(ggplot2)
ggplot(d8, aes(x=xx)) + 
  geom_point( aes(y=yy), size=3 ) + theme_bw() 
a <- prcomp(d8)
print(a$rotation)

主成分分析（データの合成の部分を変更）
x <- rnorm(100000, mean=5, sd=5) 
y <- rnorm(100000, mean=5, sd=5) 
n <- floor( runif(100, 1, 100000+1) ) 
d9 <- data.frame( xx=x[n],  yy=y[n] )
d9$yy <- d9$yy + (d9$xx - d9$yy) * 0.8
library(ggplot2)
ggplot(d9, aes(x=xx)) + 
  geom_point( aes(y=yy), size=3 ) + theme_bw() 
a <- prcomp(d9)
print(a$rotation)

主成分分析は外れ値に弱い
x <- rnorm(100000, mean=5, sd=5) 
y <- rnorm(100000, mean=5, sd=5) 
n <- floor( runif(100, 1, 100000+1) ) 
d9 <- data.frame( xx=x[n],  yy=y[n] )
d9$yy <- d9$yy + (d9$xx - d9$yy) * 0.8
d10 <- data.frame( xx=rnorm(10, mean=-20, sd=1), 
  yy=rnorm(10, mean=5, sd = 1) )
d11 <- rbind( d9, d10 )
library(ggplot2)
ggplot(d11, aes(x=xx)) + 
  geom_point( aes(y=yy), size=3 ) + theme_bw() 
a <- prcomp(d11)
print(a$rotation)

pcaPP パッケージを用いて robust PCA23:03 2021/05/17
x <- rnorm(100000, mean=5, sd=5) 
y <- rnorm(100000, mean=5, sd=5) 
n <- floor( runif(100, 1, 100000+1) ) 
d9 <- data.frame( xx=x[n],  yy=y[n] )
d9$yy <- d9$yy + (d9$xx - d9$yy) * 0.8
d10 <- data.frame( xx=rnorm(10, mean=-20, sd=1), 
  yy=rnorm(10, mean=5, sd = 1) )
d11 <- rbind( d9, d10 )
library(ggplot2)
ggplot(d11, aes(x=xx)) + 
  geom_point( aes(y=yy), size=3 ) + theme_bw() 
library(pcaPP)
a2 <- PCAgrid(d11)
print(a2$loadings)

x <- rnorm(100000, mean=5, sd=5)
y <- rnorm(100000, mean=5, sd=5)
d7 <- data.frame( xx=x[floor( runif(100, 1, 100000+1) )],
  yy=y[floor( runif(100, 1, 100000+1) )] )
d7$yy <- d7$yy + (d7$xx - d7$yy) * 0.6
library(ggplot2)
ggplot(d7, aes(x=xx)) +
  geom_point( aes(y=yy), size=3 ) + theme_bw()
cor(d7$xx, d7$yy)

x2 <- rnorm(100000, mean=5, sd=5)
y2 <- rnorm(100000, mean=5, sd=0.1)
d10 <- data.frame( xx=x2[floor( runif(100, 1, 100000+1) )],
  yy=y2[floor( runif(100, 1, 100000+1) )] )
d10$yy <- 0.1 * d10$xx + d10$yy
library(ggplot2)
ggplot(d10, aes(x=xx)) +
  geom_point( aes(y=yy), size=3 ) + xlim(-5, 15) + ylim(-5, 15) +
  theme_bw()
cor(d10$xx, d10$yy)

x2 <- rnorm(100000, mean=5, sd=5)
y2 <- rnorm(100000, mean=5, sd=0.1)
d11 <- data.frame( xx=x2[floor( runif(100, 1, 100000+1) )],
  yy=y2[floor( runif(100, 1, 100000+1) )] )
d11$yy <- 0.4 * d11$xx + d11$yy
library(ggplot2)
ggplot(d11, aes(x=xx)) +
  geom_point( aes(y=yy), size=3 ) + xlim(-5, 15) + ylim(-5, 15) +
  theme_bw()
cor(d11$xx, d11$yy)

t.test( c(128, 104, 124, 85, 120), c(100, 106, 89, 89, 105), var.equal=F )

t.test( c(128, 104, 124, 85, 120), c(180, 190, 189, 131, 130, 150), var.equal=F )

x <- round( rnorm(1000000, mean=100, sd=20) )
x[floor( runif(5, 1, 1000000+1) )]
x[floor( runif(5, 1, 1000000+1) )]
x[floor( runif(5, 1, 1000000+1) )]

x <- round( rnorm(1000000, mean=100, sd=20) )
m <- numeric(20)
v <- numeric(20)
for (i in 1:20) {
  s <- x[floor( runif(5, 1, 1000000+1) )]
  m[i] <- mean(s)
  v[i] <- var(s)
}
print(m)
print(v)

x <- round( rnorm(1000000, mean=100, sd=20) )
m <- numeric(20)
v <- numeric(20)
for (i in 1:20) {
  s <- x[floor( runif(5, 1, 1000000+1) )]
  m[i] <- mean(s)
  v[i] <- var(s)
}
for (i in 1:20) { print( mean(m[1:i]) ) }
for (i in 1:20) { print( mean(v[1:i]) ) }

install.packages("ggplot2")
install.packages("dplyr")
install.packages("klaR")

library(ggplot2)
ggplot(iris, aes(x=Sepal.Length)) + 
  geom_point( aes(y=Sepal.Width, colour=Species), size=3 ) + 
  theme_bw() 

library(ggplot2)
ggplot(iris, aes(x=Petal.Length)) + 
  geom_point( aes(y=Petal.Width, colour=Species), size=3 ) + 
  theme_bw() 

library(dplyr)
library(klaR)
d <- tbl_df(iris[c(3,4,5)])
partimat(Species~., data=d, method="lda")

.open --new C:\\sqlite3\\mydb

.exit

CREATE TABLE products (
  id INTEGER PRIMARY KEY NOT NULL,
  name TEXT NOT NULL,
  price REAL); 

INSERT INTO products VALUES( 1, 'orange', 50 );
INSERT INTO products VALUES( 2, 'apple', 100 );
INSERT INTO products VALUES( 3, 'melon', 500 );
SELECT * FROM products;

SELECT * FROM products WHERE  price > 90;

drop table products;

CREATE TABLE teacher (
  id INTEGER PRIMARY KEY NOT NULL,
  name TEXT NOT NULL,
  teacher_name TEXT NOT NULL); 

CREATE TABLE student (
  id INTEGER PRIMARY KEY NOT NULL,
  student_name TEXT NOT NULL,
  tid INTEGER NOT NULL,
  score INTEGER); 

INSERT INTO teacher VALUES(1, 'db', 'k');
INSERT INTO teacher VALUES(2, 'python', 'a');
SELECT * FROM teacher;

INSERT INTO student VALUES(1, 'kk', 1, 85);
INSERT INTO student VALUES(2, 'aa', 1, 75);
INSERT INTO student VALUES(3, 'nn', 1, 90);
INSERT INTO student VALUES(4, 'kk', 2, 85);
INSERT INTO student VALUES(5, 'nn', 2, 75);
SELECT * FROM student;

SELECT * FROM teacher, student
WHERE teacher.id = student.tid;

https://www.kkaneko.jp/tools/win/python.html

pip install -U pandas

python

import os
os.getcwd()

import pandas as pd
import sqlite3
c = sqlite3.connect('hoge.sqlite')
sql = u"""
create table iris (
  id integer     primary key,
  sepal_length   real, 
  sepal_width    real, 
  petal_length   real, 
  petal_width    real, 
  species         text );
"""
c.execute(sql)


x = pd.read_csv( 'c:\\iris.csv', header=0 )
for index, r in x.iterrows():
    sql = u"insert into iris values (?, ?, ?, ?, ?, ?)"
    c.execute(sql, (r[0], r[1], r[2], r[3], r[4], r[5]))

c.commit()


cur = c.cursor()
cur.execute(u"select * from iris")
for t in cur:
    print (t)

c.close()


exit()