GPT-2, BERT を使ってみる（huggingface/transformers を利用）（Google Colab あるいは Windows あるいは Ubuntu 上）

Google Colab へのリンク

このページの内容は，Google Colaboratory でも実行できる．

そのために，次の URL で，Google Colaboratory のノートブックを準備している．

次のリンクをクリックすると，Google Colaboratory のノートブックが開く．そして，Google アカウントでログインすると，Google Colaboratory のノートブック内のコード等を編集したり再実行したりができる．編集した場合でも，他の人に影響が出たりということはない．そして，編集後のものを，各自の Google ドライブ内に保存することもできる．

https://colab.research.google.com/drive/1mBFygBbUk4lBOov7TVyiat441MHwla3j?usp=sharing

(1) 前準備（Google Colaboratory のノートブックを新規作成して使う場合）

自分で，Google Colaboratory のノートブックを新規作成する場合（上のリンクを使わない）のため，手順を説明する．

パソコンを使う場合は，下に「前準備（パソコンを使う場合）」で説明している．

Google Colaboratory のWebページを開く
https://colab.research.google.com

Google Colab はオンラインの Python 開発環境．使用するには Google アカウントが必要
「ファイル」で、「ノートブックを新規作成」を選ぶ
Google アカウントでのログインが求められたときはログインする

(2) （自分のパソコンで Python を動かす場合）Python の準備

Python のインストール: 別ページで説明している．，pip と setuptools の更新，Python 開発環境

Windows での Python のインストール: 別ページで説明している．，pip と setuptools の更新: 別ページで説明している．（あとのトラブルが起きにくいような手順を定めている）
Ubuntu の場合:
システム Python を使うことができる（システム Python を使う場合，Python のインストールは行わない）
システム Python を用いるときは，pip, setuptools の更新は次のコマンドで行う．
```
sudo apt -y update
sudo apt -y install python3-pip python3-setuptools
```
Ubuntu で，システム Python 以外の Python をインストールしたい場合は pyenv が便利である: 別ページで説明している．

Python の URL: http://www.python.org/

【Python, pip の使い方】

Python, pip は，次のコマンドで起動できる．

Windows: python, python -m pip (または py -3.9, py -3.9 -m pip のようにバージョン指定）
Ubuntu: python3, sudo pip3
但し，「sudo pip3」でパッケージをインストールする前に，「apt-cache search ＜キーワード＞」で Ubuntu パッケージを検索し，Ubuntu パッケージが見つかった場合にはそちらを apt でインストール．

【Python 開発環境のインストール】

Windows:
JupyterLab, spyder, nteract （Python 開発環境）のインストールは， Windows でコマンドプロンプトを管理者として実行し，次のコマンドを実行．
```
python -m pip install -U pip setuptools jupyterlab jupyter jupyter-console jupytext nteract_on_jupyter spyder
```
詳しくは，: 別ページで説明している．
Ubuntu
JupyterLab, spyder, nteract （Python 開発環境）のインストール: : 別ページで説明している．

TensorFlow，tensorflow_datasets，numpy，matplotlib, seaborn, scikit-learn のインストール

Windows の場合:
Windows での pip の実行では，コマンドプロンプトを管理者として実行することにする。
```
python -m pip uninstall -y tensorflow tensorflow-cpu tensorflow-gpu tensorflow-text tf-models-official tf_slim tensorflow_datasets tensorflow-hub keras keras-tuner keras-visualizer
python -m pip install -U tensorflow tensorflow_datasets numpy matplotlib seaborn scikit-learn scikit-learn-intelex
```
Windows でのインストール詳細（NVIDIA グラフィックスドライバ，NVIDIA CUDA ツールキット，NVIDIA cuDNN, TensorFlow 関連ソフトウエアを含む）: 別ページで説明している．

Ubuntu の場合:

端末で，次のコマンドを実行．

sudo pip3 uninstall -y tensorflow tensorflow-cpu tensorflow-gpu tensorflow-text tf-models-official tf_slim tensorflow_datasets tensorflow-hub keras keras-tuner keras-visualizer
sudo pip3 uninstall -y six wheel astunparse tensorflow-estimator numpy keras-preprocessing absl-py wrapt gast flatbuffers grpcio opt-einsum protobuf termcolor typing-extensions google-pasta h5py tensorboard-plugin-wit markdown werkzeug requests-oauthlib rsa cachetools google-auth google-auth-oauthlib tensorboard tensorflow
sudo apt -y install python3-six python3-wheel python3-numpy python3-grpcio python3-protobuf python3-termcolor python3-typing-extensions python3-h5py python3-markdown python3-werkzeug python3-requests-oauthlib python3-rsa python3-cachetools python3-google-auth
sudo apt -y install python3-numpy python3-sklearn python3-matplotlib python3-seaborn
sudo pip3 install -U tensorflow tensorflow_datasets

Ubuntu でのインストール詳細（NVIDIA グラフィックスドライバ，NVIDIA CUDA ツールキット，NVIDIA cuDNN, TensorFlow 関連ソフトウエアを含む）: 別ページで説明している．

GraphViz のインストール

Windows での GraphViz のインストール: 別ページで説明している．

Ubuntu での GraphViz のインストール

sudo apt -y insatll graphviz python3-graphviz libgraphviz-dev

huggingface/transformers の GPT-2 を動かしてみる

huggingface/transformers の URL: https://huggingface.co/transformers/ huggingface/transformers の GitHub の URL: https://github.com/huggingface/transformers

transformers のインストール
次のページに記載の手順に従う：https://huggingface.co/transformers/installation.html
Windows では，コマンドプロンプトを管理者として実行し，次のコマンドを実行．
```
python -m pip install transformers
```
英語で学習済みの GPT-2 を使ってみる
次のページに記載のソースコードからビルドして，インストールする．（詳細説明も次のページにある）： https://huggingface.co/gpt2

Python プログラムを動かすために， pythonやpython3などのコマンドを使う．あるいは，開発環境や Python コンソール（Jupyter Qt Console，Spyder，PyCharm，PyScripter など）も便利である．

次のプログラムは，テキスト生成（与えられた文章から，続きのトークンを生成）を行っている．
```
from transformers import pipeline, set_seed
generator = pipeline('text-generation', model='gpt2')
set_seed(42)
generator("Hello, I'm a language model,", max_length=30, num_return_sequences=5)
```
次のプログラムは，特徴（features ）の取得を行っている．
```
from transformers import GPT2Tokenizer, TFGPT2Model
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
model = TFGPT2Model.from_pretrained('gpt2')
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)
```
英語で学習済みの BERT を使ってみる
次のページに記載のソースコードからビルドして，インストールする．（詳細説明も次のページにある）： https://huggingface.co/bert-base-uncased

Python プログラムを動かすために， pythonやpython3などのコマンドを使う．あるいは，開発環境や Python コンソール（Jupyter Qt Console，Spyder，PyCharm，PyScripter など）も便利である．

次のプログラムは，マスクを埋める（fill mask）ことを行っている．
```
from transformers import pipeline
unmasker = pipeline('fill-mask', model='bert-base-uncased')
unmasker("Hello I'm a [MASK] model.")
```

本サイトは金子邦彦研究室のWebページである．

資料等の公開では，原則，「クリエイティブコモンズ BY NC SA」として公開するようにしている． PDFファイル，パワーポイントファイルなどには，「クリエイティブコモンズ BY NC SA」を明記するとともに，ロゴを記載するようにしている（作業が間に合っていない分もあるのでご容赦ください）．

公開している資料をご利用になる場合の，再配布の条件，剽窃の防止などについて，別ページで説明している．再配布や資料改変の際には，そのページをご確認ください．

サイトマップは，サイトマップのページをご覧下さい．本サイト内の検索は，サイト内検索のページをご利用下さい．

問い合わせ先：金子邦彦（かねこくにひこ）