GPT-2, BERT を使ってみる（huggingface/transformers を利用）（Google Colab あるいは Windows あるいは Ubuntu 上）

Google Colab へのリンク

Google Colaboratory のページ:

https://colab.research.google.com/drive/1mBFygBbUk4lBOov7TVyiat441MHwla3j?usp=sharing

前準備

Python のインストール（Windows 上）

【サイト内の関連ページ】

• Windows での Python 3.10，関連パッケージ，Python 開発環境のインストール: 別ページ »で説明している．
• Windows での Anaconda3 のインストール: 別ページ »で説明している．
• Python のまとめ: 別ページ »にまとめている．

【関連する外部ページ】

Python の公式ページ: https://www.python.org/

TensorFlow，Keras のインストール

Windows での TensorFlow，Keras のインストール: 別ページ »で説明

（このページで，Build Tools for Visual Studio 2022，NVIDIA ドライバ， NVIDIA CUDA ツールキット， NVIDIA cuDNNのインストールも説明している．）

Graphviz のインストール

Windows での Graphviz のインストール: 別ページ »で説明している．

numpy，matplotlib, seaborn, scikit-learn, pandas, pydot のインストール

1. Windows で，コマンドプロンプトを管理者として実行

   コマンドプロンプトを管理者として実行: 別ページ »で説明

2. 次のコマンドを実行する．

   python -m pip install -U numpy matplotlib seaborn scikit-learn pandas pydot
   

GraphViz のインストール

• Windows での GraphViz のインストール: 別ページ »で説明している．
• Ubuntu での GraphViz のインストール

  sudo apt -y insatll graphviz python3-graphviz libgraphviz-dev
  

huggingface/transformers の GPT-2 を動かしてみる

1. transformers のインストール

   次のページに記載の手順に従う：https://huggingface.co/transformers/installation.html

   Windows では，コマンドプロンプトを管理者として開き次のコマンドを実行する．

   python -m pip install transformers
   

   
2. 英語で学習済みの GPT-2 を使ってみる

   次のページに記載のソースコードからビルドして，インストールする．（詳細説明も次のページにある）： https://huggingface.co/gpt2

   Python プログラムを動かすために， pythonやpython3などのコマンドを使う． あるいは， 開発環境や Python コンソール（Jupyter Qt Console，Spyder，PyCharm，PyScripter など）も便利である．

   次のプログラムは，テキスト生成（与えられた文章から，続きのトークンを生成）を行っている．

   from transformers import pipeline, set_seed
   generator = pipeline('text-generation', model='gpt2')
   set_seed(42)
   generator("Hello, I'm a language model,", max_length=30, num_return_sequences=5)
   

   

   次のプログラムは，特徴（features ）の取得を行っている．

   from transformers import GPT2Tokenizer, TFGPT2Model
   tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
   model = TFGPT2Model.from_pretrained('gpt2')
   text = "Replace me by any text you'd like."
   encoded_input = tokenizer(text, return_tensors='tf')
   output = model(encoded_input)
   

   
3. 英語で学習済みの BERT を使ってみる

   次のページに記載のソースコードからビルドして，インストールする．（詳細説明も次のページにある）： https://huggingface.co/bert-base-uncased

   Python プログラムを動かすために， pythonやpython3などのコマンドを使う． あるいは， 開発環境や Python コンソール（Jupyter Qt Console，Spyder，PyCharm，PyScripter など）も便利である．

   次のプログラムは，マスクを埋める（fill mask）ことを行っている．

   from transformers import pipeline
   unmasker = pipeline('fill-mask', model='bert-base-uncased')
   unmasker("Hello I'm a [MASK] model.")