GPT-2, BERT を使ってみる（huggingface/transformers を利用）（Google Colab あるいは Windows あるいは Ubuntu 上）

Google Colab へのリンク

Google Colaboratory のページ:

次のリンクをクリックすると，Google Colaboratory のノートブックが開く． そして，Google アカウントでログインすると，Google Colaboratory のノートブック内のコード等を編集したり再実行したりができる．編集した場合でも，他の人に影響が出たりということはない．そして，編集後のものを，各自の Google ドライブ内に保存することもできる．

https://colab.research.google.com/drive/1mBFygBbUk4lBOov7TVyiat441MHwla3j?usp=sharing

前準備

Python のインストール（Windows上）

注：既にPython（バージョン3.12を推奨）がインストール済みの場合は，この手順は不要である．

winget（Windowsパッケージマネージャー）を使用してインストールを行う

  1. Windowsで，管理者権限でコマンドプロンプトを起動（手順：Windowsキーまたはスタートメニュー > cmd と入力 > 右クリック > 「管理者として実行」）。
  2. winget（Windowsパッケージマネージャー）が利用可能か確認する： 
    winget --version
  3. Pythonのインストール（下のコマンドにより Python 3.12 がインストールされる）． 
    reg add "HKLM\SYSTEM\CurrentControlSet\Control\FileSystem" /v LongPathsEnabled /t REG_DWORD /d 1 /f
REM Python をシステム領域にインストール
winget install --scope machine --id Python.Python.3.12 -e --silent
REM Python のパス
set "INSTALL_PATH=C:\Program Files\Python312"
echo %PATH% | find /i "%INSTALL_PATH%" >nul
if errorlevel 1 setx PATH "%PATH%;%INSTALL_PATH%" /M >nul
echo %PATH% | find /i "%INSTALL_PATH%\Scripts" >nul
if errorlevel 1 setx PATH "%PATH%;%INSTALL_PATH%\Scripts" /M >nul

    4. 【関連する外部サイト】

    【サイト内の関連ページ】

    TensorFlow，Keras のインストール

    Windows での TensorFlow，Keras のインストール: 別ページ »で説明

    （このページで，Build Tools for Visual Studio 2022，NVIDIA ドライバ， NVIDIA CUDA ツールキット， NVIDIA cuDNNのインストールも説明している．）

    Graphviz のインストール

    Windows での Graphviz のインストール: 別ページ »で説明

    numpy，matplotlib, seaborn, scikit-learn, pandas, pydot のインストール

    1. Windows で，管理者権限でコマンドプロンプトを起動（手順：Windowsキーまたはスタートメニュー > cmd と入力 > 右クリック > 「管理者として実行」）。

      次のコマンドを実行する． 

      python -m pip install -U numpy matplotlib seaborn scikit-learn pandas pydot

    GraphViz のインストール

    huggingface/transformers の GPT-2 を動かしてみる

    huggingface/transformers の URL: https://huggingface.co/transformers/ huggingface/transformers の GitHub の URL: https://github.com/huggingface/transformers

    1. transformers のインストール

      次のページに記載の手順に従う：https://huggingface.co/transformers/installation.html

      Windows では，コマンドプロンプトを管理者として開き次のコマンドを実行する． 

      python -m pip install transformers
    2. 英語で学習済みの GPT-2 を使ってみる

      次のページに記載のソースコードからビルドして，インストールする．（詳細説明も次のページにある）： https://huggingface.co/gpt2

      Python プログラムを動かすために， pythonやpython3などのコマンドを使う． あるいは， 開発環境や Python コンソール（Jupyter Qt Console，Spyder，PyCharm，PyScripter など）も便利である．

      次のプログラムは，テキスト生成（与えられた文章から，続きのトークンを生成）を行っている． 

      from transformers import pipeline, set_seed
generator = pipeline('text-generation', model='gpt2')
set_seed(42)
generator("Hello, I'm a language model,", max_length=30, num_return_sequences=5)

      次のプログラムは，特徴（features ）の取得を行っている． 

      from transformers import GPT2Tokenizer, TFGPT2Model
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
model = TFGPT2Model.from_pretrained('gpt2')
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='tf')
output = model(encoded_input)
    3. 英語で学習済みの BERT を使ってみる

      次のページに記載のソースコードからビルドして，インストールする．（詳細説明も次のページにある）： https://huggingface.co/bert-base-uncased

      Python プログラムを動かすために， pythonやpython3などのコマンドを使う． あるいは， 開発環境や Python コンソール（Jupyter Qt Console，Spyder，PyCharm，PyScripter など）も便利である．

      次のプログラムは，マスクを埋める（fill mask）ことを行っている． 

      from transformers import pipeline
unmasker = pipeline('fill-mask', model='bert-base-uncased')
unmasker("Hello I'm a [MASK] model.")