gensim を使ってみる

前準備

Python 3.12 のインストール

インストール済みの場合は実行不要。

以下のコマンドを管理者権限のコマンドプロンプトで実行する （手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。管理者権限は、wingetの--scope machineオプションでシステム全体にソフトウェアをインストールするために必要である。

REM Python 3.12 をシステム領域にインストール
winget install --scope machine --id Python.Python.3.12 -e --silent --accept-source-agreements --accept-package-agreements

REM パス長制限の解除（Windowsの260文字パス制限を解除し、長いパスを扱えるようにする）
reg add "HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\FileSystem" /v LongPathsEnabled /t REG_DWORD /d 1 /f
reg query "HKLM\SYSTEM\CurrentControlSet\Control\FileSystem" /v LongPathsEnabled

REM Python のパス設定
set "PYTHON_PATH=C:\Program Files\Python312"
set "PYTHON_SCRIPTS_PATH=C:\Program Files\Python312\Scripts"
if exist "%PYTHON_PATH%" setx PYTHON_PATH "%PYTHON_PATH%" /M >nul
if exist "%PYTHON_SCRIPTS_PATH%" setx PYTHON_SCRIPTS_PATH "%PYTHON_SCRIPTS_PATH%" /M >nul
for /f "skip=2 tokens=2*" %a in ('reg query "HKLM\SYSTEM\CurrentControlSet\Control\Session Manager\Environment" /v Path') do set "SYSTEM_PATH=%b"
echo "%SYSTEM_PATH%" | find /i "%PYTHON_PATH%" >nul
if errorlevel 1 setx PATH "%PYTHON_PATH%;%PYTHON_SCRIPTS_PATH%;%SYSTEM_PATH%" /M >nul

【関連する外部ページ】

Python の公式ページ: https://www.python.org/

AI エディタ Windsurf のインストール

Pythonプログラムの編集・実行には、AI エディタの利用を推奨する。ここでは，Windsurfのインストールを説明する。

以下のコマンドを管理者権限のコマンドプロンプトで実行する （手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。管理者権限は、wingetの--scope machineオプションでシステム全体にソフトウェアをインストールするために必要である。

【関連する外部ページ】

Windsurf の公式ページ: https://windsurf.com/

gensim パッケージのインストール

1. Windows で，管理者権限でコマンドプロンプトを起動（手順：Windowsキーまたはスタートメニュー > cmd と入力 > 右クリック > 「管理者として実行」）。
2. gensim をインストール

   python -m pip install -U gensim
   

   
3. インストール終了の確認
   

Word2Vec に関するサンプルプログラムを動かしてみる

次のページで公開されているプログラムを使用する．

https://radimrehurek.com/gensim/auto_examples/tutorials/run_word2vec.html#sphx-glr-auto-examples-tutorials-run-word2vec-py

上のページの注意書きにもある通り，2G バイトのファイルがダウンロードされます．

1. データのダウンロードと語彙の確認

   import gensim.downloader as api
   wv = api.load('word2vec-google-news-300')
   
   for i, word in enumerate(wv.vocab):
       if i == 10:
           break
       print(word)
   

   
2. 単語ベクトルの表示

   words = ['car', 'minivan', 'bicycle', 'airplane', 'cereal', 'communism']
   for w in words:
       print(wv[w])
   

   
3. 2単語間の類似度

   pairs = [
       ('car', 'minivan'),   # a minivan is a kind of car
       ('car', 'bicycle'),   # still a wheeled vehicle
       ('car', 'airplane'),  # ok, no wheels, but still a vehicle
       ('car', 'cereal'),    # ... and so on
       ('car', 'communism'),
   ]
   for w1, w2 in pairs:
       print('%r\t%r\t%.2f' % (w1, w2, wv.similarity(w1, w2)))
   

   
4. 単語の類似検索

   print(wv.most_similar(positive=['car', 'minivan'], topn=5))