日本語版 Wikipedia ダンプのダウンロード，ファイル分割（XMLファイル）（Python を使用）

前準備

Git のインストール

Git の URL: https://git-scm.com/

Python 3.12 のインストール

以下のいずれかの方法で Python 3.12 をインストールする。

方法1：winget によるインストール

Python がインストール済みの場合、この手順は不要である。管理者権限のコマンドプロンプトで以下を実行する。管理者権限のコマンドプロンプトを起動するには、Windows キーまたはスタートメニューから「cmd」と入力し、表示された「コマンドプロンプト」を右クリックして「管理者として実行」を選択する。

winget install -e --id Python.Python.3.12 --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 AssociateFiles=1 InstallLauncherAllUsers=1"

--scope machine を指定することで、システム全体（全ユーザー向け）にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動すると PATH が自動的に設定される。

方法2：インストーラーによるインストール

1. Python 公式サイト（https://www.python.org/downloads/）にアクセスし、「Download Python 3.x.x」ボタンから Windows 用インストーラーをダウンロードする。
2. ダウンロードしたインストーラーを実行する。
3. 初期画面の下部に表示される「Add python.exe to PATH」に必ずチェックを入れてから「Customize installation」を選択する。このチェックを入れ忘れると、コマンドプロンプトから python コマンドを実行できない。
4. 「Install Python 3.xx for all users」にチェックを入れ、「Install」をクリックする。

インストールの確認

コマンドプロンプトで以下を実行する。

python --version

バージョン番号（例：Python 3.12.x）が表示されればインストール成功である。「'python' は、内部コマンドまたは外部コマンドとして認識されていません。」と表示される場合は、インストールが正常に完了していない。

AIエディタ Windsurf のインストール

Pythonプログラムの編集・実行には、AIエディタの利用を推奨する。ここでは、Windsurfのインストールを説明する。

Windsurf がインストール済みの場合、この手順は不要である。管理者権限のコマンドプロンプトで以下を実行する。管理者権限のコマンドプロンプトを起動するには、Windows キーまたはスタートメニューから「cmd」と入力し、表示された「コマンドプロンプト」を右クリックして「管理者として実行」を選択する。

winget install -e --id Codeium.Windsurf --scope machine --accept-source-agreements --accept-package-agreements --override "/VERYSILENT /NORESTART /MERGETASKS=!runcode,addtopath,associatewithfiles,!desktopicon"
powershell -Command "$env:Path=[System.Environment]::GetEnvironmentVariable('Path','Machine')+';'+[System.Environment]::GetEnvironmentVariable('Path','User'); windsurf --install-extension MS-CEINTL.vscode-language-pack-ja --force; windsurf --install-extension ms-python.python --force"

--scope machine を指定することで、システム全体（全ユーザー向け）にインストールされる。このオプションの実行には管理者権限が必要である。インストール完了後、コマンドプロンプトを再起動すると PATH が自動的に設定される。

【関連する外部ページ】

Windsurf の公式ページ: https://windsurf.com/

日本語版 Wikipedia のダウンロード

1. Wikipedia のデータベースダウンロードページを開く．

   利用条件，注意事項，ダウンロード手順を確認する．

   https://ja.wikipedia.org/wiki/Wikipedia:Database_download

2. 日本語版 Wikipedia ダンプのページを開く

   https://dumps.wikimedia.org/jawiki/

3. 日付を選ぶ
   
4. jawiki-...-pages-articles-multistream.xml.bz2 をダウンロード

   「...」のところは日付．

   

日本語版 Wikipedia ファイルの分割（Python, git, attardi/wikiextractor を使用）

1. まず，ダウンロードしたファイル名を確認
2. 次のコマンドで，ダウンロードしたファイルを分割する．

   「jawiki-20200701-pages-articles-multistream.xml.bz2」は 実際のファイル名に読み替えること．

   終わるまで数時間かかるので待つ．

   * Windows の場合は「python」，Ubuntu の場合は「python3」．

   git clone https://github.com/attardi/wikiextractor.git
   mkdir jawiki
   python wikiextractor/WikiExtractor.py s -b 500M -o jawiki/ jawiki-20200701-pages-articles-multistream.xml.bz2
   

   
3. 表示を確認

   エラーメッセージが出ていないこと．

   

   結果は，ディレクトリ名 jawiki のディレクトリに置かれる．