Web ページのダウンロード，単語に切り分け，形態素解析（Python, Mecab, BeautifulSoap を使用）

前準備

Python のインストール（Windows 上）

【サイト内の関連ページ】

• Windows での Python 3.10，関連パッケージ，Python 開発環境のインストール: 別ページ »で説明している．
• Windows での Anaconda3 のインストール: 別ページ »で説明している．
• Python のまとめ: 別ページ »にまとめている．

【関連する外部ページ】

Python の公式ページ: https://www.python.org/

MeCab のインストール

辞書の文字コードは UTF-8 を選ぶ．

• Windows での MeCab のインストール: 別ページ »で説明している．
• Ubuntu での MeCab のインストール: 別ページ »で説明している．

python の mecab, bs4 のインストール

• Windows

  Windows では，コマンドプロン プトを管理者として実行する．

  次のコマンドを実行．

  python -m pip install mecab bs4
  

• Ubuntu

  sudo pip3 install mecab bs4
  

日本語文書からの単語の切り出し，品詞の判定

1. Python プログラムの実行

   Python プログラムの実行

   • Windows では python （Python ランチャーは py）
   • Ubuntu では python3

   Python 開発環境（Jupyter Qt Console, Jupyter ノートブック (Jupyter Notebook), Jupyter Lab, Nteract, Spyder, PyCharm, PyScripterなど）も便利である．

   Python のまとめ: 別ページ »にまとめ

   日本語の文章から，単語を切り出し，品詞を自動判定する Python プログラム

   import sys
   import MeCab
   m = MeCab.Tagger("-Ochasen")
   print(m.parse ("日本国民は、正当に選挙された国会における代表者を通じて行動し"))
   

   

Web ページのダウンロードと単語の切り出し

1. Web ページのダウンロード

   URL を指定して，Web ページをダウンロード．そして，確認表示を行う Python プログラム．

   import urllib.request
   r =  urllib.request.urlopen('https://www.kkaneko.jp')
   html = r.read()
   print(html.decode())
   

   
2. HTML タグの除去

   いまダウンロードした Web ページについて，BeautifulSoap を用いて，HTML タグを取り除く Python プログラム．テキストと JavaScript が残る．

   from bs4 import BeautifulSoup
   soup = BeautifulSoup(html,'html5lib')
   t = soup.get_text()
   print(t) 
   

   
3. プログラムの実行

   いまダウンロードした日本語の Web ページについて，MeCab を用いて，単語を切り出す Python プログラム

   import sys
   import MeCab
   m = MeCab.Tagger("-Ochasen")
   a = m.parse(t)
   words = [i.split()[0] for i in a.splitlines()]
   print(words)