Apache Web サーバのセキュリティ設定と管理ガイド

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin, urlparse
import sys
import re
import xml.etree.ElementTree as ET
import xml.dom.minidom # 整形のために追加

def is_valid_url(url, target_domain):
    """ URLが指定されたドメイン内で有効かチェック """
    parsed_url = urlparse(url)
    return parsed_url.netloc and parsed_url.scheme and parsed_url.netloc == target_domain

def check_image_links(page_soup, page_url, target_domain, session, broken_images):
    """ ウェブページ内の画像リンクをチェック """
    for img_tag in page_soup.find_all("img"):
        img_src = img_tag.get("src")
        if img_src:
            full_img_url = urljoin(page_url, img_src)
            if is_valid_url(full_img_url, target_domain) and not is_url_accessible(full_img_url, session):
                report_broken_link(full_img_url, page_url, broken_images)

def is_url_accessible(url, session):
    """ URLがアクセス可能かチェック """
    try:
        response = session.head(url)
        return response.status_code == 200
    except requests.RequestException:
        return False

def report_broken_link(url, source_url, broken_links):
    """ 壊れたリンクを報告 """
    print(f"切れたリンク: {url}, 元のページ: {source_url}")
    broken_links.add((url, source_url))

def remove_hash_fragment(url):
    # URLからハッシュフラグメント (#以降) を削除します。
    return re.sub(r"#.*", "", url)

def remove_query_parameter(url):
    # URLからクエリパラメータ (?以降) を削除します。同一コンテンツへの重複URLを避けるためです。
    return url.split('?')[0]

def get_file_size(url, session):
    """ URLのファイルサイズを取得 """
    try: # HEADリクエストが失敗する場合も考慮
        response = session.head(url, timeout=5) # タイムアウト設定
        response.raise_for_status() # エラーがあれば例外発生
        return int(response.headers.get('content-length', 0))
    except requests.RequestException as e:
        print(f"ファイルサイズ取得エラー: {url}, エラー: {e}")
        return 0 # エラー時は 0 を返す

def get_all_links(page_url, target_domain, session, visited_urls, broken_images):
    """ HTML ファイル内のリンクを取得 """
    urls = set()
    # HTML, PDF, Office文書以外のファイルタイプはサイトマップに含めないため、巡回対象外とします。
    # 必要に応じて対象/除外リストを調整してください。
    excluded_extensions = ('.zip', '.ZIP', '.accdb', '.csv', '.txt', '.jpg', '.JPG', '.png', '.MOV', '.mp4', '.MP4', '.gz', '.z', '.blend', '.ply', '.wav', '.xls', 'xlsx', '.MTS', '.iso', '.tif', '.tiff', '.bmp', '.mp3', '.avi', '.obj', '.cgi', '.spam', '.sh', '.tgz', '.ova', '.IFO', '.VOB', '.BUP', '.pcd', '.gif', '.xml', '.fbx', '.m4a', '.odp', '.mht', '.ttf', '.rb', '.tex')
    allowed_extensions = ('.html', '.pdf', '.ppt', '.pptx', '.doc', '.docx') # サイトマップに含める拡張子

    parsed_page_url = urlparse(page_url)
    # 除外リストにある拡張子で終わるURLはスキップ
    if any(parsed_page_url.path.lower().endswith(ext) for ext in excluded_extensions):
         print(f"除外された拡張子: {page_url}")
         return urls
    # 許可リストにない拡張子のURLもスキップ (ただしディレクトリのような拡張子なしは許可)
    if '.' in parsed_page_url.path.split('/')[-1] and not any(parsed_page_url.path.lower().endswith(ext) for ext in allowed_extensions):
         print(f"許可されない拡張子: {page_url}")
         return urls


    # ファイルサイズのチェック (10MBを超えるファイルはスキップ)
    file_size = get_file_size(page_url, session)
    if file_size > 10000000:
        print(f"大きすぎるファイル (サイズ: {file_size}): {page_url}")
        return urls

    try:
        response = session.get(page_url, timeout=10) # タイムアウト設定
        response.raise_for_status() # エラーがあれば例外発生

        # Content-Typeがtext/htmlでない場合はスキップ
        content_type = response.headers.get('content-type', '').lower()
        if 'text/html' not in content_type:
             # PDFなどは別途処理するためここではスキップしない
             if not any(page_url.lower().endswith(ext) for ext in allowed_extensions if ext != '.html'):
                  print(f"HTMLでないコンテンツタイプ: {content_type}, URL: {page_url}")
                  return urls


        if response.history: # リダイレクトが発生した場合
            # リダイレクト先のURLがターゲットドメイン外なら処理しない
            if not is_valid_url(response.url, target_domain):
                 print(f"外部へのリダイレクト: {page_url} -> {response.url}")
                 return urls
            print(f"リダイレクト検出: 元 {page_url}, 先 {response.url}")
            # リダイレクト先を処理対象に追加 (ただし、既に訪問済みでないかチェック)
            final_url = remove_query_parameter(remove_hash_fragment(response.url))
            if final_url != page_url and final_url not in visited_urls:
                 # crawl_website内で追加されるのでここでは追加しない
                 pass # 必要であればここで追加処理

        # HTMLの場合のみパースしてリンクを抽出
        if 'text/html' in content_type:
            page_soup = BeautifulSoup(response.content, "html.parser")
            # 画像リンク切れチェック (オプション)
            # check_image_links(page_soup, page_url, target_domain, session, broken_images)
            for a_tag in page_soup.find_all("a"):
                href = a_tag.get("href")
                if href:
                    # URLの正規化 (相対パスを絶対パスに、フラグメントとクエリを除去)
                    full_url = urljoin(page_url, href)
                    cleaned_url = remove_query_parameter(remove_hash_fragment(full_url))

                    # 有効なURLか、ターゲットドメイン内か、訪問済みでないか、許可された拡張子かをチェック
                    if is_valid_url(cleaned_url, target_domain) and cleaned_url not in visited_urls:
                         # 許可された拡張子で終わるかチェック
                         parsed_cleaned_url = urlparse(cleaned_url)
                         if any(parsed_cleaned_url.path.lower().endswith(ext) for ext in allowed_extensions) or '.' not in parsed_cleaned_url.path.split('/')[-1]: # 拡張子なし(ディレクトリ等)も許可
                              try:
                                   # リンク先が存在するか確認してから追加 (HEADリクエスト)
                                   link_response = session.head(cleaned_url, timeout=5)
                                   link_response.raise_for_status()
                                   # リダイレクトがあれば最終的なURLを使用
                                   final_link_url = remove_query_parameter(remove_hash_fragment(link_response.url))
                                   if is_valid_url(final_link_url, target_domain) and final_link_url not in visited_urls:
                                       print(f"追加候補: {final_link_url} (元リンク: {href})")
                                       urls.add(final_link_url)
                              except requests.RequestException as link_e:
                                   print(f"リンク先アクセスエラー: {cleaned_url}, 元ページ: {page_url}, エラー: {link_e}")
                                   report_broken_link(cleaned_url, page_url, broken_urls) # broken_urls を使用

    except (requests.RequestException, Exception) as e:
        print(f"ページ取得/処理エラー: {page_url}, エラー詳細: {e}")
        report_broken_link(page_url, "Crawl Start", broken_urls) # broken_urls を使用
    return urls


def crawl_website(start_url, target_domain, session, visited_urls, broken_urls, broken_images):
    """ ウェブサイトを再帰的に巡回 (深さ優先探索) """
    to_visit = [start_url] # これから訪れるURLのリスト

    while to_visit:
        current_url = to_visit.pop(0) # FIFOで幅優先探索に変更も可能 (pop()なら深さ優先)
        # 正規化してからチェック
        current_url = remove_query_parameter(remove_hash_fragment(current_url))

        if current_url in visited_urls or not is_valid_url(current_url, target_domain):
            continue

        print(f"巡回中: {current_url}")
        visited_urls.add(current_url)

        # 現在のURLからリンクを取得
        try:
             links = get_all_links(current_url, target_domain, session, visited_urls, broken_images) # broken_urlsも渡す必要あり
             # 新しく見つかった、未訪問のリンクを訪問リストに追加
             for link in links:
                  cleaned_link = remove_query_parameter(remove_hash_fragment(link))
                  if cleaned_link not in visited_urls and cleaned_link not in to_visit:
                       to_visit.append(cleaned_link)
        except Exception as e:
             print(f"巡回エラー ({current_url}): {e}")
             report_broken_link(current_url, "Crawl Loop", broken_urls)


def create_sitemap(links):
    """ サイトマップをXML形式で作成 """
    urlset = ET.Element("urlset", xmlns="http://www.sitemaps.org/schemas/sitemap/0.9")
    # HTMLページのみをサイトマップに追加 (オプション: 必要なら他のタイプも)
    html_links = [link for link in links if urlparse(link).path.lower().endswith('.html') or '.' not in urlparse(link).path.split('/')[-1]]

    for link in sorted(html_links): # HTMLリンクのみソートして追加
        url = ET.SubElement(urlset, "url")
        ET.SubElement(url, "loc").text = link
        ET.SubElement(url, "changefreq").text = "monthly" # または weekly/daily など
        # lastmod も追加可能 (例: ET.SubElement(url, "lastmod").text = "YYYY-MM-DD")
    return ET.ElementTree(urlset)

def save_sitemap(sitemap, filename):
    """ サイトマップを整形してファイルに保存 """
    xml_str = ET.tostring(sitemap.getroot(), encoding='utf-8')
    # minidomを使って整形
    dom = xml.dom.minidom.parseString(xml_str)
    pretty_xml_str = dom.toprettyxml(indent="  ", encoding='utf-8') # インデントを指定

    # ファイルに保存 (バイト列として書き込む)
    with open(filename, "wb") as file: # バイナリモードで開く
        file.write(pretty_xml_str)

# --- メインの実行部分 ---
if __name__ == "__main__": # スクリプトとして実行された場合のみ動作
    if len(sys.argv) > 1:
        start_url = sys.argv[1]
        # 開始URLを正規化
        start_url = remove_query_parameter(remove_hash_fragment(start_url))
        parsed_start_url = urlparse(start_url)
        target_domain = parsed_start_url.netloc

        # ドメインがなければエラー
        if not target_domain:
            print(f"エラー: 無効な開始URLです。ドメイン名が含まれていません: {start_url}")
            sys.exit(1)

        # スキームがなければ https を仮定 (httpも可)
        if not parsed_start_url.scheme:
            start_url = "https://" + start_url
            print(f"スキームを追加しました: {start_url}")

        session = requests.Session()
        # User-Agentを設定 (偽装が必要な場合)
        session.headers.update({'User-Agent': 'My Sitemap Generator Bot'})

        visited_urls, broken_urls, broken_images = set(), set(), set()

        print(f"巡回開始: {start_url}, 対象ドメイン: {target_domain}")
        crawl_website(start_url, target_domain, session, visited_urls, broken_urls, broken_images)

        # サイトマップの作成と保存 (HTMLページのみ)
        sitemap_xml = create_sitemap(visited_urls)
        save_sitemap(sitemap_xml, "sitemap.xml")

        print(f"\n--- 処理完了 ---")
        print(f"巡回したURL数: {len(visited_urls)}")
        print(f"サイトマップ (sitemap.xml) に含まれるURL数: {len(sitemap_xml.findall('.//{http://www.sitemaps.org/schemas/sitemap/0.9}url'))}") # 名前空間を指定してカウント
        print(f"サイトマップが作成され、sitemap.xml として保存されました。")

        # 壊れたリンクの報告
        if broken_urls:
            print("\n--- 検出された壊れた可能性のあるリンク ---")
            for url, source in sorted(list(broken_urls)):
                print(f"リンク: {url} (参照元: {source})")
        else:
            print("\n壊れたリンクは見つかりませんでした。")

    else:
        print("使い方: python a.py <開始URL>")
        print("例: python a.py https://www.example.com")