Apache Web サーバのセキュリティ設定と管理ガイド

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin, urlparse
import sys
import re
import xml.etree.ElementTree as ET
import xml.dom.minidom

def is_valid_url(url, target_domain):
    """ URLが指定されたドメイン内で有効かチェック """
    parsed_url = urlparse(url)
    return parsed_url.netloc and parsed_url.scheme and parsed_url.netloc == target_domain

def check_image_links(page_soup, page_url, target_domain, session, broken_images):
    """ ウェブページ内の画像リンクをチェック """
    for img_tag in page_soup.find_all("img"):
        img_src = img_tag.get("src")
        if img_src:
            full_img_url = urljoin(page_url, img_src)
            if is_valid_url(full_img_url, target_domain) and not is_url_accessible(full_img_url, session):
                report_broken_link(full_img_url, page_url, broken_images)

def is_url_accessible(url, session):
    """ URLがアクセス可能かチェック """
    try:
        response = session.head(url)
        return response.status_code == 200
    except requests.RequestException:
        return False

def report_broken_link(url, source_url, broken_links):
    """ 壊れたリンクを報告 """
    print(f"切れたリンク: {url}, 元のページ: {source_url}")
    broken_links.add((url, source_url))

def remove_hash_fragment(url):
    """ URLからハッシュフラグメントを削除 """
    return re.sub(r"#.*", "", url)

def remove_query_parameter(url):
    """ URLからクエリパラメータを削除 """
    return url.split('?')[0]

def get_file_size(url, session):
    """ URLのファイルサイズを取得 """
    response = session.head(url)
    return int(response.headers.get('content-length', 0))

def get_all_links(page_url, target_domain, session, visited_urls, broken_images):
    """ HTML ファイル内のリンクを取得 """
    urls = set()
    if page_url.endswith(('.pdf', '.ppt', '.pptx', '.doc', '.docx', '.zip', '.ZIP', '.accdb', '.csv', '.txt', '.jpg', '.JPG', '.png', '.MOV', '.mp4', '.MP4', '.gz', '.z', '.blend', '.ply', '.wav', '.xls', 'xlsx', '.txt', '.MTS', '.iso', '.tif', '.tiff', '.bmp', '.mp3', '.avi', '.obj', '.cgi', '.spam', '.sh', '.tgz', '.ova', '.IFO', '.VOB', '.BUP', '.pcd', '.gif', '.xml', '.fbx', '.m4a', '.odp', '.mht', '.ttf', '.rb', '.tex')):
        return []

    # ファイルサイズのチェック
    if get_file_size(page_url, session) > 10000000:
        print(f"大きすぎるファイル: {page_url}")
        return []

    try:
        response = session.get(page_url)
        if response.history:
            print(f"リダイレクト, リダイレクト元 {page_url}, 最終的なURL {response.url}")
        page_soup = BeautifulSoup(response.content, "html.parser")
        check_image_links(page_soup, page_url, target_domain, session, broken_images)
        for a_tag in page_soup.find_all("a"):
            href = a_tag.get("href")
            if href:
                href = urljoin(page_url, href)
                href = remove_hash_fragment(href)
                href = remove_query_parameter(href)
                if is_valid_url(href, target_domain) and href not in visited_urls and href.endswith(('.html', '.pdf', '.ppt', '.pptx', '.doc', '.docx')):
                    response = session.get(href)
                    print("add", response.url)
                    urls.add(response.url)
    except (requests.RequestException, Exception) as e:
        print(f"リクエストのエラー: {page_url}, エラー詳細: {e}")
    return urls

def crawl_website(start_url, target_domain, session, visited_urls, broken_urls, broken_images):
    """ ウェブサイトを再帰的に巡回 """
    visited_urls.add(start_url)
    links = get_all_links(start_url, target_domain, session, visited_urls, broken_images)
    for link in links:
        if link not in visited_urls:
            crawl_website(link, target_domain, session, visited_urls, broken_urls, broken_images)

def create_sitemap(links):
    """ サイトマップをXML形式で作成 """
    urlset = ET.Element("urlset", xmlns="http://www.sitemaps.org/schemas/sitemap/0.9")
    for link in sorted(links):
        url = ET.SubElement(urlset, "url")
        ET.SubElement(url, "loc").text = link
        ET.SubElement(url, "changefreq").text = "monthly"
    return ET.ElementTree(urlset)

def save_sitemap(sitemap, filename):
    """ サイトマップをファイルに保存 """
    # XMLを文字列として生成
    xml_str = ET.tostring(sitemap.getroot(), encoding='unicode')

    # タグごとに改行を挿入
    xml_str = xml_str.replace('><', '>\n<')

    # ファイルに保存
    with open(filename, "w", encoding='utf-8') as file:
        file.write(xml_str)

# メインの実行部分
if len(sys.argv) > 1:
    start_url = sys.argv[1]
    target_domain = urlparse(start_url).netloc
    session = requests.Session()
    visited_urls, broken_urls, broken_images = set(), set(), set()

    crawl_website(start_url, target_domain, session, visited_urls, broken_urls, broken_images)

    # サイトマップの作成と保存
    sitemap_xml = create_sitemap(visited_urls)
    save_sitemap(sitemap_xml, "sitemap.xml")

    print("サイトマップが作成され、保存されました。")
else:
    print("起動引数にURLを指定してください。")

sudo apt -y update
sudo apt -yV upgrade

sudo apt -y update
cd /etc
tar -cvpf /var/tmp/apache.$$.tar ./apache2
sudo apt -y upgrade apache2
apache2 -v
sudo systemctl restart apache2