LSD とカラー画像の勾配情報による直線検出（ソースコードと実行結果）

第1章 Python開発環境，ライブラリ類

ここでは、最低限の事前準備について説明する。機械学習や深層学習を行う場合は、NVIDIA CUDA、Visual Studio、Cursorなどを追加でインストールすると役に立つ。これらについては別ページ https://www.kkaneko.jp/cc/dev/aiassist.html で解説しているので、必要に応じて参照してほしい。

第2章 Python 3.12 のインストール

Pythonのインストールを行い、Pythonのプログラムを実行する環境を整える。扱う環境は、Windows搭載パソコンである。金子研究室では、Python 3.12.10を推奨する。

REM Python 3.12 をシステム領域にインストール
winget install --id Python.Python.3.12 -e --scope machine --silent --accept-source-agreements --accept-package-agreements --override "/quiet InstallAllUsers=1 PrependPath=1 Include_test=0 Include_pip=1 Include_launcher=1 InstallLauncherAllUsers=1 TargetDir=\"C:\Program Files\Python312\""

REM Python と Scripts を PATH 先頭に追加
powershell -NoProfile -Command "$p='C:\Program Files\Python312'; $s=\"$p\Scripts\"; $c=[Environment]::GetEnvironmentVariable('Path','Machine'); if((Test-Path $p) -and (';'+$c+';' -notlike \"*;$p;*\") -and (';'+$c+';' -notlike \"*;$s;*\")){[Environment]::SetEnvironmentVariable('Path',\"$p;$s;$c\",'Machine')}"

python --version

第3章 Python の開発環境 Visual Studio Code のインストールと Python 用の設定

Python の開発環境Visual Studio Code（プログラムを編集するソフトウェア。以下、VS Code）を整える。

REM ============================================================
REM Microsoft Visual Studio Code
REM ============================================================
winget uninstall -e --id Microsoft.VisualStudioCode --silent --disable-interactivity --accept-source-agreements
rmdir /s /q C:\ProgramData\vscode-extensions 2>nul
rmdir /s /q "%APPDATA%\Code" 2>nul
rmdir /s /q "%USERPROFILE%\.vscode" 2>nul
rmdir /s /q "%LOCALAPPDATA%\Microsoft\vscode-update" 2>nul

REM VS Code をシステム領域に新規インストール
winget install --scope machine --id Microsoft.VisualStudioCode -e --silent --accept-source-agreements --accept-package-agreements

REM 全ユーザー共有の拡張機能フォルダ
mkdir C:\ProgramData\vscode-extensions 2>nul
icacls "C:\ProgramData\vscode-extensions" /grant "Everyone:(OI)(CI)M" /T

REM スタートメニューのショートカットを --extensions-dir 付きで再作成
rmdir /s /q "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code" 2>nul
del "C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk" 2>nul
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); $lnk.TargetPath='C:\Program Files\Microsoft VS Code\Code.exe'; $lnk.Arguments='--extensions-dir \"C:\ProgramData\vscode-extensions\"'; $lnk.Save()"
REM ショートカットの検証
powershell -NoProfile -Command "$s=New-Object -ComObject WScript.Shell; $lnk=$s.CreateShortcut('C:\ProgramData\Microsoft\Windows\Start Menu\Programs\Visual Studio Code.lnk'); Write-Host 'TargetPath:' $lnk.TargetPath; Write-Host 'Arguments:' $lnk.Arguments"

REM ファイル / フォルダ右クリックの「Code で開く」を登録
reg add "HKLM\SOFTWARE\Classes\*\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%1\"" /f
reg add "HKLM\SOFTWARE\Classes\Directory\Background\shell\VSCode\command" /ve /d "\"C:\Program Files\Microsoft VS Code\Code.exe\" --extensions-dir \"C:\ProgramData\vscode-extensions\" \"%V\"" /f

REM --extensions-dir 付きで起動する code.cmd ラッパを作成
REM （%* を echo で書くと対話的 cmd で失われるため、PowerShell で [char]37+'*' を書き出す）
powershell -NoProfile -Command "$pct=[char]37; $q=[char]34; $c='@echo off'+[char]13+[char]10+$q+'C:\Program Files\Microsoft VS Code\bin\code.cmd'+$q+' --extensions-dir '+$q+'C:\ProgramData\vscode-extensions'+$q+' '+$pct+'*'+[char]13+[char]10; [IO.File]::WriteAllText('C:\ProgramData\vscode-extensions\vscode.cmd',$c,[Text.Encoding]::ASCII)"

REM 拡張機能のインストール
set "CODE=C:\Program Files\Microsoft VS Code\bin\code.cmd"
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --uninstall-extension GitHub.copilot-chat
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.python
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.vscode-pylance
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension ms-python.debugpy
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension MS-CEINTL.vscode-language-pack-ja
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension saoudrizwan.claude-dev
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension rust-lang.rust-analyzer
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension tamasfe.even-better-toml
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension anthropic.claude-code
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --install-extension almenon.arepl
"%CODE%" --extensions-dir "C:\ProgramData\vscode-extensions" --list-extensions --show-versions
echo === セットアップ完了 ===

第4章 必要なライブラリのインストール

管理者権限でコマンドプロンプトを起動する （手順：Windowsキーまたはスタートメニュー → cmd と入力 → 右クリック → 「管理者として実行」）。

次のコマンドを実行して、システム領域にライブラリをインストールする（--no-user は、ユーザ領域ではなくシステム領域にインストールするためのオプションである）。

REM Python 3.12 の pip でインストールする
set "PYTHON_PATH=C:\Program Files\Python312"
"%PYTHON_PATH%\Scripts\pip" install --no-user -U opencv-python numpy pillow

LSD は OpenCV に標準で含まれるため、追加のパッケージは必要ない。なお LSD の実装は、原コードのライセンスの問題により OpenCV 4.1.0 から 4.5.3 までは削除されていたが、誤検出制御（NFA）の計算コードが MIT ライセンスで公開されたことにより復活し、現在の OpenCV では標準で利用できる。

第5章 LSD とカラー画像の勾配情報による直線検出プログラム

概要

このプログラムは、動画の各フレームから線分を検出する。カラー画像の勾配情報とグレースケール変換を組み合わせた前処理によりエッジ特徴を強調し、LSDアルゴリズムで直線検出を行う。

主要技術

Line Segment Detector (LSD)

Rafael Grompone von Gioi らが2010年に発表した直線検出アルゴリズム[1]。画像の勾配情報にもとづいて線分を検出し、誤検出制御（検出された線分が偶然生じたものかどうかを統計的に判定するしくみ）を備える。確率的ハフ変換と比べて、サブピクセル精度（画素の間隔より細かい精度）での検出ができ、調整すべきパラメータが少ない。OpenCV に標準実装されている。

Sobel演算子による勾配計算

画像の微分を近似して、エッジの強度と方向を計算する画像処理技術[2]。このプログラムではRGB各チャンネルに適用し、カラー情報を活用したエッジ検出を行っている。

技術的特徴

カラー画像の勾配情報の活用

RGB各チャンネルでSobel演算子を適用し、統合勾配マップを生成する。グレースケール変換だけでは失われる色の境界を、エッジとして捉えられる。

解像度と明度に応じたパラメータ設定

画像の解像度と明度に応じてLSDのパラメータを決める。パラメータは最初のフレームで決定し、以後は同じ設定を使う。

多段階前処理

ガウシアンフィルタ（ノイズ除去）、コントラスト強化、CLAHE（局所的にコントラストを改善する適応的ヒストグラム均等化）を組み合わせる。

重み付き画像統合

グレースケール画像と勾配情報を7:3の比率で統合する。

実装の特色

動画のリアルタイム処理に対応し、次の機能を備える。

• 3つの入力ソース選択（動画ファイル、カメラ、サンプル動画）
• 線分長による絞り込み（30ピクセル以上）
• 左右分割表示（左:LSDへの入力画像、右:検出結果）
• 処理結果のファイル保存機能

参考文献

[1] Grompone von Gioi, R., Jakubowicz, J., Morel, J. M., & Randall, G. (2010). LSD: A Fast Line Segment Detector with a False Detection Control. IEEE Transactions on Pattern Analysis and Machine Intelligence, 32(4), 722-732. https://doi.org/10.1109/TPAMI.2008.300

[2] Sobel, I., & Feldman, G. (1968). A 3x3 Isotropic Gradient Operator for Image Processing. Stanford Artificial Intelligence Project (SAIL).

ソースコード

"""
LSD とカラー画像の勾配情報による直線検出プログラム
特徴技術名: Line Segment Detector (LSD)
出典: Rafael Grompone von Gioi, Jeremie Jakubowicz, Jean-Michel Morel, and Gregory Randall. LSD: A Fast Line Segment Detector with a False Detection Control. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, no. 4, pp. 722-732, 2010.
特徴機能: 画像の勾配情報から線分の領域を育てて線分を求め、誤検出制御によって偶然生じた線分を抑える直線検出。サブピクセル精度で端点が求まり、調整すべきパラメータが少ない
学習済みモデル: 使用なし
方式設計:
  関連利用技術:
    - OpenCV: 画像処理、LSDの実装、GUI表示、動画・カメラ入力処理
    - NumPy: 数値計算、配列操作
    - Pillow: OpenCV画面への日本語テキスト描画
  入力と出力:
    入力: 動画（ユーザは「0:動画ファイル，1:カメラ，2:サンプル動画」のメニューで選択．0:動画ファイルの場合はtkinterでファイル選択．1の場合はOpenCVでカメラが開く．2の場合はhttps://raw.githubusercontent.com/opencv/opencv/master/samples/data/vtest.aviを使用）
    出力: 処理結果が画像化できる場合にはOpenCV画面でリアルタイムに表示。OpenCV画面内に処理結果をテキストで表示。さらに、print()で処理結果を表示。プログラム終了時にprint()で表示した処理結果をresult.txtファイルに保存し、「result.txtに保存」したことをprint()で表示
  処理手順:
    1. RGB各チャンネルにSobel演算子を適用して統合勾配マップを生成
    2. グレースケール画像と統合勾配マップを7:3の比率で統合
    3. ガウシアンフィルタ、コントラスト強化、CLAHEを適用
    4. LSDで線分を検出
    5. 線分長で絞り込み、元画像に描画して結果表示
  前処理: カラー勾配の統合、重み付きグレースケール変換、ガウシアンフィルタリング、コントラスト強化、適応的ヒストグラム均等化
  後処理: 検出線分の可視化描画、線分長による絞り込み（最小長30ピクセル）
  追加処理: フレーム数カウント、検出線分数の記録
  調整を必要とする設定値:
    - refine(解像度適応): 線分の改良レベル（0=なし、1=標準、2=高度）
    - scale(解像度適応): 画像のスケール（高解像度0.5、中解像度0.8、低解像度1.0）
    - sigma_scale(0.4): ガウシアンフィルタのスケール
    - quant(明度適応): 勾配の量子化誤差の許容値（明るい画像2.5、暗い画像1.5）
    - ang_th(明度適応): 角度の閾値（明るい画像20.0、暗い画像15.0）
    - MIN_LINE_LENGTH(30): この長さ以上の線分のみを採用
将来方策: パラメータ自動調整機能、複数検出器の比較機能の実装
その他の重要事項: LSDはOpenCVに標準で含まれるため追加パッケージは不要である
前準備:
pip install --no-user -U opencv-python numpy pillow
"""

import time
from datetime import datetime
import urllib.request
import tkinter as tk
from tkinter import filedialog

import cv2
import numpy as np
from PIL import Image, ImageFont, ImageDraw

MIN_LINE_LENGTH = 30
FONT_PATH = 'C:/Windows/Fonts/meiryo.ttc'
FONT_SIZE = 20
MAIN_FUNC_DESC = '線分検出（左:入力画像/右:検出結果）'

font = ImageFont.truetype(FONT_PATH, FONT_SIZE)
clahe = cv2.createCLAHE(clipLimit=2.0, tileGridSize=(8, 8))
lsd_detector = None
frame_count = 0
results_log = []


def draw_text(image, text):
    img_pil = Image.fromarray(cv2.cvtColor(image, cv2.COLOR_BGR2RGB))
    ImageDraw.Draw(img_pil).text((10, 10), text, font=font, fill=(0, 255, 0))
    return cv2.cvtColor(np.array(img_pil), cv2.COLOR_RGB2BGR)


def video_frame_processing(frame):
    global frame_count, lsd_detector
    current_time = time.time()
    frame_count += 1

    # RGB各チャンネルにSobel演算子を適用し、統合勾配マップを生成
    b_channel, g_channel, r_channel = cv2.split(frame)
    squared_sum = np.zeros(frame.shape[:2], dtype=np.float64)
    for channel in (r_channel, g_channel, b_channel):
        sobel_x = cv2.Sobel(channel, cv2.CV_64F, 1, 0, ksize=3)
        sobel_y = cv2.Sobel(channel, cv2.CV_64F, 0, 1, ksize=3)
        squared_sum += sobel_x ** 2 + sobel_y ** 2
    gradient = cv2.normalize(np.sqrt(squared_sum), None, 0, 255, cv2.NORM_MINMAX).astype(np.uint8)

    # 重み付きグレースケール変換（ITU-R BT.601）と勾配情報を7:3の比率で統合
    gray = cv2.addWeighted(cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY), 0.7, gradient, 0.3, 0)
    # ノイズ除去、コントラスト強化、局所的なコントラスト改善
    gray = cv2.GaussianBlur(gray, (3, 3), 0.5)
    gray = cv2.convertScaleAbs(gray, alpha=1.2, beta=10)
    gray = clahe.apply(gray)

    # 解像度と明度に応じたパラメータでLSDを生成（初回フレームのみ、以後は再利用）
    if lsd_detector is None:
        height, width = gray.shape
        total_pixels = height * width
        if total_pixels >= 1920 * 1080:
            scale, refine = 0.5, 2
        elif total_pixels >= 1280 * 720:
            scale, refine = 0.8, 1
        else:
            scale, refine = 1.0, 0
        if cv2.mean(gray)[0] > 127:
            ang_th, quant = 20.0, 2.5
        else:
            ang_th, quant = 15.0, 1.5
        lsd_detector = cv2.createLineSegmentDetector(refine, scale, 0.4, quant, ang_th)

    lines = lsd_detector.detect(gray)[0]

    detection_result = frame.copy()
    line_count = 0
    if lines is not None:
        for line in lines:
            x1, y1, x2, y2 = line[0]
            if np.hypot(x2 - x1, y2 - y1) >= MIN_LINE_LENGTH:
                cv2.line(detection_result, (int(x1), int(y1)), (int(x2), int(y2)), (0, 255, 0), 2)
                line_count += 1

    detection_result = draw_text(detection_result, f'フレーム: {frame_count}, 検出線分数: {line_count}')
    combined_frame = np.hstack([cv2.cvtColor(gray, cv2.COLOR_GRAY2BGR), detection_result])
    result = f'フレーム {frame_count}: 検出線分数 {line_count}'
    return combined_frame, result, current_time


print('入力ソースを選択してください:')
print('0: 動画ファイル')
print('1: カメラ')
print('2: サンプル動画')

choice = input('選択: ')

if choice == '0':
    root = tk.Tk()
    root.withdraw()
    path = filedialog.askopenfilename()
    if not path:
        exit()
    cap = cv2.VideoCapture(path)
elif choice == '1':
    cap = cv2.VideoCapture(0, cv2.CAP_DSHOW)
    if not cap.isOpened():
        cap = cv2.VideoCapture(0)
    cap.set(cv2.CAP_PROP_BUFFERSIZE, 1)
else:
    SAMPLE_URL = 'https://raw.githubusercontent.com/opencv/opencv/master/samples/data/vtest.avi'
    SAMPLE_FILE = 'vtest.avi'
    print(f'サンプル動画をダウンロード中: {SAMPLE_URL}')
    urllib.request.urlretrieve(SAMPLE_URL, SAMPLE_FILE)
    cap = cv2.VideoCapture(SAMPLE_FILE)

if not cap.isOpened():
    print('動画ファイル・カメラを開けませんでした')
    exit()

print('\n=== 動画処理開始 ===')
print('操作方法:')
print('  q キー: プログラム終了')
try:
    while True:
        ret, frame = cap.read()
        if not ret:
            break

        processed_frame, result, current_time = video_frame_processing(frame)
        cv2.imshow(MAIN_FUNC_DESC, processed_frame)
        if choice == '1':
            print(datetime.fromtimestamp(current_time).strftime('%Y-%m-%d %H:%M:%S.%f')[:-3], result)
        else:
            print(frame_count, result)
        results_log.append(result)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break
finally:
    print('\n=== プログラム終了 ===')
    cap.release()
    cv2.destroyAllWindows()
    if results_log:
        with open('result.txt', 'w', encoding='utf-8') as f:
            f.write('=== 結果 ===\n')
            f.write(f'処理フレーム数: {frame_count}\n')
            f.write('\n')
            f.write('\n'.join(results_log))
        print('\n処理結果をresult.txtに保存しました')