Cloudera Manager

Cloudera Manager は,Cloudera Base on premises(旧 CDP Private Cloud Base)のクラスタを配備・管理するソフトウェアである.ここでは,Ubuntu 上で Cloudera Manager の apt リポジトリを設定する手順を示す.

2021 年 1 月 31 日以降,Cloudera のソフトウェアリポジトリの利用には,有効なサブスクリプションと,それに付随する認証情報(ユーザ名とパスワード)が必要である.認証情報なしで https://archive.cloudera.com/p/cm7/ を参照した場合は 401 Unauthorized が返る.

関連する外部ページ

対応 Ubuntu バージョンについて

Cloudera Manager 7.13.2 が対応する Ubuntu は 22.04(jammy)24.04(noble)である.リポジトリはそれぞれ ubuntu2204ubuntu2404 のディレクトリで提供される.

Ubuntu 26.04(resolute)は 2026 年 4 月にリリースされた.Cloudera Manager 用のリポジトリは ubuntu2604 のディレクトリでは提供されておらず,対応状況は Cloudera Support Matrix で確認する.26.04 で構築する場合は,下記の手順で OS_DIRCODENAMEubuntu2404noble を指定して 24.04 用のパッケージを用いることになる.この構成は Cloudera の動作保証の対象外であり,依存パッケージ(Python,OpenJDK など)のバージョン差により動作しない場合がある.

  1. 認証情報(ユーザ名とパスワード)の取得

    認証情報は,サブスクリプション契約時に Cloudera から送付されるライセンスキーファイルとともに提供される.Cloudera のダウンロードページにある Credential Generator に,ライセンスキーファイル内の「PGP Signed Message」を貼り付けることでも取得できる.

  2. Ubuntu のバージョンの確認

    端末で,次のコマンドを実行する.

    lsb_release -a
    
  3. 必要なパッケージのインストール

    端末で,次のコマンドを実行する.

    # パッケージリストの情報を更新
    sudo apt update
    sudo apt -y install curl gnupg lsb-release
    
  4. 変数の設定

    端末で,次のコマンドを実行する.CM_USERCM_PASSWORD には,取得した認証情報を設定する.CM_VERSION には,利用するバージョンを設定する.

    export CM_USER="<ユーザ名>"
    export CM_PASSWORD="<パスワード>"
    export CM_VERSION="7.13.2.0"
    

    リポジトリのディレクトリ名(OS_DIR)とディストリビューションのコード名(CODENAME)を,Ubuntu のバージョンに応じて設定する.Ubuntu 22.04 と 24.04 では実行中の OS から自動で決まり,Ubuntu 26.04 では 24.04 用のリポジトリが選択される.端末で,次のコマンドを実行する.

    case "$(lsb_release -rs)" in
      22.04) export OS_DIR="ubuntu2204"; export CODENAME="jammy" ;;
      24.04) export OS_DIR="ubuntu2404"; export CODENAME="noble" ;;
      26.04) export OS_DIR="ubuntu2404"; export CODENAME="noble" ;;
      *)     echo "対応するリポジトリを Cloudera Support Matrix で確認すること" ;;
    esac
    export BASEURL="https://archive.cloudera.com/p/cm7/${CM_VERSION}/${OS_DIR}"
    echo "${BASEURL} ${CODENAME}"
    
  5. apt の認証情報の設定

    パスワードをリポジトリ定義ファイルに書かずに済ませるため,/etc/apt/auth.conf.d に認証情報を置く.端末で,次のコマンドを実行する.

    echo "machine archive.cloudera.com login ${CM_USER} password ${CM_PASSWORD}" | sudo tee /etc/apt/auth.conf.d/cloudera.conf
    sudo chmod 600 /etc/apt/auth.conf.d/cloudera.conf
    
  6. signing GPG key のインポート

    apt-key は廃止されているため,鍵は /usr/share/keyrings に配置し,リポジトリ定義の signed-by で参照する.端末で,次のコマンドを実行する.

    cd /tmp
    curl -u "${CM_USER}:${CM_PASSWORD}" -fsSL -o archive.key "${BASEURL}/apt/archive.key"
    sudo gpg --dearmor -o /usr/share/keyrings/cloudera-manager.gpg archive.key
    
  7. リポジトリ定義ファイル cloudera-manager.list の設置

    端末で,次のコマンドを実行する.

    echo "deb [arch=amd64 signed-by=/usr/share/keyrings/cloudera-manager.gpg] ${BASEURL}/apt ${CODENAME}-cm${CM_VERSION} contrib" | sudo tee /etc/apt/sources.list.d/cloudera-manager.list
    

    ARM64 の計算機では arch=amd64arch=arm64 に変更する.

  8. システムパッケージインデクスの更新と結果の確認

    端末で,次のコマンドを実行する.エラーメッセージが出ていないこと,および apt-cache policy の出力に Cloudera のリポジトリからの候補バージョンが表示されることを確認する.

    sudo apt -y update
    apt-cache policy cloudera-manager-server
    

Cloudera Manager 7.13.2 と Cloudera Runtime 7.3.2 が対応する Java は JDK 17 のみである(JDK 8 と JDK 11 は対応が終了している).また,Cloudera Manager 7.13.2 では Python 3.11 の利用が推奨されている.