Cloudera Manager
Cloudera Manager は,Cloudera Base on premises(旧 CDP Private Cloud Base)のクラスタを配備・管理するソフトウェアである.ここでは,Ubuntu 上で Cloudera Manager の apt リポジトリを設定する手順を示す.
2021 年 1 月 31 日以降,Cloudera のソフトウェアリポジトリの利用には,有効なサブスクリプションと,それに付随する認証情報(ユーザ名とパスワード)が必要である.認証情報なしで https://archive.cloudera.com/p/cm7/ を参照した場合は 401 Unauthorized が返る.
【関連する外部ページ】
- Cloudera Manager Download Information: https://docs.cloudera.com/cdp-private-cloud-upgrade/latest/release-guide/topics/cdpdc-cm-download-information.html
- Cloudera Support Matrix(対応 OS の一覧): https://supportmatrix.cloudera.com/
- Software Access Update(リポジトリの認証について): https://www.cloudera.com/downloads/paywall-expansion.html
対応 Ubuntu バージョンについて
Cloudera Manager 7.13.2 が対応する Ubuntu は 22.04(jammy)と 24.04(noble)である.リポジトリはそれぞれ ubuntu2204,ubuntu2404 のディレクトリで提供される.
Ubuntu 26.04(resolute)は 2026 年 4 月にリリースされた.Cloudera Manager 用のリポジトリは ubuntu2604 のディレクトリでは提供されておらず,対応状況は Cloudera Support Matrix で確認する.26.04 で構築する場合は,下記の手順で OS_DIR と CODENAME に ubuntu2404 と noble を指定して 24.04 用のパッケージを用いることになる.この構成は Cloudera の動作保証の対象外であり,依存パッケージ(Python,OpenJDK など)のバージョン差により動作しない場合がある.
- 認証情報(ユーザ名とパスワード)の取得
認証情報は,サブスクリプション契約時に Cloudera から送付されるライセンスキーファイルとともに提供される.Cloudera のダウンロードページにある Credential Generator に,ライセンスキーファイル内の「PGP Signed Message」を貼り付けることでも取得できる.
- Ubuntu のバージョンの確認
端末で,次のコマンドを実行する.
lsb_release -a - 必要なパッケージのインストール
端末で,次のコマンドを実行する.
# パッケージリストの情報を更新 sudo apt update sudo apt -y install curl gnupg lsb-release - 変数の設定
端末で,次のコマンドを実行する.CM_USER と CM_PASSWORD には,取得した認証情報を設定する.CM_VERSION には,利用するバージョンを設定する.
export CM_USER="<ユーザ名>" export CM_PASSWORD="<パスワード>" export CM_VERSION="7.13.2.0"リポジトリのディレクトリ名(OS_DIR)とディストリビューションのコード名(CODENAME)を,Ubuntu のバージョンに応じて設定する.Ubuntu 22.04 と 24.04 では実行中の OS から自動で決まり,Ubuntu 26.04 では 24.04 用のリポジトリが選択される.端末で,次のコマンドを実行する.
case "$(lsb_release -rs)" in 22.04) export OS_DIR="ubuntu2204"; export CODENAME="jammy" ;; 24.04) export OS_DIR="ubuntu2404"; export CODENAME="noble" ;; 26.04) export OS_DIR="ubuntu2404"; export CODENAME="noble" ;; *) echo "対応するリポジトリを Cloudera Support Matrix で確認すること" ;; esac export BASEURL="https://archive.cloudera.com/p/cm7/${CM_VERSION}/${OS_DIR}" echo "${BASEURL} ${CODENAME}" - apt の認証情報の設定
パスワードをリポジトリ定義ファイルに書かずに済ませるため,/etc/apt/auth.conf.d に認証情報を置く.端末で,次のコマンドを実行する.
echo "machine archive.cloudera.com login ${CM_USER} password ${CM_PASSWORD}" | sudo tee /etc/apt/auth.conf.d/cloudera.conf sudo chmod 600 /etc/apt/auth.conf.d/cloudera.conf - signing GPG key のインポート
apt-keyは廃止されているため,鍵は /usr/share/keyrings に配置し,リポジトリ定義のsigned-byで参照する.端末で,次のコマンドを実行する.cd /tmp curl -u "${CM_USER}:${CM_PASSWORD}" -fsSL -o archive.key "${BASEURL}/apt/archive.key" sudo gpg --dearmor -o /usr/share/keyrings/cloudera-manager.gpg archive.key - リポジトリ定義ファイル cloudera-manager.list の設置
端末で,次のコマンドを実行する.
echo "deb [arch=amd64 signed-by=/usr/share/keyrings/cloudera-manager.gpg] ${BASEURL}/apt ${CODENAME}-cm${CM_VERSION} contrib" | sudo tee /etc/apt/sources.list.d/cloudera-manager.listARM64 の計算機では
arch=amd64をarch=arm64に変更する. - システムパッケージインデクスの更新と結果の確認
端末で,次のコマンドを実行する.エラーメッセージが出ていないこと,および
apt-cache policyの出力に Cloudera のリポジトリからの候補バージョンが表示されることを確認する.sudo apt -y update apt-cache policy cloudera-manager-server
Cloudera Manager 7.13.2 と Cloudera Runtime 7.3.2 が対応する Java は JDK 17 のみである(JDK 8 と JDK 11 は対応が終了している).また,Cloudera Manager 7.13.2 では Python 3.11 の利用が推奨されている.