Spark モニタリング

Spark サーバーに接続する

1. ビッグデータツールウィンドウで をクリックし、Spark を選択します。

2. 開いたビッグデータツールダイアログで、接続パラメーターを指定します。

   

   • 名前 : 他の接続と区別するための接続の名前。

   • URL : Spark 履歴サーバーの URL (通常はポート 18080 で実行されます)。

   オプションで、次を設定できます。

   • プロジェクトごと: これらの接続設定を現在のプロジェクトでのみ有効にする場合に選択します。この接続を他のプロジェクトで表示する場合は、選択を解除します。

   • 接続を使用可能にする : この接続を無効にする場合は選択を解除します。デフォルトでは、新しく作成された接続は有効になっています。

   • トンネリングを有効にする : リモートホストへの SSH トンネルを作成します。ターゲットサーバーがプライベートネットワーク内にあるが、ネットワーク内のホストへの SSH 接続が利用可能な場合に役立ちます。

     チェックボックスを選択し、SSH 接続の構成を指定します（... をクリックして新しい SSH 構成を作成します）。

   • HTTP 基本認証を使用可能にする : 指定されたユーザー名とパスワードを使用した HTTP 認証との接続。

   • プロキシ : IDE プロキシ設定を使用するか、カスタムプロキシ設定を指定するかを選択します。

3. 設定を入力したら、接続のテストをクリックして、すべての構成パラメーターが正しいことを確認します。次に OK をクリックします。

実行中のジョブを使用して Zeppelin から接続を確立する

Zeppelin(英語) プラグインをお持ちの場合は、Zeppelin ノートブックから Spark ジョブを開くことで、Spark サーバーにすぐに接続できます。

1. Spark を含む Zeppelin ノートブックで、段落を実行します。

2. 「オープンジョブ」リンクをクリックします。開いた通知で、さらに | 接続の作成リンクをクリックします。

   

   ジョブが実行されている Spark 履歴サーバーにすでに接続している場合は、接続の選択をクリックしてリストから選択します。

3. 開いたビッグデータツールダイアログで、接続設定を確認し、接続のテストをクリックします。接続が正常に確立された場合は、「OK」をクリックして構成を完了します。

DAG グラフからソースコードに移動する

DAG (有向非巡回グラフ) は、Spark ジョブの論理実行プランを表します。Spark UI と同様に、Spark ジョブの DAG を視覚化できます。DataGrip を使用すると、DAG からソースファイル内の対応するコード部分にすばやく移動することもできます。

1. Spark モニタリングツールウィンドウを開きます: 表示 | ツールウィンドウ | Spark。

2. アプリケーションを選択し、ジョブタブを開きます。

3. 可視化列で、表示をクリックします。

   これにより、新しいエディタータブでジョブの視覚化が開きます。

4. グラフ内で任意の操作をダブルクリックします。

ソースコードファイル、対応する操作にリダイレクトされます。

監視データを除外する

• Spark モニタリングツールウィンドウで、次のフィルターを使用してアプリケーションをフィルターします。

  • フィルター : アプリケーション名または ID を入力します。

  • 制限 : 表示されるアプリケーションの制限を変更するか、すべてを選択してすべてのアプリケーションを表示します。

  • 開始済み: アプリケーションを開始時間でフィルタリングするか、任意を選択します。

  • 完了: 完了時間でアプリケーションをフィルタリングするか、任意を選択します。

  • : 実行中または完了したアプリケーションのみを表示します。

  

• 「ジョブ」、「ステージ」、「SQL」タブでは、 を使用してステータス別にデータをフィルターすることもできます。