Hadoop YARN
DataGrip を使用すると、Hadoop YARN(英語) メトリクスを監視できます。
典型的なワークフロー:
Hadoop サーバーに接続する
ビッグデータツールウィンドウで
をクリックし、Hadoop YARN を選択します。開いたビッグデータツールダイアログで、接続パラメーターを指定します。
名前 : 他の接続と区別するための接続の名前。
URL : Hadoop サーバーの URL。
オプションで、次を設定できます。
プロジェクトごと: これらの接続設定を現在のプロジェクトでのみ有効にする場合に選択します。この接続を他のプロジェクトで表示する場合は、選択を解除します。
接続を使用可能にする : この接続を無効にする場合は選択を解除します。デフォルトでは、新しく作成された接続は有効になっています。
トンネリングを有効にします。このオプションは、リモートホストへの SSH トンネルを作成します。これは、ターゲットサーバーがプライベートネットワーク内にあるものの、ネットワーク内のホストへの SSH 接続が利用できる場合に便利です。
チェックボックスを選択し、SSH 接続の構成を指定します（... をクリックして新しい SSH 構成を作成します）。
HTTP 基本認証を使用可能にする : 指定されたユーザー名とパスワードを使用した HTTP 認証との接続。
プロキシ : IDE プロキシ設定を使用するか、カスタムプロキシ設定を指定するかを選択します。
既存の Spark 接続を再利用することもできます。Spark モニタリングリストから選択するだけです。
設定を入力したら、接続のテストをクリックして、すべての構成パラメーターが正しいことを確認します。次に OK をクリックします。
いつでも、次のいずれかの方法で接続設定を開くことができます。
Ctrl+Alt+S の設定のツール | ビッグデータツールページに移動します。
Hadoop YARN ツールウィンドウのツールバーで
をクリックします。
Hadoop サーバーへの接続を確立すると、Hadoop YARN ツールウィンドウが表示されます。データを監視するためのいくつかの領域で構成されています。
リソースマネージャーが提供するクラスターメトリックとリソースに関する詳細情報。
タスクの実行を担当するノードに関する情報を提示します。
ノードリソースの割り当てなど、選択したデータノードに関する詳細情報を提供します。
アプリケーションメトリックと実行試行を含む、ユーザーのアプリケーションの詳細な概要。
接続設定、ログ情報、サーバースタックの詳細、サーバーメトリックなどの監視ツール。
データの種類の詳細については、「Hadoop のドキュメント(英語)」を参照してください。
レイアウトを調整する
アプリケーションのリストで、調査するアプリケーションを選択します。
監視領域の可視性を管理するには、次のボタンを使用します。
項目
説明
実行試行のリストを表示します。
アプリケーションの詳細を表示します。
特定のアプリケーションに焦点を合わせるには、アプリケーションの詳細監視領域の別のタブで開くリンクをクリックします。
アプリケーションの詳細が別のタブに表示されます。
をクリックして、ブラウザーで監視データをプレビューします。
監視ウィンドウのレイアウトを設定し、一部のプレビュー領域を開いたり閉じたりしたら、監視データをフィルタリングして特定のパラメーターをプレビューできます。
監視データを除外する
特定のステータスのアプリケーションの詳細を表示するには、監視タブのフィルターボタン（
）を使用します。監視する特定のアプリケーションステータスを選択します。ユーザー名、開始時間、終了時間でアプリケーションのリストをフィルタリングすることもできます。さらに、フィルターされたリスト内のアイテムの制限を指定できます。
テーブル内のコンテンツを管理します。
列ヘッダーをクリックして、列内のデータの順序を変更します。
ツールバーの列の表示 / 非表示をクリックして、表に表示する列を選択します。
いつでも、Hadoop YARN ツールウィンドウの 
をクリックして、監視データを手動でリフレッシュできます。または、リフレッシュボタンの隣にあるリストで特定の時間間隔内に自動リフレッシュを構成できます。5, 10,, 30 秒を選択できます。
関連ページ：
Spark
Spark プラグインを使用すると、IDE で直接 Spark ジョブを作成、送信、監視できます。プラグインの機能には次のものが含まれます。Spark アプリケーションを構築してクラスターにアップロードするための Spark 送信実行構成。送信されたジョブの監視、DAG 視覚エフェクトの表示などを行うための Spark モニタリングツールウィンドウ。これには、Spark 実行構成の送信および EMR ステップから送信されたジョブが含まれます。Zeppelin プラグインがインストールされている場合は、Zep...
Flink モニタリング
Flink プラグインを使用すると、Apache Flink ジョブを監視して送信できます。典型的なワークフロー:Flink サーバーへの接続を確立する、Apache Flink ダッシュボードを反映した専用ツールウィンドウを使用して Flink ジョブを監視する、新しいジョブを Flink クラスターに送信する、Flink サーバーに接続するビッグデータツールウィンドウでクリックし、Flink を選択します。開いたビッグデータツールダイアログで、接続パラメーターを指定します。名前: 他の接続と区別...
HTTP プロキシ
DataGrip がインターネットにアクセスするときにトラフィックを通過させたい場合は、HTTP または SOCKS プロキシサーバーの設定を指定します。HTTP プロキシは、HTTP 接続と HTTPS 接続の両方で機能します。これらの設定は、JDBC ドライバーのダウンロード、プラグインのダウンロード、ライセンスの有効性の確認、インスタンス間での IDE 設定の同期、および IDE 自体のその他のタスクを実行するために DataGrip が確立する接続に影響します。プロキシなしプロキシなしで直...
Amazon EMR
DataGrip を使用すると、Amazon EMR データ処理プラットフォームのクラスターとノードを監視できます。AWS EMR サーバーに接続するビッグデータツールウィンドウでクリックし、AWS EMR を選択します。開いたビッグデータツールダイアログで、接続パラメーターを指定します。名前: 他の接続と区別するための接続の名前。領域: クラスターを取得するリージョンを選択します。認証タイプでは、認証方法を選択できます。デフォルトの資格情報プロバイダーチェーン: デフォルトのプロバイダーチェーン...
Hive Metastore
DataGrip を使用すると、Hive メタストアを監視できます。典型的なワークフロー:Hive サーバーへの接続を確立する、エディターでストレージをプレビュー、専用のツールウィンドウでデータベースとパーティションをプレビューする、Hive メタストアサーバーに接続するビッグデータツールウィンドウでクリックし、Hive Metastore を選択します。開いたビッグデータツールダイアログで、接続パラメーターを指定します。名前: 他の接続と区別するための接続の名前。構成ソース: Hive 構成プ...