DataGrip 2024.1 ヘルプ

Hive Metastore

DataGrip を使用すると、Hive メタストアを監視できます。

典型的なワークフロー:

  1. Hive サーバーへの接続を確立する

  2. エディターでストレージをプレビュー

  3. 専用のツールウィンドウでデータベースとパーティションをプレビューする

Hive メタストアサーバーに接続する

  1. ビッグデータツールウィンドウで Add a connection をクリックし、Hive Metastore を選択します。

  2. 開いたビッグデータツールダイアログで、接続パラメーターを指定します。

    Configure Hive connection
    • 名前 : 他の接続と区別するための接続の名前。

    • 構成ソース : Hive 構成プロパティを指定する方法を選択します。

      • カスタム : URL ボックスに、Hive メタストアサーバーの URL (metastore.thrift.uris プロパティの値) を入力します。Kerberos を使用して Hive メタストアサーバーへのアクセスを制御する場合は、認証Kerberos を選択します。

      • 構成フォルダー : hive-site.xml または hive-metastoresite.xml または metastore-site.xml が存在する Hive conf ディレクトリへのパスを指定します。

    オプションで、次を設定できます。

    • プロジェクトごと: これらの接続設定を現在のプロジェクトでのみ有効にする場合に選択します。この接続を他のプロジェクトで表示する場合は、選択を解除します。

    • 接続を使用可能にする : この接続を無効にする場合は選択を解除します。デフォルトでは、新しく作成された接続は有効になっています。

    • トンネリングを有効にする : リモートホストへの SSH トンネルを作成します。ターゲットサーバーがプライベートネットワーク内にあるが、ネットワーク内のホストへの SSH 接続が利用可能な場合に役立ちます。

      チェックボックスを選択し、SSH 接続の構成を指定します(... をクリックして新しい SSH 構成を作成します)。

    • フィルターセクションを使用して、特定のデータのみを表示します。

      • データベースパターン : エディタータブで一部の Hive データベースのみを表示する場合は、このフィールドを使用してデータベース名の正規表現を入力します。

      • テーブルパターン : エディタータブでデータベーステーブルの一部のみを表示する場合は、このフィールドを使用してテーブル名の正規表現を入力します。

    • 拡張接続設定 | プロパティの詳細設定 : 追加の Hive 構成プロパティを入力します。入力すると、DataGrip はプロパティ名の候補を表示します。プロパティごとに、簡単なドキュメントとデフォルト値も表示されます。

  3. 設定を入力したら、接続のテストをクリックして、すべての構成パラメーターが正しいことを確認します。次に OK をクリックします。

エディターでデータベースを表示する

エディターの別のタブで、Hive メタストアまたはその特定のカタログ、データベース、テーブルを開くことができます ( 他のストレージと同様)。

  1. ビッグデータツールツールウィンドウで、Hive メタストアへの接続を選択するか、展開してカタログ、データベース、テーブルを開きます。

  2. 選択した要素を右クリックし、エディターで開くを選択します。または、Open in Editor button をクリックします。

    これにより、選択したストレージ、カタログ、データベース、テーブルがエディターの別のタブで開きます。

  3. 開いたタブの右側で、the Open Editor Preview button を使用して、選択した要素に関する詳細を表示および非表示にします。

Hive Metastore tab

データベースの監視

Hive サーバーへの接続が確立されると、Hive Metastore ツールウィンドウが使用可能になります。これを使用して、データベースを監視し、スキーマとパーティションを表示し、データの表示方法を構成できます。

  • データベースを名前でフィルタリングするには、フィルターフィールドに名前を入力し始めます。

  • をクリックして、ストレージタイプ別にデータをフィルタリングします。

  • Show and hide column icon をクリックして、データベースビューの列を表示または非表示にします。

The Hive Metastore tool window

ロケーション列で、データベースの URL をクリックすると、HDFS または S3 ビューアーでディレクトリをすばやく開くことができます。必要な接続が存在しない場合は、接続作成フォームが開きます。

関連ページ:

Spark

Spark プラグインを使用すると、IDE で直接 Spark ジョブを作成、送信、監視できます。プラグインの機能には次のものが含まれます。Spark アプリケーションを構築してクラスターにアップロードするための Spark 送信実行構成。送信されたジョブの監視、DAG 視覚エフェクトの表示などを行うための Spark モニタリングツールウィンドウ。これには、Spark 実行構成の送信および EMR ステップから送信されたジョブが含まれます。Zeppelin プラグインがインストールされている場合は、Zep...

Flink モニタリング

Flink プラグインを使用すると、Apache Flink ジョブを監視して送信できます。典型的なワークフロー:Flink サーバーへの接続を確立する、Apache Flink ダッシュボードを反映した専用ツールウィンドウを使用して Flink ジョブを監視する、新しいジョブを Flink クラスターに送信する、Flink サーバーに接続するビッグデータツールウィンドウでクリックし、Flink を選択します。開いたビッグデータツールダイアログで、接続パラメーターを指定します。名前: 他の接続と区別...

データファイルを操作する

リモートストレージへの接続を確立したら、データファイルを操作できるようになります。リモートファイルシステムプラグインを使用すると、バケットの管理、基本的なファイル操作の実行、ファイルの迅速な検索とそのファイルへの移動などを行うことができます。大きな構造化ファイル (Parquet、ORC、Avro、CSV) を表形式でプレビューすることもできます。この機能はビッグデータファイルビューアーによって提供され、リモートファイルシステムプラグインとともに自動的にインストールされます。サーバーディレクトリ...

Hadoop YARN

DataGrip を使用すると、Hadoop YARN メトリクスを監視できます。典型的なワークフロー:Hadoop サーバーへの接続を確立する、プレビューレイアウトを調整する、監視するパラメーターを除外する、Hadoop サーバーに接続するビッグデータツールウィンドウでクリックし、Hadoop YARN を選択します。開いたビッグデータツールダイアログで、接続パラメーターを指定します。名前: 他の接続と区別するための接続の名前。URL: Hadoop サーバーの URL。オプションで、次を設定で...

AWS Glue

DataGrip を使用すると、AWS Glue プラットフォームを監視できます。典型的なワークフロー:AWS Glue サーバーへの接続を確立する、エディターでストレージをプレビュー、専用のツールウィンドウでデータベースとパーティションをプレビューする、AWS Glue サーバーに接続するビッグデータツールウィンドウで、をクリックし、AWS Glue を選択します。開いたビッグデータツールダイアログで、接続パラメーターを指定します。名前: 他の接続と区別するための接続の名前。領域: バケットを取...