Hive Metastore
DataGrip を使用すると、Hive メタストアを監視できます。
典型的なワークフロー:
Hive メタストアサーバーに接続する
ビッグデータツールウィンドウで
をクリックし、Hive Metastore を選択します。
開いたビッグデータツールダイアログで、接続パラメーターを指定します。
名前 : 他の接続と区別するための接続の名前。
構成ソース : Hive 構成プロパティを指定する方法を選択します。
カスタム : URL ボックスに、Hive メタストアサーバーの URL (
metastore.thrift.uris
プロパティの値) を入力します。Kerberos を使用して Hive メタストアサーバーへのアクセスを制御する場合は、認証で Kerberos を選択します。構成フォルダー : hive-site.xml または hive-metastoresite.xml または metastore-site.xml が存在する Hive conf ディレクトリへのパスを指定します。
オプションで、次を設定できます。
プロジェクトごと: これらの接続設定を現在のプロジェクトでのみ有効にする場合に選択します。この接続を他のプロジェクトで表示する場合は、選択を解除します。
接続を使用可能にする : この接続を無効にする場合は選択を解除します。デフォルトでは、新しく作成された接続は有効になっています。
トンネリングを有効にする : リモートホストへの SSH トンネルを作成します。ターゲットサーバーがプライベートネットワーク内にあるが、ネットワーク内のホストへの SSH 接続が利用可能な場合に役立ちます。
チェックボックスを選択し、SSH 接続の構成を指定します(... をクリックして新しい SSH 構成を作成します)。
フィルターセクションを使用して、特定のデータのみを表示します。
: 追加の Hive 構成プロパティを入力します。入力すると、DataGrip はプロパティ名の候補を表示します。プロパティごとに、簡単なドキュメントとデフォルト値も表示されます。
設定を入力したら、接続のテストをクリックして、すべての構成パラメーターが正しいことを確認します。次に OK をクリックします。
エディターでデータベースを表示する
エディターの別のタブで、Hive メタストアまたはその特定のカタログ、データベース、テーブルを開くことができます ( 他のストレージと同様)。
ビッグデータツールツールウィンドウで、Hive メタストアへの接続を選択するか、展開してカタログ、データベース、テーブルを開きます。
選択した要素を右クリックし、エディターで開くを選択します。または、
をクリックします。
これにより、選択したストレージ、カタログ、データベース、テーブルがエディターの別のタブで開きます。
開いたタブの右側で、
を使用して、選択した要素に関する詳細を表示および非表示にします。
![Hive メタストアタブ Hive Metastore tab](https://resources.jetbrains.com/help/img/idea/2024.1/bdt_hive_editor_store.png)
データベースの監視
Hive サーバーへの接続が確立されると、Hive Metastore ツールウィンドウが使用可能になります。これを使用して、データベースを監視し、スキーマとパーティションを表示し、データの表示方法を構成できます。
データベースを名前でフィルタリングするには、フィルターフィールドに名前を入力し始めます。
をクリックして、ストレージタイプ別にデータをフィルタリングします。
をクリックして、データベースビューの列を表示または非表示にします。
![Hive メタストアツールウィンドウ The Hive Metastore tool window](https://resources.jetbrains.com/help/img/idea/2024.1/bdt_hive_toolwindow.png)
ロケーション列で、データベースの URL をクリックすると、HDFS または S3 ビューアーでディレクトリをすばやく開くことができます。必要な接続が存在しない場合は、接続作成フォームが開きます。
関連ページ:
![](https://pleiades.io/icons/datagrip.png)
Spark
Spark プラグインを使用すると、IDE で直接 Spark ジョブを作成、送信、監視できます。プラグインの機能には次のものが含まれます。Spark アプリケーションを構築してクラスターにアップロードするための Spark 送信実行構成。送信されたジョブの監視、DAG 視覚エフェクトの表示などを行うための Spark モニタリングツールウィンドウ。これには、Spark 実行構成の送信および EMR ステップから送信されたジョブが含まれます。Zeppelin プラグインがインストールされている場合は、Zep...
![](https://resources.jetbrains.com/help/img/idea/2024.1/bdt_flink_connection.png)
Flink モニタリング
Flink プラグインを使用すると、Apache Flink ジョブを監視して送信できます。典型的なワークフロー:Flink サーバーへの接続を確立する、Apache Flink ダッシュボードを反映した専用ツールウィンドウを使用して Flink ジョブを監視する、新しいジョブを Flink クラスターに送信する、Flink サーバーに接続するビッグデータツールウィンドウでクリックし、Flink を選択します。開いたビッグデータツールダイアログで、接続パラメーターを指定します。名前: 他の接続と区別...
![](https://resources.jetbrains.com/help/img/idea/2024.1/bdt_directories_menu.png)
データファイルを操作する
リモートストレージへの接続を確立したら、データファイルを操作できるようになります。リモートファイルシステムプラグインを使用すると、バケットの管理、基本的なファイル操作の実行、ファイルの迅速な検索とそのファイルへの移動などを行うことができます。大きな構造化ファイル (Parquet、ORC、Avro、CSV) を表形式でプレビューすることもできます。この機能はビッグデータファイルビューアーによって提供され、リモートファイルシステムプラグインとともに自動的にインストールされます。サーバーディレクトリ...
![](https://resources.jetbrains.com/help/img/idea/2024.1/bdt_hadoop_monitoring_connection.png)
Hadoop YARN
DataGrip を使用すると、Hadoop YARN メトリクスを監視できます。典型的なワークフロー:Hadoop サーバーへの接続を確立する、プレビューレイアウトを調整する、監視するパラメーターを除外する、Hadoop サーバーに接続するビッグデータツールウィンドウでクリックし、Hadoop YARN を選択します。開いたビッグデータツールダイアログで、接続パラメーターを指定します。名前: 他の接続と区別するための接続の名前。URL: Hadoop サーバーの URL。オプションで、次を設定で...
![](https://resources.jetbrains.com/help/img/idea/2024.1/bdt_aws_glue_connection.png)
AWS Glue
DataGrip を使用すると、AWS Glue プラットフォームを監視できます。典型的なワークフロー:AWS Glue サーバーへの接続を確立する、エディターでストレージをプレビュー、専用のツールウィンドウでデータベースとパーティションをプレビューする、AWS Glue サーバーに接続するビッグデータツールウィンドウで、をクリックし、AWS Glue を選択します。開いたビッグデータツールダイアログで、接続パラメーターを指定します。名前: 他の接続と区別するための接続の名前。領域: バケットを取...