AWS Glue
DataGrip を使用すると、AWS Glue プラットフォームを監視できます。
典型的なワークフロー:
AWS Glue サーバーに接続する
ビッグデータツールウィンドウで
をクリックし、AWS Glue を選択します。開いたビッグデータツールダイアログで、接続パラメーターを指定します。
名前 : 他の接続と区別するための接続の名前。
領域 : バケットを取得するリージョンを選択します。
認証タイプでは、認証方法を選択できます。
デフォルトの資格情報プロバイダーチェーン : デフォルトのプロバイダーチェーンの資格情報を使用します。チェーンの詳細については、「デフォルトの資格情報プロバイダーチェーンの使用(英語)」を参照してください。
資格情報ファイルからのプロファイル : ファイルからプロファイルを選択します。
明示的なアクセスキーと秘密鍵 : 資格情報を手動で入力します。
デフォルトの資格情報プロバイダーチェーンまたは資格情報ファイルからのプロファイルオプションを選択した状態で、資格情報を開くをクリックして、資格情報ファイルが格納されているディレクトリを見つけることができます。デフォルトの場所を使用する場合、通常は Linux の ~/.aws/credentials または macOS、または Windows の C:\Users\<USERNAME>\.aws\credentials です。または、カスタム構成を使用するを選択した場合は、カスタムの場所にすることができます。
オプションで、次を設定できます。
プロジェクトごと: これらの接続設定を現在のプロジェクトでのみ有効にする場合に選択します。この接続を他のプロジェクトで表示する場合は、選択を解除します。
接続を使用可能にする : この接続を無効にする場合は選択を解除します。デフォルトでは、新しく作成された接続は有効になっています。
HTTP プロキシ : IDE プロキシ設定を使用するか、カスタムプロキシ設定を指定するかを選択します。
設定を入力したら、接続のテストをクリックして、すべての構成パラメーターが正しいことを確認します。次に OK をクリックします。
エディターでデータベースを表示する
AWS Glue またはその特定のカタログ、データベース、テーブルをエディターの別のタブで開くことができます ( 他のストレージと同様)。
ビッグデータツールツールウィンドウで、AWS Glue への接続を選択するか、展開してカタログ、データベース、テーブルを開きます。
選択した要素を右クリックし、エディターで開くを選択します。または、
をクリックします。これにより、選択したストレージ、カタログ、データベース、テーブルがエディターの別のタブで開きます。
開いたタブの右側で、
を使用して、選択した要素に関する詳細を表示および非表示にします。
データベースの監視
AWS Glue サーバーへの接続が確立されると、AWS Glue ツールウィンドウが使用可能になります。これを使用して、データベースを監視し、スキーマとパーティションを表示し、データの表示方法を構成できます。
フィルターリストを使用して、ローカル、外部、すべてのデータベースを表示します。
データベースを選択して
をクリックし、データベースビューの列を表示または非表示にします。列ヘッダーをクリックして、列ごとにデータを並べ替えます。
ロケーション列で、データベースの URL をクリックして、S3 ビューアーでディレクトリをすばやく開くことができます。必要な接続が存在しない場合は、接続作成フォームが開きます。
関連ページ：
Spark
Spark プラグインを使用すると、IDE で直接 Spark ジョブを作成、送信、監視できます。プラグインの機能には次のものが含まれます。Spark アプリケーションを構築してクラスターにアップロードするための Spark 送信実行構成。送信されたジョブの監視、DAG 視覚エフェクトの表示などを行うための Spark モニタリングツールウィンドウ。これには、Spark 実行構成の送信および EMR ステップから送信されたジョブが含まれます。Zeppelin プラグインがインストールされている場合は、Zep...
Flink モニタリング
Flink プラグインを使用すると、Apache Flink ジョブを監視して送信できます。典型的なワークフロー:Flink サーバーへの接続を確立する、Apache Flink ダッシュボードを反映した専用ツールウィンドウを使用して Flink ジョブを監視する、新しいジョブを Flink クラスターに送信する、Flink サーバーに接続するビッグデータツールウィンドウでクリックし、Flink を選択します。開いたビッグデータツールダイアログで、接続パラメーターを指定します。名前: 他の接続と区別...
HTTP プロキシ
DataGrip がインターネットにアクセスするときにトラフィックを通過させたい場合は、HTTP または SOCKS プロキシサーバーの設定を指定します。HTTP プロキシは、HTTP 接続と HTTPS 接続の両方で機能します。これらの設定は、JDBC ドライバーのダウンロード、プラグインのダウンロード、ライセンスの有効性の確認、インスタンス間での IDE 設定の同期、および IDE 自体のその他のタスクを実行するために DataGrip が確立する接続に影響します。プロキシなしプロキシなしで直...
データファイルを操作する
リモートストレージへの接続を確立したら、データファイルを操作できるようになります。リモートファイルシステムプラグインを使用すると、バケットの管理、基本的なファイル操作の実行、ファイルの迅速な検索とそのファイルへの移動などを行うことができます。大きな構造化ファイル (Parquet、ORC、Avro、CSV) を表形式でプレビューすることもできます。この機能はビッグデータファイルビューアーによって提供され、リモートファイルシステムプラグインとともに自動的にインストールされます。サーバーディレクトリ...
Hive Metastore
DataGrip を使用すると、Hive メタストアを監視できます。典型的なワークフロー:Hive サーバーへの接続を確立する、エディターでストレージをプレビュー、専用のツールウィンドウでデータベースとパーティションをプレビューする、Hive メタストアサーバーに接続するビッグデータツールウィンドウでクリックし、Hive Metastore を選択します。開いたビッグデータツールダイアログで、接続パラメーターを指定します。名前: 他の接続と区別するための接続の名前。構成ソース: Hive 構成プ...