ビッグデータツール

Big Data Tools は、データエンジニア向けのプラグインのセット(英語)です。

次のプラグインが含まれています。

Spark: Spark ジョブの送信と監視
Flink: Flink ジョブの監視
Kafka: Kafka ブローカーと Kafka スキーマレジストリに接続し、データを生成および消費します
リモートファイルシステム: リモートストレージへのアクセス
ビッグデータファイルビューアー: Parquet、ORC、Avro、CSV ファイルのプレビュー (プラグインはリモートファイルシステムプラグインとともに自動的にインストールされます)
Zeppelin: Zeppelin に接続し、ノートブックでコードを実行し、出力をプレビューします (Zeppelin プラグインの開発は現在中断されています)

DataGrip 2023.2 より前は、ビッグデータツールは単一のプラグインであり、その各部分を個別にインストールすることはできませんでした。2023.2 以降、これらのツールはいずれも個別のプラグインとしてインストールできます。ビッグデータツールプラグインをインストールすることもできます。これにより、これら 6 つのプラグインがすべて自動的にインストールされます。

ビッグデータツールプラグインをインストールする

この機能は、インストールして有効にする必要があるビッグデータツール(英語)プラグインに依存しています。

Ctrl+Alt+S を押して設定を開き、プラグインを選択します。
マーケットプレースタブを開き、ビッグデータツールプラグインを見つけて、インストールをクリックします (プロンプトが表示されたら、IDE を再起動します)。

最終更新日: 2024 年 6 月 17 日

関連ページ：

Spark

Spark プラグインを使用すると、IDE で直接 Spark ジョブを作成、送信、監視できます。プラグインの機能には次のものが含まれます。Spark アプリケーションを構築してクラスターにアップロードするための Spark 送信実行構成。送信されたジョブの監視、DAG 視覚エフェクトの表示などを行うための Spark モニタリングツールウィンドウ。これには、Spark 実行構成の送信および EMR ステップから送信されたジョブが含まれます。Zeppelin プラグインがインストールされている場合は、Zep...

Flink モニタリング

Flink プラグインを使用すると、Apache Flink ジョブを監視して送信できます。典型的なワークフロー:Flink サーバーへの接続を確立する、Apache Flink ダッシュボードを反映した専用ツールウィンドウを使用して Flink ジョブを監視する、新しいジョブを Flink クラスターに送信する、Flink サーバーに接続するビッグデータツールウィンドウで、をクリックし、Flink を選択します。開いたビッグデータツールダイアログで、接続パラメーターを指定します。名前: 他の接続と区...

Kafka

Kafka プラグインを使用すると、Kafka イベントストリーミングプロセスを監視し、コンシューマー、プロデューサー、トピックを作成できます。また、スキーマレジストリに接続し、スキーマを作成および更新することもできます。Kafka プラグインをインストールするこの機能は、インストールして有効にする必要がある Kafka プラグインに依存しています。を押して設定を開き、を選択します。マーケットプレースタブを開き、Kafka プラグインを見つけて、インストールをクリックします (プロンプトが表示されたら、...

リモートファイルシステム

リモートファイルシステムプラグインを使用すると、リモートストレージに接続し、IDE から直接ストレージ上のデータを管理できます。リモートファイルシステムプラグインをインストールするこの機能は、インストールして有効にする必要があるリモートファイルシステムプラグインに依存しています。を押して設定を開き、を選択します。マーケットプレースタブを開き、リモートファイルシステムプラグインを見つけて、インストールをクリックします (プロンプトが表示されたら、IDE を再起動します)。このプラグインは、次のリモ...

シェルスクリプト

シェルスクリプトプラグインをインストールするこの機能は、インストールして有効にする必要があるシェルスクリプトプラグインに依存しています。を押して設定を開き、を選択します。マーケットプレースタブを開き、シェルスクリプトプラグインを見つけて、インストールをクリックします (プロンプトが表示されたら、IDE を再起動します)。DataGrip は、シェルスクリプトファイルのコーディング支援 (補完 (ローカルパスを含む)、ハイライト、テキストの名前変更リファクタリングなど) を提供します。また、シェルス...

ビッグデータツール環境を構成する

ビッグデータツールの使用を開始する前に、必要なプラグインをインストールし、サーバーへの接続を構成する必要があります。必要なプラグインをインストールする DataGrip で行うことは何でも、プロジェクトで行います。既存のプロジェクトを開くか、新しいプロジェクトを作成します。を押して IDE 設定を開き、を選択します。ビッグデータツールプラグインをインストールします。IDE を再起動します。再起動後、ツールウィンドウの一番右のグループにビッグデータツールツールウィンドウが表示されます。それをクリック...