Spark
Spark(英語) プラグインを使用すると、IDE で直接 Spark(英語) ジョブを作成、送信、監視できます。プラグインの機能には次のものが含まれます。
Spark アプリケーションを構築してクラスターにアップロードするための Spark 送信実行構成。
送信されたジョブの監視、DAG 視覚エフェクトの表示などを行うための Spark モニタリングツールウィンドウ。これには、Spark 実行構成の送信および EMR ステップから送信されたジョブが含まれます。Zeppelin(英語) プラグインがインストールされている場合は、Zeppelin ノートブックから Spark ジョブを開くこともできます。
IDE を移動せずに他のビッグデータツールと統合 (AWS EMR から Spark アプリケーションを開き、Hadoop YARN から Spark ジョブに移動し、S3 ストレージのログを表示します)。
Spark プラグインをインストールする
この機能は、インストールして有効にする必要がある Spark(英語) プラグインに依存しています。
Ctrl+Alt+S を押して設定を開き、を選択します。
マーケットプレースタブを開き、Spark プラグインを見つけて、インストールをクリックします (プロンプトが表示されたら、IDE を再起動します)。
この章では:
既存のジョブを監視する場合は、Spark 監視ツールウィンドウについて詳しく学習してください。
Spark アプリケーションをクラスターに送信する場合は、Spark 実行構成を送信するについて詳しく学習してください。
関連ページ：
Spark モニタリング
Spark プラグインを使用すると、Spark クラスターと送信されたジョブを IDE で直接監視できます。この章では:Spark サーバーへの接続を最初から確立する、Zeppelin ノートブックから Spark への接続を確立する、ジョブグラフの表示、監視データを除外する、Spark サーバーに接続するビッグデータツールウィンドウで、をクリックし、Spark を選択します。開いたビッグデータツールダイアログで、接続パラメーターを指定します。名前: 他の接続と区別するための接続の名前。URL: Sp...
Spark 実行構成を送信する
Spark プラグインを使用すると、Spark クラスター上でアプリケーションを実行できます。DataGrip は、Spark の bin ディレクトリで spark-submit スクリプトを実行するための実行 / デバッグ構成を提供します。アプリケーションはローカルで実行することも、SSH 構成を使用して実行することもできます。Spark プラグインをインストールするこの機能は、インストールして有効にする必要がある Spark プラグインに依存しています。を押して IDE 設定を開き、を選択します。マ...
ビッグデータツール環境を構成する
ビッグデータツールの使用を開始する前に、必要なプラグインをインストールし、サーバーへの接続を構成する必要があります。必要なプラグインをインストールする DataGrip で行うことは何でも、プロジェクトで行います。既存のプロジェクトを開くか、新しいプロジェクトを作成します。を押して IDE 設定を開き、を選択します。ビッグデータツールプラグインをインストールします。IDE を再起動します。再起動後、ツールウィンドウの一番右のグループにビッグデータツールツールウィンドウが表示されます。それをクリック...