ビッグデータツール

Spark

Spark プラグインを使用すると、IDE で直接 Spark ジョブを作成、送信、監視できます。プラグインの機能には次のものが含まれます。Spark 新規プロジェクトウィザード。必要な依存関係を含む Spark プロジェクトを迅速に作成できます。Spark アプリケーションを構築してクラスターにアップロードするための Spark 送信実行構成。Scala ファイルの場合、ガターに特別なアイコンもあり、この構成をさらに迅速に作成できます。送信されたジョブの監視、DAG 視覚エフェクトの表示などを行うため...

Flink モニタリング

Flink プラグインを使用すると、Apache Flink ジョブを監視して送信できます。典型的なワークフロー:Flink サーバーへの接続を確立する、Apache Flink ダッシュボードを反映した専用ツールウィンドウを使用して Flink ジョブを監視する、新しいジョブを Flink クラスターに送信する、Flink サーバーに接続するビッグデータツールウィンドウでクリックし、Flink を選択します。開いたビッグデータツールダイアログで、接続パラメーターを指定します。名前: 他の接続と区別...

Kafka

Kafka プラグインを使用すると、Kafka イベントストリーミングプロセスを監視し、コンシューマー、プロデューサー、トピックを作成できます。また、スキーマレジストリに接続し、スキーマを作成および更新することもできます。Kafka プラグインをインストールするこの機能は、インストールして有効にする必要がある Kafka プラグインに依存しています。を押して設定を開き、を選択します。マーケットプレースタブを開き、Kafka プラグインを見つけて、インストールをクリックします (プロンプトが表示されたら、...

リモートファイルシステム

リモートファイルシステムプラグインを使用すると、リモートストレージに接続し、IDE から直接ストレージ上のデータを管理できます。リモートファイルシステムプラグインをインストールするこの機能は、インストールして有効にする必要があるリモートファイルシステムプラグインに依存しています。を押して設定を開き、を選択します。マーケットプレースタブを開き、リモートファイルシステムプラグインを見つけて、インストールをクリックします (プロンプトが表示されたら、IDE を再起動します)。このプラグインは、次のリモ...

WSL

WSL(WSL 2) – Windows Subsystem for Linux – は、Windows 10 以降で Linux バイナリ実行可能ファイルをネイティブに実行するための互換性レイヤーです。現在、Ubuntu、OpenSUSE、SLES など、いくつかの Linux ディストリビューションをサポートしています。IntelliJ IDEA を使用すると、WSL ファイルシステムでプロジェクトを作成して開き、WSL 環境でアプリケーションを実行およびデバッグできます。また、ローカルの W...

ビッグデータツール環境を構成する

ビッグデータツールの使用を開始する前に、必要なプラグインをインストールし、サーバーへの接続を構成する必要があります。必要なプラグインをインストールする IntelliJ IDEA で何をするにしても、プロジェクトでそれを行います。既存のプロジェクトを開くか、新しいプロジェクトを作成します。を押して設定を開き、を選択します。次のプラグインをインストールします。Scala、Python (Zeppelin ノートブックで Python を使用する場合)、ビッグデータツールプラグインをインストールする...