IntelliJ IDEA 2020.2ヘルプ

ビッグデータツール

ビッグデータツールプラグインは、IntelliJ IDEA 2019.2以降で使用できます。Zeppelin(英語)AWS S3(英語)Spark(英語)Google Cloud Storage(英語)ミニオ(英語)リノード(英語)デジタルオープンスペース(英語)Microsoft Azure(英語)Hadoop分散ファイルシステム (HDFS)(英語)でデータを監視および処理する特定の機能を提供します。

新規または既存のローカルまたはリモート Zeppelinノートブックを作成し、コードパラグラフを実行し、結果のテーブルとグラフをプレビューし、結果をさまざまな形式にエクスポートできます。
Big data tools UI overview

プラグインは、ノートブックで動作する多くのIDE機能をサポートしています。

Scalaのコーディング支援

ノートブックの機能

IntelliJ IDEAのビッグデータツールの使用開始

IntelliJ IDEAでのビッグデータ処理の基本的なワークフローには、次の手順が含まれます。

環境を構成する

  1. 必要なプラグインをインストールする :

  2. IntelliJ IDEAで新しいプロジェクトを作成します。

  3. 構成ターゲットサーバーへの接続。

  4. ノートブックデータファイルを操作します

ノートブックで作業

  1. 作成およびノートブックの編集

  2. 実行ノート。

  3. データを分析します。

ユーザーインターフェースに慣れる

IntelliJ IDEA用のBig Data Toolsプラグインをインストールすると、次のユーザーインターフェース要素が表示されます。

ビッグデータツールウィンドウ

The ビッグデータツール window appears in the rightmost group of the tool windows. The window displays the list of the configured servers , notebooks, and files structured by folders.

ノートブックの基本操作は、コンテキストメニューから利用できます。

Big Data Tools window

ディレクトリをナビゲートし、.csvおよび.parquetファイルの柱状構造をプレビューできます。

データファイルの基本操作は、コンテキストメニューから利用できます。ファイルをターゲットサーバーのターゲットディレクトリにドラッグして移動することもできます。

Data files in the BDT window

サーバーでの基本的な操作には、ウィンドウツールバーを使用します。

項目説明
Add connection追加サーバーへの新しい接続。
Delete connectionDeletes the selected connection.
Refresh Connection設定されたすべてのサーバーへの接続をリフレッシュします。
Connection settings選択したサーバーの接続設定を開きます。

ノートブックエディター

Zeppelin notebook editor

ノートブックエディターでは、ScalaおよびSQLコードの段落を追加して実行できます。コード段落を編集するとき、特定の言語で利用可能なすべてのコーディング支援機能を使用できます。コードの警告とエラーは、スクロールバーの対応するコード構成で強調表示されます。段落の実行結果は、各段落のプレビュー領域に表示されます。

ノートブックの基本的な操作には、ノートブックエディターのツールバーを使用します。

項目説明
Run all実行ノート内のすべての段落。
Stop executionノートブックの段落の実行を停止します。
Clear all outputsすべての段落の出力プレビューをクリアします。
Interpreter bindingsインタープリターバインディングダイアログを開いて、選択したノートブックのインタープリターを構成します
Open in a browserブラウザでノートブックを開きます。
Module settingsモジュール設定を開きます。
Minimapノートブックをすばやく移動するためのミニマップを表示します。

ノートブックエディターのツールバーには、最後の段落実行のステータスも表示されます。

Status of the paragraph execution
Execution with errors occurred
.
Execution with errors occurred
.

Zeppelinツールウィンドウ

Zeppelin tool window

Zeppelinツールウィンドウには、構成済みのZeppelinサーバーの接続状態が表示され、クイックナビゲーション用のサーバーへのリンクが表示されます。

Monitoring tool windows

These windows appear when you have connected to a Spark or Hadoop server.

Spark monitoring: jobs
Click to preview in a separate tab
最終更新日: 2020年7月22日

関連ページ:

ScalaのIntellij IDEAを理解する

Scalaプラグインをインストールする:IntelliJ IDEAでScalaを使用するには、Scalaプラグインをダウンロードして有効にする必要があります。IntelliJ IDEAを初めて実行する場合は、IntelliJ IDEAが機能プラグインのダウンロードを提案したときにScalaプラグイン...

ノートブックを作成および編集する

When you haveinstalledthe required plugins andestablished connectionsto the servers, you can start working with your notebooks.ビッグデータツールウィンドウでノートブックを右...

ノートブックを実行してデータを分析する

データセットをプレビューおよび分析するには、ノートブックの実行可能な段落を実行する必要があります。実行ノート:段落を1つずつ実行することも、一度にすべて実行することもできます。段落を実行するときは、コードの依存関係に注意してください。たとえば、現在の段落が前の段落で初期化された変数に依存している場合...

ビッグデータツール環境を構成する

ビッグデータツールの使用を開始する前に、必要なプラグインをインストールし、サーバーへの接続を構成する必要があります。必要なプラグインをインストールするWhatever you do in IntelliJ IDEA, you do it in aproject. So, open an existi...

プロジェクト

IntelliJ IDEAでは、プロジェクトを使用して、ソースコード、テスト、使用するライブラリ、ビルド手順、および個人設定を1つのユニットに整理できます。プロジェクト内のアクション、設定、ファイル、またはシンボルをすばやく見つけるには、どこでも検索機能を使用します。 を2回押して、ポップアップにク...

データファイルを操作する

サーバーへの接続を確立したら、データファイルを操作できます。ビッグデータツールプラグインを使用すると、基本的なファイル操作を簡単に実行できるだけでなく、大きな構造化ファイルを表形式ですばやくプレビューできます。サーバーディレクトリの管理サーバーノードを展開して、その構造をプレビューします。ターゲット...