DataGrip 2024.1 ヘルプ

HDFS

HDFS サーバーに接続する

  1. ビッグデータツールウィンドウで Add a connection をクリックし、HDFS を選択します。

  2. 開いたビッグデータツールダイアログで、接続パラメーターを指定します。

    HDFS connection
    • 名前 : 他の接続と区別するための接続の名前。

    • 構成ソースで、次のいずれかを選択します。

      • カスタム : クラスタ URI ボックスに、HDFS サーバーの URI を入力します。Kerberos を使用して HDFS サーバーへのアクセスを制御する場合は、認証Kerberos を選択します。

      • 構成フォルダー : HDFS 構成ファイルを含むディレクトリへのパス。構成ファイルのサンプルを参照してください。

    オプションで、次を設定できます。

    • プロジェクトごと: これらの接続設定を現在のプロジェクトでのみ有効にする場合に選択します。この接続を他のプロジェクトで表示する場合は、選択を解除します。

    • 接続を使用可能にする : この接続を無効にする場合は選択を解除します。デフォルトでは、新しく作成された接続は有効になっています。

    • Hadoop ユーザー名 : サーバーにログインするためのユーザー名を入力します。指定しない場合、HADOOP_USER_NAME 環境変数が使用されます。この変数が定義されていない場合、user.name プロパティが使用されます。Kerberos が有効になっている場合、これら 3 つの値のいずれかが上書きされます。

    • トンネリングを有効にする (NameNode 操作のみ)。このオプションは、リモートホストへの SSH トンネルを作成します。これは、ターゲットサーバーがプライベートネットワーク内にあるものの、ネットワーク内のホストへの SSH 接続が利用できる場合に便利です。現在、SSH トンネリングは、ファイルのリスト、メタ情報の取得の NameNode を持つオペレーターに対してのみ機能します。

      チェックボックスを選択し、SSH 接続の構成を指定します(... をクリックして新しい SSH 構成を作成します)。

    • 拡張接続設定で、以下をセットアップできます。

      • ルートパス : HDFS 接続のルートになるターゲットサーバー上のパス。

      • 動作タイムアウト (秒) : ファイル情報の取得、オブジェクトの一覧表示または削除など、リモートストレージで実行される操作のタイムアウト(秒単位)を入力します。デフォルト値は 15 秒です。

  3. 設定を入力したら、接続のテストをクリックして、すべての構成パラメーターが正しいことを確認します。次に OK をクリックします。

接続が正常に確立されると、ドライバーのホームパスフィールドには、ポート番号を含む接続のターゲット IP アドレスが表示されます。例: hdfs://127.0.0.1:65224/

Hadoop ファイルシステムの構成ファイルのサンプル

タイプ

サンプル構成

HDFS

<?xml version="1.0"?> <configuration> <property> <name>fs.hdfs.impl</name> <value>org.apache.hadoop.hdfs.DistributedFileSystem</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://example.com:9000/</value> </property> </configuration>

S3

<?xml version="1.0"?> <configuration> <property> <name>fs.s3a.impl</name> <value>org.apache.hadoop.fs.s3a.S3AFileSystem</value> </property> <property> <name>fs.s3a.access.key</name> <value>sample_access_key</value> </property> <property> <name>fs.s3a.secret.key</name> <value>sample_secret_key</value> </property> <property> <name>fs.defaultFS</name> <value>s3a://example.com/</value> </property> </configuration>

WebHDFS

<?xml version="1.0"?> <configuration> <property> <name>fs.webhdfs.impl</name> <value>org.apache.hadoop.hdfs.web.WebHdfsFileSystem</value> </property> <property> <name>fs.defaultFS</name> <value>webhdfs://master.example.com:50070/</value> </property> </configuration>

WebHDFS と Kerberos

<?xml version="1.0"?> <configuration> <property> <name>fs.webhdfs.impl</name> <value>org.apache.hadoop.hdfs.web.WebHdfsFileSystem</value> </property> <property> <name>fs.defaultFS</name> <value>webhdfs://master.example.com:50070</value> </property> <property> ​ <name>hadoop.security.authentication</name> <value>Kerberos</value> </property> <property> <name>dfs.web.authentication.kerberos.principal</name> <value>testuser@EXAMPLE.COM</value> </property> <property>​ <name>hadoop.security.authorization</name>​ <value>true</value>​ </property> </configuration>

関連ページ:

Kerberos

Kerberos は、安全でないネットワーク上でクライアントとサーバーを認証するための安全な方法を提供するネットワーク認証プロトコルです。ビッグデータツールプラグインを使用すると、Kerberos を使用して Kafka、HDFS、Hive Metastore への接続を認証できます。Kerberos を使用して Kafka で認証する「ビッグデータツール」ウィンドウで「」をクリックし、「Kafka」を選択します。または、既存の接続を編集する場合は、それを選択してをクリックします。Kerberos...

Tencent COS

テンセント COS に接続ビッグデータツールウィンドウでクリックし、Tencent COS を選択します。開いたビッグデータツールダイアログで、接続パラメーターを指定します。名前: 他の接続と区別するための接続の名前。領域: バケットを取得するリージョンを選択します。バケットを取得する方法を選択します。カスタムルートを選択し、ルートフィールドで、バケットの名前またはバケット内のディレクトリへのパスを指定します。複数の名前またはパスをコンマで区切って指定できます。アカウント内のすべてのバケットを選...

SFTP

SFTP サーバーに接続するビッグデータツールウィンドウでクリックし、SFTP を選択します。開いたビッグデータツールダイアログで、接続パラメーターを指定します。名前: 他の接続と区別するための接続の名前。SSH 構成: 必要なサーバーアドレスと資格情報を含む SSH 構成を選択します。ルートパス: ルートディレクトリへのパス。オプションで、次を設定できます。プロジェクトごと: これらの接続設定を現在のプロジェクトでのみ有効にする場合に選択します。この接続を他のプロジェクトで表示する場合は、選択を...