Sqoopに関しては、言葉を覚えているので、図を調べると、Sqoopアーキテクチャの鳥瞰図が得られます。
Sqoopの背後にあるアイデアは、Hadoop MapReduceフレームワークの中から map タスク(リレーショナルデータベーステーブルのパラレルなインポートとエクスポートを実行するタスク)を活用することです。これは、MapReduceフレームワークがインポート処理とエクスポート処理のフォールトトレランスと並行処理を提供するため、良いニュースです!
<! - 1 - >大規模なテーブルのインポートまたはエクスポート中に障害が発生した場合は、MapReduceフレームワークが回復するため、フォールトトレランスが向上します。
SqoopはHiveとHBaseにデータをインポートできます。しかし、HiveとHBaseの矢印は一方向にしか向いていないことに注意してください。 JDBCをサポートする任意のリレーショナルデータベースに格納されたデータは、Sqoopを使用してHiveまたはHBaseシステムに直接インポートできます。ただし、エクスポートはHDFSに格納されたデータから実行されます。
<! - 2 - >したがって、Hiveテーブルをエクスポートする必要がある場合は、SqoopをHiveテーブルを格納するHDFSディレクトリに指定します。 HBaseテーブルをエクスポートする必要がある場合は、まずそれらをHDFSにエクスポートしてから、Sqoopエクスポートコマンドを実行する必要があります。