個人財務 Apache Hiveのアーキテクチャー - ダミー

Apache Hiveのアーキテクチャー - ダミー

ビデオ: Hive Tutorial | Hive Architecture | Hive Tutorial For Beginners | Hive In Hadoop | Simplilearn 2024

ビデオ: Hive Tutorial | Hive Architecture | Hive Tutorial For Beginners | Hive In Hadoop | Simplilearn 2024
Anonim

Apache Hiveの要素を調べると、下部にHiveがHadoop分散ファイルシステム(HDFS )とMapReduceシステム。

MapReduceの場合、図はHadoop 1とHadoop 2の両方のコンポーネントを示しています。 Hadoop 1では、HiveクエリはMapReduceコードに変換され、JobTrackerやTaskTrackerなどのMapReduce v1(MRv1)インフラストラクチャを使用して実行されます。

<! - 1 - >

Hadoop 2では、YARNはMapReduceフレームワークからリソース管理とスケジューリングを切り離しました。 MapReduce v2(MRv2)とYARNインフラストラクチャで、HiveクエリをMapReduceコードに変換して実行することができます。

Apache Tezと呼ばれる開発中の新しいフレームワークがあります。これは、バッチスタイルのクエリでHiveのパフォーマンスを向上させ、より小さい対話形式の(リアルタイム とも呼ばれる)クエリをサポートするように設計されています。執筆時点では、Apache Tezプロジェクトはまだインキュベーション中で、まだプロダクションの準備ができていません。 <!すべての作品がどのように組み合わされているかを視覚化するのに役立つならば、HDFSとMapReduceシステムは、Hiveを含むApache Hadoopオペレーティングシステムの一部であると考えてください。また、HBase - より高いレベルの機能またはアプリケーションとして。 (HDFSはストレージを提供し、MapReduceはHadoopエコシステム内の上位レベルの機能に並列処理機能を提供します。)

<! - 3 - >

図を上に移動すると、HiveQLがコンパイル、最適化、実行されます。 Hiveドライバは、現在のタスクに応じて、HiveQLステートメントとコマンドをローカルで実行するか、MapReduceジョブを起動するかを選択できます。 Hiveドライバは、メタデータとそのデータベースにテーブルメタデータを格納します。

おそらくRDBMSの世界のSQLとリレーショナルデータベースモデルに精通しているでしょう。表999または表999の関係は、縦列と横列とからなる。行と列が交差する場所にセル

が格納されます。 SQLとリレーショナルデータベースモデルに精通していない場合は、好きな検索エンジンを使って参考になる学習ソースを見つけることができます。

デフォルトでは、Hiveには、埋め込みモードと呼ばれるメタストアで設定されたApache Derby RDBMSが含まれています。 埋め込みモード は、ハイブドライバ、メタストア、およびApache Derbyがすべて1つのJava仮想マシン(JVM)で実行されていることを意味します。 この設定は学習目的では問題ありませんが、組み込みモードでは1つのHiveセッションしかサポートできないため、通常はマルチユーザ環境では使用されません。プロダクション環境で複数のハイブセッションをよりよくサポートできる2つの他のモード、 ローカル 、 リモート

また、Java Database Connectivity(JDBC)アプリケーション・プログラミング・インターフェース(API)スイートに準拠するRDBMSを構成することもできます。 (例としてはMySQLとDB2があります。) アプリケーションサポートの鍵は、Hive Thrift Serverです。これは、豊富なクライアントセットがHiveサブシステムにアクセスできるようにします。オープンソースのSQuirreL SQLクライアントが例として含まれています。要点は、JDBC準拠のアプリケーションがバンドルされたJDBCドライバを介してHiveにアクセスできることです。 Open Database Connectivity(ODBC)に準拠したクライアントにも同じステートメントが適用されます。たとえば、LinuxにバンドルされているunixODBCやisqlユーティリティでは、リモートLinuxクライアントからHiveにアクセスできます。

また、Microsoft Excelを使用する場合は、クライアントシステムにMicrosoft ODBCドライバをインストールした後、Hiveにアクセスできることを知ってうれしいです。最後に、Java(PHPやPythonなど)以外のプログラミング言語からHiveにアクセスする必要がある場合は、Apache Thriftが答えです。 Apache Thriftクライアントは、JDBCおよびODBCクライアントと同様に、Hive Thrift Server経由でHiveに接続します。 Hiveアーキテクチャの図を続けるには、Hiveにコマンドラインインターフェイス(CLI)が含まれていることに注意してください。ここでLinuxターミナルウィンドウを使用して、クエリと管理コマンドを直接Hiveドライバに発行できます。グラフィカルなアプローチがあなたのスピードを上げる場合は、便利なWebインターフェイスもあり、お気に入りのブラウザでHive管理のテーブルやデータにアクセスできます。 Apache Hiveにグラフィカルユーザーインターフェイス(GUI)を提供する、Hueと呼ばれる別のWebブラウザテクノロジがあります。一部のHadoopユーザーは、コマンドラインインターフェイス(CLI)ではなくGUIを使いたいと思うユーザーもいます。 Hueは、HDFS、MapReduce / YARN、HBase、Zookeeper、Oozie、Pig、およびSqoopのような他の重要なHadoop技術もサポートしています。あなたはHueのApache Hive GUIの名前が好きでしょう - それはBeeswaxと呼ばれています。

Apache Hiveのアーキテクチャー - ダミー

エディタの選択

自転車の点検チェックリスト - ダミー

自転車の点検チェックリスト - ダミー

すぐに自転車の点検をするために数分。あなたの自転車を一時的に与えることは、あなたの次の乗り心地の安全性、快適性、そして楽しさを高めることができます。乗車準備の一環として、次の手順に従ってください:車輪のクイックリリースレバーを開閉して、確認します。

必須サイクリング用具 - ダミー

必須サイクリング用具 - ダミー

あなたはバイクの乗り心地をさらに楽しくするために何百万ものものを買うことができます。自転車用に必要なアクセサリーをいくつかご紹介します。ヘルメット:ヘルメットを着用することはオーストラリアとニュージーランドの法律です。

自転車の範囲を閲覧可能 - ダミー

自転車の範囲を閲覧可能 - ダミー

あなたはサイクリングをすることに決めましたが、その重要なキットを欠いている - バイク!あなたが望む自転車のタイプを正確に知っていない限り、良いアドバイスは、あなたの時間を費やして、自転車で何をするのか、どこに乗るのかを本当に考えてみることです。

エディタの選択

アプリとプライバシー - ダミーを特定する

アプリとプライバシー - ダミーを特定する

Spotifyアプリケーションに登録すると、あなたの個人的な詳細の一部にアクセスする。たとえば、Top10アプリを使用してプレイリストを公開するには、既存のFacebookアカウントにリンクする必要があります。このプロセス中、Facebookはあなたに特定の種類の共有を許可するかどうか尋ねます。

モバイル対応携帯電話を識別する - ダミー

モバイル対応携帯電話を識別する - ダミー

SpotifyモバイルはiPhoneで最も人気がありますが、優れたAndroidバージョン(basks Androidマーケットの5つ星評価のうち5つの評価では5位に入っています)が急速に追いついています。

特集 - ダミー

特集 - ダミー

スポットメイキングは、モバイルでも、あらゆる音楽への普遍的な即時アクセスを可能にしますデバイスまたはデスクトップコンピュータ。 Facebookは人々が古い友達と再会して新しい友達を作るのを助け、Spotifyの助けを借りて青春の歌を再発見し、友人や検索を通じて新鮮な音楽を発見しました。

エディタの選択

IOSアプリケーションでオブジェクト指向設計を使用する方法 - ダミー

IOSアプリケーションでオブジェクト指向設計を使用する方法 - ダミー

IOSは、動作がオブジェクトに関連付けられているプログラムを設計するさまざまな方法です。説明するために、紅茶とスープの作り方を検討することを検討してください。しかし、即座に代わりに活動に飛び込んではいけません。探偵が犯罪現場に入るように行動してください。

IOSアプリケーションでハイレベル抽象化を使用してビデオを再生する方法 - ダミー

IOSアプリケーションでハイレベル抽象化を使用してビデオを再生する方法 - ダミー

このセクションでは、MPMoviePlayerViewControllerクラスの高レベル抽象化を使用してiOSアプリケーションでビデオを再生する方法を説明します。 - (IBAction)playVideo:(id)sender {MPMoviePlayerViewController * moviePlayer = [[MPMoviePlayerViewController alloc] initWithContentURL:movieURL];このコードは、ビデオビューコントローラ内のTTTVideoViewControllerファイルからです。 [self presentMoviePlayerViewControllerAnimated:moviePlayer];}シンプルさ自体!必要なのはURLです。

IOSアプリケーションでJavaスクリプトオブジェクト表記を使用する方法 - ダミー

IOSアプリケーションでJavaスクリプトオブジェクト表記を使用する方法 - ダミー

JavaScript Object Notation (JSON)はiOSアプリのデータを表現する上で事実上の標準になっています。 JSONを使用して、Web上でデータを転送したり、長期保存データを保存および取得するためのフォーマットとして使用することができます。 JSONは、人間が読める形式であり、マシンが理解しやすい形式です。 JSONのデータは1つにまとめることができます...