個人財務 Apache Hiveのアーキテクチャー - ダミー

Apache Hiveのアーキテクチャー - ダミー

ビデオ: Hive Tutorial | Hive Architecture | Hive Tutorial For Beginners | Hive In Hadoop | Simplilearn 2025

ビデオ: Hive Tutorial | Hive Architecture | Hive Tutorial For Beginners | Hive In Hadoop | Simplilearn 2025
Anonim

Apache Hiveの要素を調べると、下部にHiveがHadoop分散ファイルシステム(HDFS )とMapReduceシステム。

MapReduceの場合、図はHadoop 1とHadoop 2の両方のコンポーネントを示しています。 Hadoop 1では、HiveクエリはMapReduceコードに変換され、JobTrackerやTaskTrackerなどのMapReduce v1(MRv1)インフラストラクチャを使用して実行されます。

<! - 1 - >

Hadoop 2では、YARNはMapReduceフレームワークからリソース管理とスケジューリングを切り離しました。 MapReduce v2(MRv2)とYARNインフラストラクチャで、HiveクエリをMapReduceコードに変換して実行することができます。

Apache Tezと呼ばれる開発中の新しいフレームワークがあります。これは、バッチスタイルのクエリでHiveのパフォーマンスを向上させ、より小さい対話形式の(リアルタイム とも呼ばれる)クエリをサポートするように設計されています。執筆時点では、Apache Tezプロジェクトはまだインキュベーション中で、まだプロダクションの準備ができていません。 <!すべての作品がどのように組み合わされているかを視覚化するのに役立つならば、HDFSとMapReduceシステムは、Hiveを含むApache Hadoopオペレーティングシステムの一部であると考えてください。また、HBase - より高いレベルの機能またはアプリケーションとして。 (HDFSはストレージを提供し、MapReduceはHadoopエコシステム内の上位レベルの機能に並列処理機能を提供します。)

<! - 3 - >

図を上に移動すると、HiveQLがコンパイル、最適化、実行されます。 Hiveドライバは、現在のタスクに応じて、HiveQLステートメントとコマンドをローカルで実行するか、MapReduceジョブを起動するかを選択できます。 Hiveドライバは、メタデータとそのデータベースにテーブルメタデータを格納します。

おそらくRDBMSの世界のSQLとリレーショナルデータベースモデルに精通しているでしょう。表999または表999の関係は、縦列と横列とからなる。行と列が交差する場所にセル

が格納されます。 SQLとリレーショナルデータベースモデルに精通していない場合は、好きな検索エンジンを使って参考になる学習ソースを見つけることができます。

デフォルトでは、Hiveには、埋め込みモードと呼ばれるメタストアで設定されたApache Derby RDBMSが含まれています。 埋め込みモード は、ハイブドライバ、メタストア、およびApache Derbyがすべて1つのJava仮想マシン(JVM)で実行されていることを意味します。 この設定は学習目的では問題ありませんが、組み込みモードでは1つのHiveセッションしかサポートできないため、通常はマルチユーザ環境では使用されません。プロダクション環境で複数のハイブセッションをよりよくサポートできる2つの他のモード、 ローカル 、 リモート

また、Java Database Connectivity(JDBC)アプリケーション・プログラミング・インターフェース(API)スイートに準拠するRDBMSを構成することもできます。 (例としてはMySQLとDB2があります。) アプリケーションサポートの鍵は、Hive Thrift Serverです。これは、豊富なクライアントセットがHiveサブシステムにアクセスできるようにします。オープンソースのSQuirreL SQLクライアントが例として含まれています。要点は、JDBC準拠のアプリケーションがバンドルされたJDBCドライバを介してHiveにアクセスできることです。 Open Database Connectivity(ODBC)に準拠したクライアントにも同じステートメントが適用されます。たとえば、LinuxにバンドルされているunixODBCやisqlユーティリティでは、リモートLinuxクライアントからHiveにアクセスできます。

また、Microsoft Excelを使用する場合は、クライアントシステムにMicrosoft ODBCドライバをインストールした後、Hiveにアクセスできることを知ってうれしいです。最後に、Java(PHPやPythonなど)以外のプログラミング言語からHiveにアクセスする必要がある場合は、Apache Thriftが答えです。 Apache Thriftクライアントは、JDBCおよびODBCクライアントと同様に、Hive Thrift Server経由でHiveに接続します。 Hiveアーキテクチャの図を続けるには、Hiveにコマンドラインインターフェイス(CLI)が含まれていることに注意してください。ここでLinuxターミナルウィンドウを使用して、クエリと管理コマンドを直接Hiveドライバに発行できます。グラフィカルなアプローチがあなたのスピードを上げる場合は、便利なWebインターフェイスもあり、お気に入りのブラウザでHive管理のテーブルやデータにアクセスできます。 Apache Hiveにグラフィカルユーザーインターフェイス(GUI)を提供する、Hueと呼ばれる別のWebブラウザテクノロジがあります。一部のHadoopユーザーは、コマンドラインインターフェイス(CLI)ではなくGUIを使いたいと思うユーザーもいます。 Hueは、HDFS、MapReduce / YARN、HBase、Zookeeper、Oozie、Pig、およびSqoopのような他の重要なHadoop技術もサポートしています。あなたはHueのApache Hive GUIの名前が好きでしょう - それはBeeswaxと呼ばれています。

Apache Hiveのアーキテクチャー - ダミー

エディタの選択

Facebook上の人、アプリケーション、招待をブロックする方法 - ダミー

Facebook上の人、アプリケーション、招待をブロックする方法 - ダミー

設定は、Facebookで快適に過ごせるようにするための予防措置です。ブロックリストは通常​​、より反応的です。誰かがあなたのことを気にするFacebook上の何かをした場合、彼をブロックしたり、あなたが影響を及ぼす特定の行動をブロックすることを選ぶかもしれません。制限付きリスト、ユーザーブロック、ブロック...

Facebookのタイムラインカバーを変更する方法写真ダミー

Facebookのタイムラインカバーを変更する方法写真ダミー

Facebook、あなたのタイムラインはあなたの友人のものと比べて少し空白に見えるかもしれません。カバー写真が必要です。まもなくタイムラインがいっぱいになります。しかし、まず、人々があなたを見つけてあなたについて知ることができるように、基礎を記入したいと思っています。人々が最初にすることは...

正しいFacebookページタイプを選択する方法 - ダミー

正しいFacebookページタイプを選択する方法 - ダミー

サービス、またはビジネスを利用するには、Facebookのページオプションの賛否両論に気づく必要があります。あなたの6つの主要なオプションを見てみましょう:ローカルビジネスまたはプレースカンパニー組織または機関ブランドまたはプロダクトアーティストバンドまたは公共図エンターテインメント原因またはコミュニティ次の...

エディタの選択

他のKloutインフルエンサーを推薦する方法 - ダミー

他のKloutインフルエンサーを推薦する方法 - ダミー

インフルエンサーリストを使用してKloutが+ Kを与えると説明するアクションです。あなたのKloutスコアの一部は、他人から受け取った裏書の数に由来します。

あなたのソーシャルメディアメトリクスの目標を微調整する方法 - ダミー

あなたのソーシャルメディアメトリクスの目標を微調整する方法 - ダミー

ソーシャルメディア指標の目標を微調整するための販売漏れデータあなたの目標を微調整することの一部は、希望から​​マイルストーンに移行するまで、それらを磨くことです。人々がゴールを間違えていることのいくつかの例を以下に示します。これは希望、夢、偉大なものです。

Klout特典の電子メール通知を取得する方法 - ダミー

Klout特典の電子メール通知を取得する方法 - ダミー

Ifあなたは定期的にKloutを訪れる習慣ではないので、あなたはPerksの電子メールアラートを作成することができます。あなたがソーシャルメディアの世界でやっていることすべてを把握するのは難しいかもしれません。これはあなたのソーシャルメディア管理を簡素化するのに役立ちます。あなたがパルクの資格を得て、そして...

エディタの選択

Outlook 2002でパブリックフォルダで公開する - Microsoft ExchangeネットワークでOutlook 2002を使用する場合はダミー

Outlook 2002でパブリックフォルダで公開する - Microsoft ExchangeネットワークでOutlook 2002を使用する場合はダミー

パブリックフォルダを使用できます。パブリックフォルダは、グループ全体が見てアイテムを追加できる場所です。タスクや連絡先用のパブリックフォルダを持つことができます。

Outlookの迷惑メールフィルタを設定する方法 - ダミー

Outlookの迷惑メールフィルタを設定する方法 - ダミー

Outlookのオプション。非常に積極的に設定すると、迷惑メールが少なくなりますが、正当なメッセージを迷惑メールとマークすることがあります。それほど攻撃的ではないように設定すると、受信トレイにもっと迷惑をかけることになります。 Outlookに付属しています...

Outlook 2013で連絡先グループを作成する方法 - ダミー

Outlook 2013で連絡先グループを作成する方法 - ダミー

Outlook 2013で連絡先グループを作成する方法あなたのリストの名前を作り、あなたのシステムに保存した名前のコレクションから選ぶという単純な問題です。連絡先グループは電話番号とメールアドレス、電子メールアドレスだけを追跡しません。 ...