hadoop administration demo part 3 | cloudera hadoop administration syllabus | hadoop administration
ClouderaはCloudera Enterpriseと呼ばれる新しいHadoop管理ツールを発表しました同社は、年間契約料を提供すると発表した。また、Hadoopのオープンソース配布パッケージを更新しました。新しいリリースとデータ管理ソフトウェアベンダーとの新しいパートナーシップの両方は、新興のデータベース技術を提供するように準備を進めています
「巨大なWeb企業だけでなく、銀行、病院、保険会社が複雑で構造化されたものを分析する必要があることを発見するだろう。データをまとめ、Hadoopがそのために作られました」とCloudera CEOのMike Olsonは述べています。 "Hadoopは新しい方法で新しい問題を解決します。"
非SQLまたはNoSQLデータベースの数が増えているHadoopは、Google MapReduceをベースにしています。Google MapReduceは、多数のコンピュータノード。 Apache Software Foundationのオープンソースプロジェクトとして開発されているHadoopは、大規模で急速に変化するデータセットを分析する場合に、従来のリレーショナルデータベースに代わるものを提供します。
SQLと非SQLの両方で動作しますClouderaは、Hadoopディストリビューションと新しくリリースされた管理ツールの両方を備えた中規模の組織向けに、Hadoopをパッケージ化しています。どちらのパッケージでも、Hadoopでの高度な技術経験を持たない組織は、このソフトウェアを実行できるはずだという。 「Googleがスケーリングしたデータを持っているならば、Hadoopが使えるというこの神話があります。分析したいだけの数テラバイトのデータを持っている多くのユーザーがいます」とOlson氏は話します。
ClouderaのHadoop(CDH)以前はHadoop Coreと呼ばれていたHadoop Commonをベースに構築された、事前に統合されたソフトウェアプログラムのオープンソースパッケージです。このパッケージには、データウェアハウスインフラストラクチャを提供するHive、 Hadoopの基礎となるデータベースであるHBase。 Pig、map-reduceプログラムのコンパイラ。 Zookeper、複数のサーバー間でアプリケーションを実行するためのスケジューリング、MapReduceが含まれています。
新しくリリースされたバージョン3では、同パッケージにApache V2オープンソースライセンスの下でオープンソースプロジェクトとしてリリースした3つのプログラムが含まれています。 1つはFlumeで、これはHadoopへのデータの読み込みを支援します。もう一つの新しい追加機能は、ワークフロー管理ソフトウェアであるOozieです。最後に、Hadoopユーザー環境(HUE)コードがあり、これはHadoopを管理するためのユーザーインターフェイスを提供します。
「HUEはアナリストをターゲットにしたアプリケーションを誰でも作成できるようにしています。
Cloudera Enterpriseパッケージは、追加の管理ツールを使用してCDHバージョン3を補強します。この新しいソフトウェアはオープンソースではなく、管理者はLightweight Directory Access Protocolを使用してアクセス管理を制御できます。 Olsonは、Clouderaがこれまでの契約やコンサルティングの費用からどれくらいの成果をあげているかは議論しませんが、2010年第1四半期には、 Olson氏によると、さまざまな業界、金融サービス、通信、小売、政府、Web商取引などの企業がこの技術に関心を示しているという。一般的に、これらの人々は多くの場所から多くのデータを取得しており、高度な分析を行う必要があります」とOlson氏は述べています。 「金融サービスは、Hadoopを不正検知に使用することに関心があります。電気通信では、ネットワークを最適化し、顧客の解約を減らす必要が本当にあります」。
Clouderaは、これらのパッケージを提供するだけでなく、ビジネスインテリジェンス(BI)およびデータ管理ソフトウェアの提供者からHadoopのサポートを集めています。Olsonは、サンタクララで開催されるHadoop Summit 2010での基調講演で、カリフォルニア州サンフランシスコの火曜日、BIベンダーのMicroStrategyがHadoopの使用をサポートする予定です。
もう1つの新しいパートナーは、オープンソースのデータ統合ソフトウェアのベンダーであるTalendです。同社は、Talend Integration SuiteをHadoopデータベースとのインタフェースに拡張しました。そのスイートにより、管理者は1つのコンソールから複数のデータソースを管理および集約できます。 Hadoopを使用すると、ソフトウェアは「ネイティブにデータを挿入または取得し、Hadoopアーキテクチャ内でデータを処理できます」とYves de MontcheuilのTalendバイスプレジデントは述べています。
MicrostrategyとTalendは、またはHadoopの商用管理ツールです。先週、ClouderaとQuestは、OracleデータベースとHadoopを連携できるソフトウェアを構築するプロジェクトに着手しました。 5月にオープンソースのビジネスインテリジェンス会社PentahoはBIスイートがHadoopデータベースと連携すると発表しました.HDOopはIDG News Serviceとのインタビューで、Hadoopがスーパーコンピュータの構築の必要性を減らすことができると指摘しました大きなデータセットを分析します。従来、大規模なデータセットは、ストレージから、プールされたサーバーセットであるスーパーコンピューターに移動され、分析されました。対照的に、Hadoopは解析計算をデータが存在する場所に移し、巨大な大規模なマシンを必要としません。 Yahooは、Hadoopの初期の有力な貢献者でした。
Clouderaの提供に加えて、Hadoopは最近、IBMによって商業化されており、この技術を使用した一連の分析サービスが開始されました。
IDGニュースサービス
のテクノロジーニュース。 @Joab_JacksonでTwitterのJoabに従ってください。 Joabの電子メールアドレスは[email protected]です。
Sun Microsystemsは、4ソケットのSparc Enterprise T5440システムでナイアガラサーバーの容量を2倍に増やしました。 Sun Microsystemsは、企業データベースとERP(エンタープライズリソースプランニング)アプリケーションを実行するために設計された4ソケットのSparc Enterprise T5440システムを使用して、ナイアガラサーバーの容量を2倍にしました。サーバーには、最大4つのSunのUltraSparc T2 Plusプロセッサ、前のモデルでは2つ増え、メインメモリを最大512Gバイトに拡張します。各プロセッサには8つのコアがあり、それぞれ8つのコンピューティングスレッドまたは1組のソフトウェア命令を同時に実行できます。 Sunは、Sunのパートナーである富士通からも販売されています。Sunは、以前のネットワーク対応アプリケーションやWeb層向けのナイアガラのサーバーを主に位置づけていましたが、新しいマシンは大規模なOLTP(オンライントランザクション処理)データベースを実行し、 Sun Microelectronics Grou
より大きなメモリ構成のサポートにより、T5440は仮想化とサーバー統合にも適しているとHetherington氏は述べています。このマシンは、SunのSolaris 10 OSとそのSolarisコンテナおよびLogical Domains仮想化ソフトウェアに標準装備されています。
Google Preps Androidの次のバージョン
更新されたバージョンでは、ソフトキーボードがサポートされ、ホーム画面でのウィジェット作成が可能になる
Cloudera Intro Hadoop管理ツール
Clouderaは、Hadoopのデータ処理フレームワークでの作業を容易にする一連のアプリケーションをリリースしています。大規模なデータ処理と分析のためのオープンソースのフレームワークであるHadoopと協力して、一連のアプリケーションを金曜日に導入しています。Hadoopを企業にサポートするClouderaは、新しいブラウザベースのアプリケーションスイートを開発し、 CEOのMike Olson氏によると、Hadoopを使用するプロセスがあります。「