Windows

Facebookの大きなデータプランには、倉庫と高速な分析が含まれます

(352) Difference Between SC4 & SC1 Lishi

(352) Difference Between SC4 & SC1 Lishi
Anonim

Facebookは、広告収益の10億人以上のユーザーに対して、エンジニアによると、サイトがそのデータに対して行った分析は、今後数年間にわたって数多くの課題を残し続けると予想されている、とエンジニアは述べている。

Facebookは「より広範な業界よりはるかに早い段階で」取り組まなければならない問題は、より効率的な方法でサイト上のユーザーの行動を処理する方法、Facebookの複数のデータセンターで異なる種類のデータにアクセスして統合する方法、新しいデータソースを処理するための新しいオープンソースソフトウェアシステムRa Facebookのアナリティクスインフラストラクチャを管理するvi Murthy氏は火曜日、「Facebookはデータ会社であり、人々がそのような面で最も目に見えるのは広告ターゲティングだ」と同氏はサンフランシスコの業界会議で、 Facebookのバックエンドインフラストラクチャ、データ分析、オープンソースプロジェクトで話す

[詳細を読む:最高のテレビストリーミングサービス]

「それはこれより深くなる」と彼は言った。 Facebookのアナリティクスインフラストラクチャは、Facebookの分析インフラストラクチャに関連しています。このインフラストラクチャは、ユーザーがステータスの更新を投稿するような操作や、ユーザーが使用しているかどうかを問わず、利用可能なすべてのデータを詳細に分析してユーザーのエクスペリエンスを向上させます。 Facebook内でさまざまなデバイスで使用しているアプリケーション。

Facebookは現在、Hadoop、Corona、およびPrismとして知られているいくつかの異なるオープンソースソフトウェアシステムを使用してデータを処理および分析しています。ユーザーの活動を分析できるデータベースに複数のソースからのデータを結合したデータウェアハウスとして、Facebookが何を指しているかにもかかわらず、同社の課題の多くは、特定の国でタグ付けされた写真の枚数に関する日報を提供すること、またはある地域の何人のユーザーが推奨されたページに従事しているかを見ることなど、集計することができます。

分析Murthy氏によると、ユーザーエクスペリエンスを最適化し、ユーザーが好きで気に入らないものを見つけ出すように設計されているが、Facebookがユーザーのデータにさらにアクセスできるようになっているため、現在、Facebookの倉庫には、毎日500テラバイトの新しいデータ、つまり50万ギガバイトが必要です。 Murthy氏は、このような問題に対処するために、FacebookがPrismソフトウェアシステムを開発しています.Prismソフトウェアシステムは、これまでの4年間で約4000倍の規模で成長しました。 Murthy氏は、世界中の同社のデータセンター全体で重要な分析機能を提供し、分析を「チャンク」に分割していると語った。このようにして、ユーザーのニュースフィードに関連する測定基準を分析することで、より一般的に倉庫が邪魔になることはありません。「このデータをどのように収集するのかがますます増えています」

同社はまた、倉庫に問い合わせるための全く別のアプローチをとるシステムに取り組んでおり、数秒以内に応答時間を提供するとしている、とMurthy氏は述べている。

Facebookが継続的に改善しようとしている別の領域は、ソーシャルネットワークの円滑な運営を維持するために、より基本的な日常的なデータ処理、例えば、好き嫌い、コメント、状況の更新を処理します。同社のエンジニアやアナリストが尋ねている質問には、この種のデータの実際の伸びを予測する方法と、Facebookが実際にそれに割り当てなければならない計算量が含まれている、とMurthy氏は述べている。「今から6ヵ月後のことを予測することはできますか?」彼は言った。

一方で、Facebookは物理サーバをより効率的にするための長期的な取り組みにも携わっている。同社は2011年にOpen Compute Projectを開始しました。モジュール化されたサーバーを設計し、ネットワーキング、メモリ、電源装置、その他のサーバーコンポーネントをより細かく制御できるようにしました。 1月にARMプロセッサを組み込むように拡張されました。