[Cloud] Deploy HA Availability Domain Spanning Cloudera Enterprise Data Hub Clusters on Oracle Cloud Infrastructure

原文はこちら。
https://blogs.oracle.com/cloud-infrastructure/deploy-ha-availability-domain-spanning-cloudera-enterprise-data-hub-clusters-on-oracle-cloud-infrastructure

---

このエントリはZachary Smith (Senior Member of Technical Staff, Solutions Architect on Big Data for Oracle Cloud Infrastructure) によるものです。

Terraformを使った、Oracle Cloud Infrastructureへのアベイラビリティ・ドメインにまたがるCloudera Enterprise Data Hubのデプロイ自動化が可能になったことを発表でき、誇りに思います。このデプロイメント・アーキテクチャは、パフォーマンスを維持しながら、セキュリティと耐障害性が強化されています。

https://github.com/smithzc/terraform-provider-oci/tree/master/docs/solutions/Hadoop/EL7/Cloudera/AD-Spanning

Cloudera Enterprise Data Hub: Availability Domain Spanning

アベイラビリティ・ドメイン・スパニングは、クラウド構成を活用して耐障害性と高可用性を向上させながら、Oracle Cloud InfrastructureでCloudera Enterprise Data Hubのパフォーマンスを維持したいお客様にとって理想的です。Cloudera Enterprise Data Hubのクラスタホストは、リージョン内の3つのアベイラビリティ・ドメイン全体にデプロイされ、Zookeeper、NameNode、およびHDFSサービスは各アベイラビリティ・ドメイン内のノードに分散配置されています。

Cloudera Cluster Hosts on a Private Subnet

エンタープライズのお客様がクラウドにセキュアな環境を展開できるように引き続き我々は注力しています。このアーキテクチャでは、インターネットから直接アクセスできないプライベートサブネット上にMasterおよびWorkerクラスタホストをデプロイしています。これを実現するために、デプロイメント中の要塞ホストはNATゲートウェイとして設定され、プライベートサブネット上のホストはインターネットへのトラフィックをインターネットゲートウェイにルーティングします。このアーキテクチャは、クラスタのパフォーマンスを犠牲にせずにセキュリティを強化します。

Performance Testing

Oracle Cloud InfrastructureでのCloudera Enterprise Data Hubのパフォーマンスをテストするために、Terasortをベンチマークとして選択しました。compute、メモリ、ストレージ、ネットワークというHadoopデプロイメントに関わるすべての要素のI/Oをテストするため、このベンチマークはHadoopの標準です。

以下のグラフは、各デプロイメント・アーキテクチャで2個のクラスタタイプ間で10 TBのTerasortを実行した場合の比較です。最初のクラスタタイプは、HDFS用に6個の1.5 TBブロックボリュームを使用する仮想マシン、もう一方のクラスタタイプは、HDFS用にローカルNVMeを使用したベアメタルです。クラスタトポロジは両アーキテクチャで同一です。

• Workerノード：5個
• Cloudera Managerノード：1個
• クラスタサービスのMasterノード：2個
• 要塞ホスト：1個

結果を見ると、Workerノード5個での10 TBのソートが非常に高速であるだけでなく、単一のアベイラビリティ・ドメインの場合とアベイラビリティ・ドメイン・スパニング・アーキテクチャーを比較しても、ソート時間にほとんど違いがありません。これらのテストは連続して複数回実行しており、ジョブ実行時刻に関係なく、結果はほぼ同じでした。Oracleの業界最高レベルのクラウドのSLAの素晴らしい例といえるでしょう。

この領域でさらに改善をしており、Oracle Cloud InfrastructureでのCloudera Enterprise Data Hubのリファレンス・アーキテクチャと、これらのTerraformテンプレートの使用方法について詳説するホワイトペーパーがあります。

Cloudera Enterprise Data Hub Reference Architecture for Oracle Cloud Infrastructure Deployments
https://cloud.oracle.com/iaas/whitepapers/cloudera_reference_arch_oci.pdf

ご質問があれば、8月2日9時から13時（PDT）に開催されるCloudera NowのVirtual Event Boothにご参加ください（要登録）。
（訳注）
オンデマンド視聴も登録が必要のようです。

Cloudera Now
https://www.cloudera.com/more/events/cloudera-now.html?src=Oracle
登録
https://www.cloudera.com/more/events/cloudera-now.html?src=Oracle#reg

ClouderaとOracleソリューションをお見逃しなく。是非フィードバックをお寄せください。

Cloudera Enterprise Data Hub on Oracle Cloud Infrastructure
http://cloud.oracle.com/iaas/cloudera