SlideShare uma empresa Scribd logo
1 de 14
Baixar para ler offline
低消費電⼒ARMサーバーを
オンチップ⾼速インターコネクトで
  ⾼密度に集積したクラスタを
   Hadoopにカスタマイズ
BOSTON Viridis

• Boston Viridis – 電⼒効率に⾮常に優れたサーバーの誕⽣
  – Calxeda EnergyCore プロセッサーを採⽤
    • 1枚のサーバーモジュールに4基のEnergyCoreプロセッサを搭載
    • 2Uサイズのサーバー筐体に48基のEnergyCoreプロセッサを集約 – 192
      コア
  – 各EnergyCore SoCには4GBまでのDRAMを接続可能
    • Cortex A9プロセッサによる制約
    • 各SoCを単機能に専⽤化することにより
      各コンポーネントが必要なメモリ量だけ
      に節約でき, OSのメモリ消費量も削減
      できるため,制約を極⼩化可能。
    • Cortex A15プロセッサではメモリ空間が
      1TBまで拡⼤。
      CALXEDA-BOSTONもCortex A15
      対応モデルをリリース(2013 1Q末予定)
BOSTON Viridis for Hadoop


•   Hadoopアプライアンス
    – オープンソースによるデータ集中
      型分散アプリケーションには,
      Viridisサーバーが適しています
•   Apache Hadoopをプレインストー
    ルしたクラスターサーバーを,繋
    いで即使える状態で提供します
    – ⾼いスケーラビリティを提供
    – チューニングも可能です
    – 展開が容易になります
• 数ペタバイトにも及ぶデータを低
  消費電⼒のサーバにより利⽤可能
  となります
BOSTON Viridisが採⽤している
              Calxeda EnergyCore SoC のアーキテクチャ



  EnergyCoreTM
                                                 プロセッサ複合体
Management Engine
                                                   Cortex A9 4コア
システム・電⼒・ファブリック                                   広帯域メモリコントローラ
   の最適化・管理機構
    IPMI・DCMI準拠



    I/Oコントローラ                                     EnergyCoreTM
                                                  Fabric Switch
     SATA 3Gb/s×5ch
 PCIe gen2 (x4 + x2 + x1)×4                       ノード間遅延200ns以下
  eMMC/MMC/SD controller                           トポロジーは透過的
    10GbE controller ×3                          OSは2ポートのNICを認識
                                 最大消費電力 5W
                              アイドル時消費電力 0.5W以下
                                 (4GB DRAM搭載時)
EnergyCoreのリファレンスプラットフォーム
              Calxeda EnergyCard
一枚の基盤に4基のEnergyCore SoCを搭載
消費電力20W
バックボードに挿すだけ; 外部スイッチ不要

        EnergyCoreTM     各SoC専用の        各SoCに供給するDRAM
          4コアSoC         4ch SATA I/F    4GB ECC mini-DIMM




                10Gb Ether Link ×8
EnergyCardの相互接続トポロジー

赤い矢印からシャーシ外への10Gb Ethernetポートに接続。
シャーシ内部は固定的・透過的なトポロジーにより相互に接続し,
各SoCは2ポートの10Gb Ethernetポートをファブリック上に持つ。
hadoop             Framework

•   Hadoopは⼤きく分けて次の2つのシステムによって構成される
    – Hadoop Distributed File System
        • ⾃⼰修復機能のある広帯域クラスタストレージ
    – MapReduce
        • 分散・耐故障性のある,プログラムによるスケーラブルなデータ抽出機能
          を持ったリソースの管理・スケジューリングシステム
•   重要な性質
    – Flexibility                                     Hive           Pig
        • いかなるデータも保管・解析可能
                                                  MapReduce                  HBase
    – Scalability
        • 1TB/3ノード〜数PB/数千ノード
                                                  HDFSTM
    – Economics                        (Hadoop Distributed File System)
        • コストもまた線形にスケールする
          こと                            DISK   DISK    DISK   DISK    DISK    DISK
Hadoop Distributed File System


                 HDFS Server                Master node



   HDFS
   Client


ZooKeeper
 ZooKeeper



                               Name Nodes            Data Nodes



      SATA接続ノード                   SATA不要ノード
HBase



             ZooKeeper
              ZooKeeper



    HBase
    Client                                HDFS


              HMaster
                                HRegion
                                Servers
Javaで構築されており
ノード間はソケットで通信を行う
Memcached




Internet
 Internet


                                   Database Server



              Web
                       Memcached
            Frontend
                        Servers
ApacheBench Results and Power Comparison


                             Boston Viridis   Intel Xeon E3-
                                                  1240 [1]
Core Frequency                  1.1 GHz          3.3 GHz
CPU Coures                         4                4
Total Requests                 1,000,000        1,000,000
Requests per Second              5500             6950
Latency (Average)                9 ms             7 ms
Power (Average)[2]              5.26 W           102 W[3]
Performance/Watt Advantage       8-15X
BOSTON Viridis による展開のメリット

•   物理的仮想化
    – ユーザごとに物理的なリソースを
      専⽤に割り当て,QoSを保証可能
    – ポリシーによるリソース割当も可
      能
    – 外部のスイッチ・負荷分散器・
      SSLオフロードといったネットワ
      ークアプライアンスを節約可能
• 内蔵の分散ストレージ
    – 外部のストレージ専⽤アプライア
      ンスが不要に
    – 電源とネットワークのケーブルを
      接続してスイッチを⼊れるだけで
      即展開可能
• 低TCO
    – 装置全体の消費電⼒は300W以下
    – 2Uサイズに最⼤48SoC/192コア
ご⽤命は…

• エルザジャパンにお問い合わせください。
 –   BOSTON製品の⽇本国内のVARです。
 –   HPC&システム事業部 (担当:鈴⽊)
 –   Tel. (03) 5765-7391
 –   E-mail: hpc@elsa-jp.co.jp
 –   URL: http://www.elsa-jp.co.jp
• プレゼンテーション、デモ、および検証作業のご協⼒に伺
  います。
 – ターゲットアプリケーション、評価の規模などをあらかじめ教えて
   いただければ、BOSTONと連携し、最適な構成を⽤意して検証い
   ただけるようセットアップします。
 – 技術的質問・改修のご要望など、BOSTONとのやりとりはすべて
   エルザジャパンにてご対応いたします。
14

Mais conteúdo relacionado

Mais procurados

D35 NonStop SQLはなぜグローバルに分散DBを構築できるのか、データの整合性を保てるのか、その深層に迫る byToshimitsu Hara
D35 NonStop SQLはなぜグローバルに分散DBを構築できるのか、データの整合性を保てるのか、その深層に迫る byToshimitsu HaraD35 NonStop SQLはなぜグローバルに分散DBを構築できるのか、データの整合性を保てるのか、その深層に迫る byToshimitsu Hara
D35 NonStop SQLはなぜグローバルに分散DBを構築できるのか、データの整合性を保てるのか、その深層に迫る byToshimitsu HaraInsight Technology, Inc.
 
絵で見てわかる 某分散データストア
絵で見てわかる 某分散データストア絵で見てわかる 某分散データストア
絵で見てわかる 某分散データストアTakahiko Sato
 
Linux on Power と x86 Linux との技術的な相違点
Linux on Power と x86 Linux との技術的な相違点Linux on Power と x86 Linux との技術的な相違点
Linux on Power と x86 Linux との技術的な相違点Shinichiro Arai
 
Hadoop operation chaper 4
Hadoop operation chaper 4Hadoop operation chaper 4
Hadoop operation chaper 4Yukinori Suda
 
Coherenceを利用するときに気をつけること #OracleCoherence
Coherenceを利用するときに気をつけること #OracleCoherenceCoherenceを利用するときに気をつけること #OracleCoherence
Coherenceを利用するときに気をつけること #OracleCoherenceToshiaki Maki
 
仮想化環境の設計手法 〜プロのテクニック教えます〜
仮想化環境の設計手法 〜プロのテクニック教えます〜仮想化環境の設計手法 〜プロのテクニック教えます〜
仮想化環境の設計手法 〜プロのテクニック教えます〜VirtualTech Japan Inc.
 
Db2 v11.5.4 高可用性構成 & HADR 構成パターンご紹介
Db2 v11.5.4 高可用性構成 & HADR 構成パターンご紹介Db2 v11.5.4 高可用性構成 & HADR 構成パターンご紹介
Db2 v11.5.4 高可用性構成 & HADR 構成パターンご紹介IBM Analytics Japan
 
Zabbix jp勉強会 Hadoop-HBaseの監視_20120512
Zabbix jp勉強会 Hadoop-HBaseの監視_20120512Zabbix jp勉強会 Hadoop-HBaseの監視_20120512
Zabbix jp勉強会 Hadoop-HBaseの監視_20120512Seiichiro Ishida
 
Btrfsの基礎 part1 機能編
Btrfsの基礎 part1 機能編Btrfsの基礎 part1 機能編
Btrfsの基礎 part1 機能編fj_staoru_takeuchi
 
Oracle Coherence勉強会
Oracle Coherence勉強会Oracle Coherence勉強会
Oracle Coherence勉強会Toshiaki Maki
 
一歩進んだXen仮想化環境構築
一歩進んだXen仮想化環境構築一歩進んだXen仮想化環境構築
一歩進んだXen仮想化環境構築VirtualTech Japan Inc.
 
BitVisor Summit 10「1. BitVisor 2021年の主な変更点」
BitVisor Summit 10「1. BitVisor 2021年の主な変更点」 BitVisor Summit 10「1. BitVisor 2021年の主な変更点」
BitVisor Summit 10「1. BitVisor 2021年の主な変更点」 BitVisor
 
仮想化環境の設計手法〜プロのテクニック教えます〜
仮想化環境の設計手法〜プロのテクニック教えます〜仮想化環境の設計手法〜プロのテクニック教えます〜
仮想化環境の設計手法〜プロのテクニック教えます〜VirtualTech Japan Inc.
 
GMOメディア RHEV-S-事例紹介
GMOメディア RHEV-S-事例紹介GMOメディア RHEV-S-事例紹介
GMOメディア RHEV-S-事例紹介Dai Utsui
 

Mais procurados (20)

D35 NonStop SQLはなぜグローバルに分散DBを構築できるのか、データの整合性を保てるのか、その深層に迫る byToshimitsu Hara
D35 NonStop SQLはなぜグローバルに分散DBを構築できるのか、データの整合性を保てるのか、その深層に迫る byToshimitsu HaraD35 NonStop SQLはなぜグローバルに分散DBを構築できるのか、データの整合性を保てるのか、その深層に迫る byToshimitsu Hara
D35 NonStop SQLはなぜグローバルに分散DBを構築できるのか、データの整合性を保てるのか、その深層に迫る byToshimitsu Hara
 
第15回「インテル® Xeon® プロセッサー E5 ファミリー 新登場!」(2012/03/22 on しすなま!) ②IBM資料
第15回「インテル® Xeon® プロセッサー E5 ファミリー 新登場!」(2012/03/22 on しすなま!) ②IBM資料第15回「インテル® Xeon® プロセッサー E5 ファミリー 新登場!」(2012/03/22 on しすなま!) ②IBM資料
第15回「インテル® Xeon® プロセッサー E5 ファミリー 新登場!」(2012/03/22 on しすなま!) ②IBM資料
 
絵で見てわかる 某分散データストア
絵で見てわかる 某分散データストア絵で見てわかる 某分散データストア
絵で見てわかる 某分散データストア
 
[dbts-2014-tokyo] 目指せExadata!! Oracle DB高速化を目指した構成
[dbts-2014-tokyo] 目指せExadata!! Oracle DB高速化を目指した構成[dbts-2014-tokyo] 目指せExadata!! Oracle DB高速化を目指した構成
[dbts-2014-tokyo] 目指せExadata!! Oracle DB高速化を目指した構成
 
Linux on Power と x86 Linux との技術的な相違点
Linux on Power と x86 Linux との技術的な相違点Linux on Power と x86 Linux との技術的な相違点
Linux on Power と x86 Linux との技術的な相違点
 
Hadoop operation chaper 4
Hadoop operation chaper 4Hadoop operation chaper 4
Hadoop operation chaper 4
 
Coherenceを利用するときに気をつけること #OracleCoherence
Coherenceを利用するときに気をつけること #OracleCoherenceCoherenceを利用するときに気をつけること #OracleCoherence
Coherenceを利用するときに気をつけること #OracleCoherence
 
仮想化環境の設計手法 〜プロのテクニック教えます〜
仮想化環境の設計手法 〜プロのテクニック教えます〜仮想化環境の設計手法 〜プロのテクニック教えます〜
仮想化環境の設計手法 〜プロのテクニック教えます〜
 
Db2 v11.5.4 高可用性構成 & HADR 構成パターンご紹介
Db2 v11.5.4 高可用性構成 & HADR 構成パターンご紹介Db2 v11.5.4 高可用性構成 & HADR 構成パターンご紹介
Db2 v11.5.4 高可用性構成 & HADR 構成パターンご紹介
 
slide2
slide2slide2
slide2
 
PFI Seminar 2010/01/21
PFI Seminar 2010/01/21PFI Seminar 2010/01/21
PFI Seminar 2010/01/21
 
Zabbix jp勉強会 Hadoop-HBaseの監視_20120512
Zabbix jp勉強会 Hadoop-HBaseの監視_20120512Zabbix jp勉強会 Hadoop-HBaseの監視_20120512
Zabbix jp勉強会 Hadoop-HBaseの監視_20120512
 
Btrfsの基礎 part1 機能編
Btrfsの基礎 part1 機能編Btrfsの基礎 part1 機能編
Btrfsの基礎 part1 機能編
 
Oracle Coherence勉強会
Oracle Coherence勉強会Oracle Coherence勉強会
Oracle Coherence勉強会
 
一歩進んだXen仮想化環境構築
一歩進んだXen仮想化環境構築一歩進んだXen仮想化環境構築
一歩進んだXen仮想化環境構築
 
BitVisor Summit 10「1. BitVisor 2021年の主な変更点」
BitVisor Summit 10「1. BitVisor 2021年の主な変更点」 BitVisor Summit 10「1. BitVisor 2021年の主な変更点」
BitVisor Summit 10「1. BitVisor 2021年の主な変更点」
 
OpenStack 101
OpenStack 101OpenStack 101
OpenStack 101
 
Linux on Powerの最新情報(2014年11月)
Linux on Powerの最新情報(2014年11月)Linux on Powerの最新情報(2014年11月)
Linux on Powerの最新情報(2014年11月)
 
仮想化環境の設計手法〜プロのテクニック教えます〜
仮想化環境の設計手法〜プロのテクニック教えます〜仮想化環境の設計手法〜プロのテクニック教えます〜
仮想化環境の設計手法〜プロのテクニック教えます〜
 
GMOメディア RHEV-S-事例紹介
GMOメディア RHEV-S-事例紹介GMOメディア RHEV-S-事例紹介
GMOメディア RHEV-S-事例紹介
 

Destaque

Raspberry Pi最新情報 at OSC 2014 Hokkaido
Raspberry Pi最新情報 at OSC 2014 HokkaidoRaspberry Pi最新情報 at OSC 2014 Hokkaido
Raspberry Pi最新情報 at OSC 2014 HokkaidoMasafumi Ohta
 
増え続ける情報に対応するためのFPGA基礎知識
増え続ける情報に対応するためのFPGA基礎知識増え続ける情報に対応するためのFPGA基礎知識
増え続ける情報に対応するためのFPGA基礎知識なおき きしだ
 
Q4.11: Introduction to eMMC
Q4.11: Introduction to eMMCQ4.11: Introduction to eMMC
Q4.11: Introduction to eMMCLinaro
 
FPGAのトレンドをまとめてみた
FPGAのトレンドをまとめてみたFPGAのトレンドをまとめてみた
FPGAのトレンドをまとめてみたTakefumi MIYOSHI
 

Destaque (6)

Raspberry Pi最新情報 at OSC 2014 Hokkaido
Raspberry Pi最新情報 at OSC 2014 HokkaidoRaspberry Pi最新情報 at OSC 2014 Hokkaido
Raspberry Pi最新情報 at OSC 2014 Hokkaido
 
150130 edison-ug
150130 edison-ug150130 edison-ug
150130 edison-ug
 
FPGAことはじめ
FPGAことはじめFPGAことはじめ
FPGAことはじめ
 
増え続ける情報に対応するためのFPGA基礎知識
増え続ける情報に対応するためのFPGA基礎知識増え続ける情報に対応するためのFPGA基礎知識
増え続ける情報に対応するためのFPGA基礎知識
 
Q4.11: Introduction to eMMC
Q4.11: Introduction to eMMCQ4.11: Introduction to eMMC
Q4.11: Introduction to eMMC
 
FPGAのトレンドをまとめてみた
FPGAのトレンドをまとめてみたFPGAのトレンドをまとめてみた
FPGAのトレンドをまとめてみた
 

Semelhante a BOSTON Viridis for Hadoop by ELSA Japan

RDMA for Windows Server 2012
RDMA for Windows Server 2012RDMA for Windows Server 2012
RDMA for Windows Server 2012Naoto MATSUMOTO
 
オラクルのHPC/GPUソリューションご紹介(2021/08版)
オラクルのHPC/GPUソリューションご紹介(2021/08版)オラクルのHPC/GPUソリューションご紹介(2021/08版)
オラクルのHPC/GPUソリューションご紹介(2021/08版)オラクルエンジニア通信
 
[Cyber HPC Symposium 2019] Microsoft Azureによる、クラウド時代のハイパフォーマンスコンピューティング High...
[Cyber HPC Symposium 2019]  Microsoft Azureによる、クラウド時代のハイパフォーマンスコンピューティング High...[Cyber HPC Symposium 2019]  Microsoft Azureによる、クラウド時代のハイパフォーマンスコンピューティング High...
[Cyber HPC Symposium 2019] Microsoft Azureによる、クラウド時代のハイパフォーマンスコンピューティング High...Shuichi Gojuki
 
HPC 的に H100 は魅力的な GPU なのか?
HPC 的に H100 は魅力的な GPU なのか?HPC 的に H100 は魅力的な GPU なのか?
HPC 的に H100 は魅力的な GPU なのか?NVIDIA Japan
 
第11回ACRiウェビナー_東工大/坂本先生ご講演資料
第11回ACRiウェビナー_東工大/坂本先生ご講演資料第11回ACRiウェビナー_東工大/坂本先生ご講演資料
第11回ACRiウェビナー_東工大/坂本先生ご講演資料直久 住川
 
[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...
[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...
[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...Insight Technology, Inc.
 
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)softlayerjp
 
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)chenree3
 
Open stack reference architecture v1 2
Open stack reference architecture v1 2Open stack reference architecture v1 2
Open stack reference architecture v1 2Dell TechCenter Japan
 
GPUアクセラレータと不揮発性メモリを考慮したI/O性能の予備評価
GPUアクセラレータと不揮発性メモリを考慮したI/O性能の予備評価GPUアクセラレータと不揮発性メモリを考慮したI/O性能の予備評価
GPUアクセラレータと不揮発性メモリを考慮したI/O性能の予備評価Koichi Shirahata
 
[INSIGHT OUT 2011] B32 open hardwareの夜明け pci express 3・infiniband fdrの登場(yama...
[INSIGHT OUT 2011] B32 open hardwareの夜明け pci express 3・infiniband fdrの登場(yama...[INSIGHT OUT 2011] B32 open hardwareの夜明け pci express 3・infiniband fdrの登場(yama...
[INSIGHT OUT 2011] B32 open hardwareの夜明け pci express 3・infiniband fdrの登場(yama...Insight Technology, Inc.
 
インテルが考える次世代ファブリック
インテルが考える次世代ファブリックインテルが考える次世代ファブリック
インテルが考える次世代ファブリックNaoto MATSUMOTO
 
Dell emc highperformancevirtualinfracommunitymeetup_20180621publish
Dell emc highperformancevirtualinfracommunitymeetup_20180621publishDell emc highperformancevirtualinfracommunitymeetup_20180621publish
Dell emc highperformancevirtualinfracommunitymeetup_20180621publishMakoto Ono
 
Snr005 レノボだから実現
Snr005 レノボだから実現Snr005 レノボだから実現
Snr005 レノボだから実現Tech Summit 2016
 
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
SQL Server 使いのための Azure Synapse Analytics - Spark 入門SQL Server 使いのための Azure Synapse Analytics - Spark 入門
SQL Server 使いのための Azure Synapse Analytics - Spark 入門Daiyu Hatakeyama
 
Java EE7 䛸㻌JCache 
Java EE7 䛸㻌JCache Java EE7 䛸㻌JCache 
Java EE7 䛸㻌JCache maruyama097
 
Oracle Database / Exadata Cloud 技術情報(Oracle Cloudウェビナーシリーズ: 2020年7月9日)
Oracle Database / Exadata Cloud 技術情報(Oracle Cloudウェビナーシリーズ: 2020年7月9日)Oracle Database / Exadata Cloud 技術情報(Oracle Cloudウェビナーシリーズ: 2020年7月9日)
Oracle Database / Exadata Cloud 技術情報(Oracle Cloudウェビナーシリーズ: 2020年7月9日)オラクルエンジニア通信
 
ASPLOS2017: Building Durable Transactions with Decoupling for Persistent Memory
ASPLOS2017: Building Durable Transactions with Decoupling for Persistent MemoryASPLOS2017: Building Durable Transactions with Decoupling for Persistent Memory
ASPLOS2017: Building Durable Transactions with Decoupling for Persistent MemoryAtsushi Koshiba
 
データ爆発時代のネットワークインフラ
データ爆発時代のネットワークインフラデータ爆発時代のネットワークインフラ
データ爆発時代のネットワークインフラNVIDIA Japan
 

Semelhante a BOSTON Viridis for Hadoop by ELSA Japan (20)

Exadata with persistent memory an epic journey jp
Exadata with persistent memory  an epic journey jpExadata with persistent memory  an epic journey jp
Exadata with persistent memory an epic journey jp
 
RDMA for Windows Server 2012
RDMA for Windows Server 2012RDMA for Windows Server 2012
RDMA for Windows Server 2012
 
オラクルのHPC/GPUソリューションご紹介(2021/08版)
オラクルのHPC/GPUソリューションご紹介(2021/08版)オラクルのHPC/GPUソリューションご紹介(2021/08版)
オラクルのHPC/GPUソリューションご紹介(2021/08版)
 
[Cyber HPC Symposium 2019] Microsoft Azureによる、クラウド時代のハイパフォーマンスコンピューティング High...
[Cyber HPC Symposium 2019]  Microsoft Azureによる、クラウド時代のハイパフォーマンスコンピューティング High...[Cyber HPC Symposium 2019]  Microsoft Azureによる、クラウド時代のハイパフォーマンスコンピューティング High...
[Cyber HPC Symposium 2019] Microsoft Azureによる、クラウド時代のハイパフォーマンスコンピューティング High...
 
HPC 的に H100 は魅力的な GPU なのか?
HPC 的に H100 は魅力的な GPU なのか?HPC 的に H100 は魅力的な GPU なのか?
HPC 的に H100 は魅力的な GPU なのか?
 
第11回ACRiウェビナー_東工大/坂本先生ご講演資料
第11回ACRiウェビナー_東工大/坂本先生ご講演資料第11回ACRiウェビナー_東工大/坂本先生ご講演資料
第11回ACRiウェビナー_東工大/坂本先生ご講演資料
 
[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...
[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...
[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...
 
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)
 
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)
B 8スポンサー講演資料 osnexus steven umbehocker (アファーム・ビジネスパートナーズ株)
 
Open stack reference architecture v1 2
Open stack reference architecture v1 2Open stack reference architecture v1 2
Open stack reference architecture v1 2
 
GPUアクセラレータと不揮発性メモリを考慮したI/O性能の予備評価
GPUアクセラレータと不揮発性メモリを考慮したI/O性能の予備評価GPUアクセラレータと不揮発性メモリを考慮したI/O性能の予備評価
GPUアクセラレータと不揮発性メモリを考慮したI/O性能の予備評価
 
[INSIGHT OUT 2011] B32 open hardwareの夜明け pci express 3・infiniband fdrの登場(yama...
[INSIGHT OUT 2011] B32 open hardwareの夜明け pci express 3・infiniband fdrの登場(yama...[INSIGHT OUT 2011] B32 open hardwareの夜明け pci express 3・infiniband fdrの登場(yama...
[INSIGHT OUT 2011] B32 open hardwareの夜明け pci express 3・infiniband fdrの登場(yama...
 
インテルが考える次世代ファブリック
インテルが考える次世代ファブリックインテルが考える次世代ファブリック
インテルが考える次世代ファブリック
 
Dell emc highperformancevirtualinfracommunitymeetup_20180621publish
Dell emc highperformancevirtualinfracommunitymeetup_20180621publishDell emc highperformancevirtualinfracommunitymeetup_20180621publish
Dell emc highperformancevirtualinfracommunitymeetup_20180621publish
 
Snr005 レノボだから実現
Snr005 レノボだから実現Snr005 レノボだから実現
Snr005 レノボだから実現
 
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
SQL Server 使いのための Azure Synapse Analytics - Spark 入門SQL Server 使いのための Azure Synapse Analytics - Spark 入門
SQL Server 使いのための Azure Synapse Analytics - Spark 入門
 
Java EE7 䛸㻌JCache 
Java EE7 䛸㻌JCache Java EE7 䛸㻌JCache 
Java EE7 䛸㻌JCache 
 
Oracle Database / Exadata Cloud 技術情報(Oracle Cloudウェビナーシリーズ: 2020年7月9日)
Oracle Database / Exadata Cloud 技術情報(Oracle Cloudウェビナーシリーズ: 2020年7月9日)Oracle Database / Exadata Cloud 技術情報(Oracle Cloudウェビナーシリーズ: 2020年7月9日)
Oracle Database / Exadata Cloud 技術情報(Oracle Cloudウェビナーシリーズ: 2020年7月9日)
 
ASPLOS2017: Building Durable Transactions with Decoupling for Persistent Memory
ASPLOS2017: Building Durable Transactions with Decoupling for Persistent MemoryASPLOS2017: Building Durable Transactions with Decoupling for Persistent Memory
ASPLOS2017: Building Durable Transactions with Decoupling for Persistent Memory
 
データ爆発時代のネットワークインフラ
データ爆発時代のネットワークインフラデータ爆発時代のネットワークインフラ
データ爆発時代のネットワークインフラ
 

Mais de Atsushi Suzuki

Surface3 などから 利用する Azure 仮想ネットワーク上での IncrediBuild 高速並列ビルド
Surface3 などから利用する Azure 仮想ネットワーク上での IncrediBuild 高速並列ビルドSurface3 などから利用する Azure 仮想ネットワーク上での IncrediBuild 高速並列ビルド
Surface3 などから 利用する Azure 仮想ネットワーク上での IncrediBuild 高速並列ビルドAtsushi Suzuki
 
Solarflare SolarCapture - 10Gbイーサネットパケットキャプチャソフトウェア リリース
Solarflare SolarCapture - 10Gbイーサネットパケットキャプチャソフトウェア リリースSolarflare SolarCapture - 10Gbイーサネットパケットキャプチャソフトウェア リリース
Solarflare SolarCapture - 10Gbイーサネットパケットキャプチャソフトウェア リリースAtsushi Suzuki
 
Mellanox イーサネット SwitchX-2 SX1012/1016/1024/1036 製品情報とキャンペーン
Mellanox イーサネット SwitchX-2 SX1012/1016/1024/1036 製品情報とキャンペーンMellanox イーサネット SwitchX-2 SX1012/1016/1024/1036 製品情報とキャンペーン
Mellanox イーサネット SwitchX-2 SX1012/1016/1024/1036 製品情報とキャンペーンAtsushi Suzuki
 
BOSTON Viridis ARMサーバークラスター製品へのAllinea DDT/MAP対応と次世代機の性能について
BOSTON Viridis ARMサーバークラスター製品へのAllinea DDT/MAP対応と次世代機の性能についてBOSTON Viridis ARMサーバークラスター製品へのAllinea DDT/MAP対応と次世代機の性能について
BOSTON Viridis ARMサーバークラスター製品へのAllinea DDT/MAP対応と次世代機の性能についてAtsushi Suzuki
 
低遅延10Gb EthernetによるGPUクラスタの構築と性能向上手法について
低遅延10Gb EthernetによるGPUクラスタの構築と性能向上手法について低遅延10Gb EthernetによるGPUクラスタの構築と性能向上手法について
低遅延10Gb EthernetによるGPUクラスタの構築と性能向上手法についてAtsushi Suzuki
 
Solarflare Server Adapter and OpenOnload solutions - Japanese
Solarflare Server Adapter and OpenOnload solutions - JapaneseSolarflare Server Adapter and OpenOnload solutions - Japanese
Solarflare Server Adapter and OpenOnload solutions - JapaneseAtsushi Suzuki
 
Solarflare Application Onload Engine and University Program - Japanese
Solarflare Application Onload Engine and University Program - JapaneseSolarflare Application Onload Engine and University Program - Japanese
Solarflare Application Onload Engine and University Program - JapaneseAtsushi Suzuki
 

Mais de Atsushi Suzuki (7)

Surface3 などから 利用する Azure 仮想ネットワーク上での IncrediBuild 高速並列ビルド
Surface3 などから利用する Azure 仮想ネットワーク上での IncrediBuild 高速並列ビルドSurface3 などから利用する Azure 仮想ネットワーク上での IncrediBuild 高速並列ビルド
Surface3 などから 利用する Azure 仮想ネットワーク上での IncrediBuild 高速並列ビルド
 
Solarflare SolarCapture - 10Gbイーサネットパケットキャプチャソフトウェア リリース
Solarflare SolarCapture - 10Gbイーサネットパケットキャプチャソフトウェア リリースSolarflare SolarCapture - 10Gbイーサネットパケットキャプチャソフトウェア リリース
Solarflare SolarCapture - 10Gbイーサネットパケットキャプチャソフトウェア リリース
 
Mellanox イーサネット SwitchX-2 SX1012/1016/1024/1036 製品情報とキャンペーン
Mellanox イーサネット SwitchX-2 SX1012/1016/1024/1036 製品情報とキャンペーンMellanox イーサネット SwitchX-2 SX1012/1016/1024/1036 製品情報とキャンペーン
Mellanox イーサネット SwitchX-2 SX1012/1016/1024/1036 製品情報とキャンペーン
 
BOSTON Viridis ARMサーバークラスター製品へのAllinea DDT/MAP対応と次世代機の性能について
BOSTON Viridis ARMサーバークラスター製品へのAllinea DDT/MAP対応と次世代機の性能についてBOSTON Viridis ARMサーバークラスター製品へのAllinea DDT/MAP対応と次世代機の性能について
BOSTON Viridis ARMサーバークラスター製品へのAllinea DDT/MAP対応と次世代機の性能について
 
低遅延10Gb EthernetによるGPUクラスタの構築と性能向上手法について
低遅延10Gb EthernetによるGPUクラスタの構築と性能向上手法について低遅延10Gb EthernetによるGPUクラスタの構築と性能向上手法について
低遅延10Gb EthernetによるGPUクラスタの構築と性能向上手法について
 
Solarflare Server Adapter and OpenOnload solutions - Japanese
Solarflare Server Adapter and OpenOnload solutions - JapaneseSolarflare Server Adapter and OpenOnload solutions - Japanese
Solarflare Server Adapter and OpenOnload solutions - Japanese
 
Solarflare Application Onload Engine and University Program - Japanese
Solarflare Application Onload Engine and University Program - JapaneseSolarflare Application Onload Engine and University Program - Japanese
Solarflare Application Onload Engine and University Program - Japanese
 

BOSTON Viridis for Hadoop by ELSA Japan

  • 2. BOSTON Viridis • Boston Viridis – 電⼒効率に⾮常に優れたサーバーの誕⽣ – Calxeda EnergyCore プロセッサーを採⽤ • 1枚のサーバーモジュールに4基のEnergyCoreプロセッサを搭載 • 2Uサイズのサーバー筐体に48基のEnergyCoreプロセッサを集約 – 192 コア – 各EnergyCore SoCには4GBまでのDRAMを接続可能 • Cortex A9プロセッサによる制約 • 各SoCを単機能に専⽤化することにより 各コンポーネントが必要なメモリ量だけ に節約でき, OSのメモリ消費量も削減 できるため,制約を極⼩化可能。 • Cortex A15プロセッサではメモリ空間が 1TBまで拡⼤。 CALXEDA-BOSTONもCortex A15 対応モデルをリリース(2013 1Q末予定)
  • 3. BOSTON Viridis for Hadoop • Hadoopアプライアンス – オープンソースによるデータ集中 型分散アプリケーションには, Viridisサーバーが適しています • Apache Hadoopをプレインストー ルしたクラスターサーバーを,繋 いで即使える状態で提供します – ⾼いスケーラビリティを提供 – チューニングも可能です – 展開が容易になります • 数ペタバイトにも及ぶデータを低 消費電⼒のサーバにより利⽤可能 となります
  • 4. BOSTON Viridisが採⽤している Calxeda EnergyCore SoC のアーキテクチャ EnergyCoreTM プロセッサ複合体 Management Engine Cortex A9 4コア システム・電⼒・ファブリック 広帯域メモリコントローラ の最適化・管理機構 IPMI・DCMI準拠 I/Oコントローラ EnergyCoreTM Fabric Switch SATA 3Gb/s×5ch PCIe gen2 (x4 + x2 + x1)×4 ノード間遅延200ns以下 eMMC/MMC/SD controller トポロジーは透過的 10GbE controller ×3 OSは2ポートのNICを認識 最大消費電力 5W アイドル時消費電力 0.5W以下 (4GB DRAM搭載時)
  • 5. EnergyCoreのリファレンスプラットフォーム Calxeda EnergyCard 一枚の基盤に4基のEnergyCore SoCを搭載 消費電力20W バックボードに挿すだけ; 外部スイッチ不要 EnergyCoreTM 各SoC専用の 各SoCに供給するDRAM 4コアSoC 4ch SATA I/F 4GB ECC mini-DIMM 10Gb Ether Link ×8
  • 7. hadoop Framework • Hadoopは⼤きく分けて次の2つのシステムによって構成される – Hadoop Distributed File System • ⾃⼰修復機能のある広帯域クラスタストレージ – MapReduce • 分散・耐故障性のある,プログラムによるスケーラブルなデータ抽出機能 を持ったリソースの管理・スケジューリングシステム • 重要な性質 – Flexibility Hive Pig • いかなるデータも保管・解析可能 MapReduce HBase – Scalability • 1TB/3ノード〜数PB/数千ノード HDFSTM – Economics (Hadoop Distributed File System) • コストもまた線形にスケールする こと DISK DISK DISK DISK DISK DISK
  • 8. Hadoop Distributed File System HDFS Server Master node HDFS Client ZooKeeper ZooKeeper Name Nodes Data Nodes SATA接続ノード SATA不要ノード
  • 9. HBase ZooKeeper ZooKeeper HBase Client HDFS HMaster HRegion Servers Javaで構築されており ノード間はソケットで通信を行う
  • 10. Memcached Internet Internet Database Server Web Memcached Frontend Servers
  • 11. ApacheBench Results and Power Comparison Boston Viridis Intel Xeon E3- 1240 [1] Core Frequency 1.1 GHz 3.3 GHz CPU Coures 4 4 Total Requests 1,000,000 1,000,000 Requests per Second 5500 6950 Latency (Average) 9 ms 7 ms Power (Average)[2] 5.26 W 102 W[3] Performance/Watt Advantage 8-15X
  • 12. BOSTON Viridis による展開のメリット • 物理的仮想化 – ユーザごとに物理的なリソースを 専⽤に割り当て,QoSを保証可能 – ポリシーによるリソース割当も可 能 – 外部のスイッチ・負荷分散器・ SSLオフロードといったネットワ ークアプライアンスを節約可能 • 内蔵の分散ストレージ – 外部のストレージ専⽤アプライア ンスが不要に – 電源とネットワークのケーブルを 接続してスイッチを⼊れるだけで 即展開可能 • 低TCO – 装置全体の消費電⼒は300W以下 – 2Uサイズに最⼤48SoC/192コア
  • 13. ご⽤命は… • エルザジャパンにお問い合わせください。 – BOSTON製品の⽇本国内のVARです。 – HPC&システム事業部 (担当:鈴⽊) – Tel. (03) 5765-7391 – E-mail: hpc@elsa-jp.co.jp – URL: http://www.elsa-jp.co.jp • プレゼンテーション、デモ、および検証作業のご協⼒に伺 います。 – ターゲットアプリケーション、評価の規模などをあらかじめ教えて いただければ、BOSTONと連携し、最適な構成を⽤意して検証い ただけるようセットアップします。 – 技術的質問・改修のご要望など、BOSTONとのやりとりはすべて エルザジャパンにてご対応いたします。
  • 14. 14