【ASK the Expert（翻訳版）】EMC Isilon Scale-out Data Lake

Jim_Cahill

Data lake って僕には初めて・・・業界にあった、というか特にIsilon scale-out NASという観点から説明してくれるかな。。

MRWA　

やあ Jim, 【 Data Lake】に関する white paper が昨日出ているのを見つけたよ。
これが役に立つといいけど。

Isilon scale-out Data Lake (white paper)　
https://community.emc.com/docs/DOC-36471　

-Michaelより

nick_kirsch                   

Jim,

(僕のRSVP　スレッドからのコピペなんだけど・・）

遅れて申し訳ない、韓国でのメガランチが終わったばかりで。。。Data Lake は 複数のApplication、Workloadsをシームレスに
活用するためのshared storage 機能といったところかな・・・・

Scale-Out data lakeにおいての一番のポイントはそのままのData （unstructured data）のscalable storage infrastructureであり、そしてそのDataに対してシームレスなシェアアクセスをNFS, SMB (Windows), FTP/HTTP, HDFS (Hadoop)を介して可能にすることです。これはとてもパワフルなアクセスの方法であり、既存のDataアクセス、またData への影響が一番少ないやり方になります。

またIsilon　Data Lake の追加の利点としてエンタープライズ系の機能が実装されているということもあげられます。
たとえばHadoopでのSecureなMulti-tenancy 、またOpenstack Swift ObjectとNFS間でのDedupe、そして同じファイルへのマルチプロトコルからの同時アクセスへのパフォーマンスなども挙げられます。

もっともっといい点というのはあるけれど止まらなくなりそう。。。

Nick

   lnicholes

やあ Nick!

Isilon advancements in Data Lake infrastructure（今回のIsilonのDataLake）はHDFS,そしてOpenstack Swift のような

一定ではないData をどんどん取り込んでいくようだけどそれによって安全性の問題といったものは

出てこないの？Isilonの機能としてこれらの分野にどう対応していくのか教えて。

nick_kirsch  

やあ、

Isilonの素晴らしい点として,複合されたData（FS)の環境でそれぞれに適切な安全性を提供出来ることだよ。

もちろん話に上がっているNext GenのHDFSやOpenStack Swiftに対してもね・・

この意味はADやLDAP・Kerberos,NISなどのすでに認められている認証システムがきちんとIsilonシステムでも

導入可能でしかもきちんと動作している、ということだ。そしてHDFS/SwiftでのPermissionレベルとNFS/SMBはきちんとシェアされているということになる。

くわえてIsilon OneFSはmulti-tenancyをサポートして暗号化（SEDとローカルKey経由）も可能なので安心してそのような環境が構築できるようになっている。

この方法だとApplicationやWorkLoadsの拡大を簡単にし、プランニングを簡単にする、しかし特化すべきはセキュリティーアドミンへの負荷が格段に下がるってことだ。。

Nick

@nkirsch

mhiers

OneFS 7.1.1 の新しい機能を教えて。。。

それがどのようにこのDataLakeで泳いだり、沈んだりするのに役にたつのか。

nick_kirsch

あんまり泳ぎはうまくないんだけど、OneFSはスピードボートにもなるし、貨物船なる、そして

豪華客船にもね！

OneFS 7.1.1の新しい特徴＞＞

1) Performance! 7.1.1はIOpsとthroughputへのBoostを含んでおりこれらの改良は既存のプラットフォームにも

適応されるが新しいS210と X410などのflagship製品とMixされると一番の機能を発揮する

2) SmartFlash -Read Cacheへの機能強化。それによりscale-out CPUへの相乗効果、もまたネットワーク経由での

パフォーマンスの高速化も期待できる。SmartFlashも新旧両方のClusterで実装可能

3) New access methods!

リリースされた7.1.1のSMB multi-channelではsingle-streamのapplicationへのスループットに対しての

Boostを含み、４K ストリーミングを超えることも可能。またMegaランチの一環としてHDFS2.2とOpenStack Swiftのサポート

も開始

また一番のお知らせとしてはOneFS 7.1.0 から7.1.1へのrolling upgradeがなんと無料で提供されるということ。

このリリースでどんなビジネスのインパクトが波及するのか楽しみだね！

Thanks!

Nick

@nkirsch

Peter_Sero

既存のプラットフォームでのパフォーマンスについて教えてほしい。（SmartFlash, NDMPなどの新機能をぬきにして）

結構なんかあるかなと期待していたんだけど。

Waikiki Preview ATE ではAutoBalanceとMultiScanに関するパフォーマンスだったけどAutoBalanceの機能は向上したのだろうか。

   nick_kirsch

Peter,

7.1.1のBSD配下でのOneFSのパフォーマンステスト結果はたくさんあるよ。

たとえば

1) 新OSのスケジューラーはWestmereのNUMAとSMTやIvy Bridge CPUsの機能をもっと活用できるようになった

2)journalからdiskへのData Transf の性能向上のためにNVRAM journal softwareのチューニングを実施

3) diskの安定性をはかるためdisk schedulerでのIOsの優先化を実施

4) Node （L1 Cache）またL2 Cacheからのプリフェチ向上のためのRead Path の最適化

5)multi-threadingへの機能向上化

AutoBalanceでの大きな機能向上は無かったけれどもFlexProtectでの変更はあった。これはprefetchでの機能向上で、

特に FlexProtectまた、AutoBalanceでの向上を促している。

Nick

@nkirsch

   jeenak

お客様にとってはOneFSAPIのAutomated Config task を使うことによってどれくらいの利点がある？

   nick_kirsch

たぶん OneFS APIについてのCan もしくは Cannot do をシェアしたほうがいいかもね。

OneFS API はIsilonのほとんどをそのインターフェイスでカバ―してる。

Taskのカバー力は簡単なものであればprovisioning SMB/NFS sharesからちょいと複雑なものまで、ディレクトリごとの管理やSmartPool file のプロファイルの管理などといったこともできる。加えてDirectry作成時のアクセス方法や権限、といったものも管理できる。

Isilonのお客様たちがエンドユーザーのためにself-service portalを使って構築しているのを見るととてもうれしいよ。

reference guide ならあるから興味があればいって！

どんなのをつくる？

Nick

@nkirsch

shellies

SmartFlash でのパフォーマンスについて教えて。またGNSとの絡みについても・・

nick_kirsch

パフォーマンス向上の話というのは大体が落とし穴だったりするんだが、僕ができるbestの回答をするね・・・・

raw performance の観点から・・・・

ReadRequestが7ミリセカンドから20ナノセカンドに向上、30倍の速さだね。。単純には。

だからSmartFlashの価値をDisk対Flashで比べてはいけないんだ、どっちかっていうとApplicationWorking セットがどれだけそのクラスタ内で

機能するか。キャッシュでうまく動くか、が問題なんだよ。だからSmartFlashでIsilonUserがもっとコストパフォーマンスの恩恵を受けられるようにって考えているよ。

それとGNA（global namespace acceleration）とのからみだけど　シンプルにRead Cacheにおけるflashの meta-data accelerationについてのみ話すよ。

SmartFlashはreadのみ有効だけどMeta Data もData も両方含めて効果がてきめんだ。けどMeta-data Accelerationは reads ・ writesに効果を発揮するけどDataのみの範囲に限られる。

Userの使用用途によって選択肢が変わると思うがそれぞれに便利なToolであることは確かだよ。

これらは使用用途が違うしInsightQのような素晴らしいツールもあるのでWitePaperで確認して環境にあった選択をしてほしいな・・・

Nick

@nkirsch

peglarr

Nick、

おそらくさっきの話は200マイクロセカンドだよね。。そうしないと30倍の計算にはならん。。。200ナノセカンドだと

30.000になっちゃうんだけど。。。

   smurlidhar

DataLakeでの推奨のバックアップ方法はNDMPもしくはCloud back-up?

   nick_kirsch

Backup!

バックアップ！

そうだね、、僕の大好きな話題の一つだ！

幅広いIsilonのUserは大体先々をみこして環境を整えている。まずOneFSは業界では最先端の故障耐性を持っている。そしてUserはその特性を生かしてSnapshotIQで限りないLocalCopyを手にすることができるんだ。

SyncIQは2代目のIsilonとともに活用されることが多いね。ま、DRサイトとしても、またバックアップサイトとしても何かあったときにビジネスをもとに戻すのが目的。SyncIQのユニークなデザインはSecondarySiteをFailOver サイトにもできるしProduction サイトにもできる。たとえそれらが違うハードウェア であっても、またOneFS のバージョンが違っても可能だよ。

そして、 クラシックなNDMP backupを採用することもできるんだ。2通りでも3通りでもバックアップソフトウェアを導入することも

可能なんだ。（バックアップソフトウェア。。。EMC Networker, CommVault Simpana, またはSymantec NetBackup）

A full spectrum of フルオンでの"backup" の選択とすれば、、、たとえばSyncIQ でDataをSec Siteへ送りそのあとSnapshotIQもしくはNDMPとかが考えられるねえ・・・

それとこれらはどんなプロトコルでもサポートしてるってことを言ってなかったね。。。

NFS, SMB, HDFS, or Swif

すごいでしょ！

Nick

@nkirsch

   smurlidhar

Isilon scale-out data lakeでおそらく言われてることだろうけれども。。。Data 移行や統合におけるコスト、そしてそのむずかしさをどうIsilonを使っていないお客様に話しているの？

   nick_kirsch

Isilon スケールアウト data lakeではマイグレーションや適応には「コストと煩雑性」が付きまとう。これはあからさまに今までのシステムとは

違う。しかし例外なくNASからでもHDFSからでも　OneFSへのマイグレーションは難しい。

しかしOneFSには built in toolがあり、ほかの代表的なFSからOneFSのようなハイパフォーマンスのFSへのマイグレーション時にある程度の転送速度を与えることが可能だとは思う。。。（ソースFSが圧倒されなければ。。。）

もちろんEMC　IsilonはToolやDocumentだけでなくアクセスプランやマイグレーションのプランもできる優れたサービスだけどね。

   RobertoAraujo

これでAsk The Expertは終わりです。参加してくれた皆さん、どうもありがとう！