2013年05月02日

日経Linux 2013年6月号に Opendedup (重複排除ファイルシステム)に関する記事を書きました

早いもので4回目。今月も何とか日経Linuxさんへ記事を寄稿することが出来ました。 今回ご紹介するのは重複するデータ・ブロックを管理・共有することで実際のストレージ使用量を削減してくれる Opendeup というファイル・システムです。

日経 Linux (リナックス) 2013年 06月号
 
ちなみに Opendedup はLinuxだけではなくWindowsでも楽しめますよ。

Opendedupの概要・特徴


重複データを重複するファイル・システムと言えばZFSが有名ですが、OpendedupもZFSと同様、ブロックと呼ばれるストレージへの読み込み/書き込みデータの最小単位に注目し、このデータ・ブロックのハッシュ値を使って複数のファイル間に存在する共通データ配列部分を共有することで実際のストレージ使用量を削減するファイル・システムです。

Opendesup Storage Engine Overview

要は、普段私達が取り扱っている文書、画像、映像などのデータ・ファイルは、ハードディスク上では細かく分割化して保存されており、この細分化された単位で見ると、全く同じものが複数存在するので実体として1つだけを保存し、後はそれを共有すれば保存スペースを節約出来るという訳です。

この他にも、Opendeupにはコア・エンジンがJavaで記述さており、比較的多くのプラットフォーム(OS)上で動作する、高速な書き込み(dedup)・読み込み(redup)性能を有する、クラウド・ストレージ(Amazon S3)をサポートするなどの特徴があります。

さて、皆さんが一番気になるのは、実際どの程度節約出来るの?、という点だと思いますが、Opendedupを使えば一般的なファイル保存用途で90~95%への圧縮(5~10%の重複排除)効果があります。 簡単に例えると、もし通常のファイル・システムで1TBのハードディスクを使い切った時、Opendedupを使っていれば、まだ50~100GBが空き容量として残っている計算になります。

さらに、重複する特性のあるデータ、例えばフル・バックアップやVMWareなどの仮想環境で利用するゲストOSのデータ保存用途であれば、非常に強力な重複排除効果を享受することが出来ます。

次に示すのはVMWareを使い、Opendedupファイル・システム上にゲストOSとしてWindows 7をインストールした場合のデータですが、1台目は 8.7 GB(重複排除率:26%)を消費しますが、2台目以降は 300 MB程度(重複排除率:95%)しか消費していません。

SDSF dedup VMWare Guest OS windows 7 data

ゲストOSの保存領域もOS・バージョンの種類が増えると馬鹿に出来ない量になりますが、これならストレージ・コストはゲストOSの数に比例しませんから助かりますね。
(ちなみに、一般的な用途ではChunkと呼ばれるデータ・ブロックのサイズは 128 KBが推奨・標準値ですが、仮想マシンの保存用途であれば 4 KBにするのが推奨値なので忘れずに設定下さい)

やっぱりZFSに興味があるなぁ、という人はこちらもどうぞ。

ZFS(zfs-fuse)のデータ重複排除機能は美味しいか?


日経Linux 6月号 記事(今!オススメのフリーソフト)の内容


さて、日経Linux 6月号(5月8日発売)の内容ですが、このOpendedupをUbuntu,CentOS/Red Hat Linuxへのインストールから始まり、重複排除ファイル・システムの作成(mkfs)、データの保存、重複排除ステータスの確認方法など一通りの手順を解説させて頂きました。

勿論、今回もOpendeup公式ドキュメントだけでは分からない・躓きやすい部分を日本語 Ubuntu環境を使って実践レポートしておりますので初心者の方には特にオススメです。

また、Opendeupはその高いパファーマンスとのトレード・オフとして多くのメモリを使用(標準でアプリケーションに2GBを設定)しますが、記事中では試用目的でも楽しめるよう、メモリ設定の変更方法・目安なども解説しております。

この他には別冊付録で”Libre Office4.0 徹底活用100選”なる冊子も付いているようでして、個人的にはこちらも楽しみ。
(僕もオフィスだけは100% 脱プロプライエタリ出来てないんですよねぇ・・・)


最後になりますが、来月号はお休みでして今後の予定も正確には決まっておりません。

netbuffalo 最後の寄稿になるかもしれない日経 Linux 2013年6月号(2013年5月8日発売)、是非お手に取ってお確かめ・ご購入下さい!


それでは、より良いLinuxライフを!


Ubuntu Server 実践バイブル 現場で即運用に役立つサービス設定のノウハウ
吉田史
アスキー・メディアワークス
売り上げランキング: 74,460

Posted by netbuffalo at 21:30│Comments(0)TrackBack(0) Linux | ユーティリティ


この記事へのトラックバックURL

コメントする

名前
 
  絵文字