【法人】データ重複排除｜ストレージ効率を高める重複データの削除

ビジネスでパソコンやNASを使用していると、日々重要なデータを保存するでしょう。

現代の企業にとっては、データ（情報）はまさに資源であり、日々生み出されるデータは迂闊に削除できないものとなりつつあります。

しかし、毎日データを蓄積していく過程で、データの重複が発生してしまうことがあります。

この記事では、ストレージ効率を高める「データ重複排除（De-duplication：デデュープリケーション）」という機能について解説します。

「データ重複」というと、もっともイメージしやすいのは全く同じデータが複数存在するという状況です。

同じデータがなぜ同じ環境内に複数存在するのか？と、疑問に思う方も多いでしょう。

しかし、データ重複は非常に起こりやすい事象です。

たとえば、ある企業の部署宛に、業務資料をメールに添付して送信したとします。

そうすると、その部署では各担当者が自分のパソコンに保存するでしょう。

このように、簡単に重複ファイルは生じてしまうのです。

元となるデータは重要ですが、重複データが多くなると、本来利用できたはずのストレージ領域が無駄に消費されてしまいます。

そのため、データ重複が簡単に生じるという認識と、重複したデータを排除することは非常に重要なのです。

データ重複排除には、主に以下の方法が用いられます。

・インライン重複排除
・ポストプロセス重複排除
・バックアップクライアントでの重複排除

それぞれ具体的に見ていきましょう。

インライン重複排除では、データが保存されるタイミングで重複排除処理が同時に実行されます。

インライン重複排除の機能は、ストレージ上のハードウェアで実行される処理と、メディアサーバーなどのソフトウェアで実行される処理の2つのパターンがあります。

いずれのパターンでも、書き込みの際にリアルタイムに重複排除処理が行われる点が特徴的です。

ハードウェア上で実行される場合、重複ファイルを保存することがなく排除されるため、容量が最小限で済みます。

反面、ストレージへの書き込みに時間を要するという特徴があります。

メディアサーバー上で実行する場合には、メディアサーバーのソフトウェアで実行されるため、他のサーバーに負荷をかけにくいという特徴があります。

ポストプロセス重複排除は、バックアップデータが一度ストレージに格納された際に、重複排除処理が実行されます。

この方式は、インライン重複排除と比べてストレージへの書き込み速度低下を防ぐ効果があります。

反面、重複ファイルにおいても一度ストレージへ書き込みを行ってから重複排除を行うという特性上、余分なストレージ消費を見込んで大容量のストレージ領域を確保しておく必要がある点に注意が必要です。

バックアップクライアント（バックアップソフトウェア）による重複排除は、重複排除を実行してからバックアップデータを書き込みます。

バックアップソフトウェアでデータ重複排除を実行できると、ストレージへの書き込みが最小限にできるほか、別のサーバーへの送信も最小限で済みます。

ストレージの余分な領域や書き込み時間を必要としない点が大きなメリットです。

反面、バックアップクライアントを実行しているサーバーのCPUやメモリーなどのリソースを消費するため、重複排除を実行するサーバーの構成に注意が必要です。

ユーザーの認識では、データ重複排除というと、どうしても「ファイル単位」でのデータ重複をイメージするかもしれません。

たとえば同じ写真や同じ音声ファイルなどが良い例です。

もちろん、ファイル単位でのデータ重複排除も含みます。

しかし、ファイル単位ではなく、ファイルの構成要素であるブロック単位に分割して重複を判定する方法もあります。

この「重複の判定」は、データ重複排除を行う際の非常に重要な注意点です。

ファイルの重複判定はイメージしやすいですが、ブロックのデータ重複判定は、固定長ブロック単位・可変長ブロック単位などの方式で判定されます。

ファイルの途中にデータが追加された場合が理解しやすい差異で、固定長ブロック単位の場合はデータが追加されると、追加された部分以降は元データとズレが生じるため、別データとして扱われてしまいます。

この方式は、ファイルシステムなどで採用されます。

一方、可変長ブロック単位の方式では、途中でデータが追加されたとしても、元データの該当部分と照らし合わせて調整し、以降のデータの切り分け範囲を合わせます。

そうすることで、元データと適切に比較でき、追加部分以降を重複と判定できるのです。

バックアップではこの可変長ブロック単位のデータ重複判定が主に用いられます。

QNAP NASでは、これまで主にQTSと呼ばれるOSが採用されてきました。

QTSそのものにはデータ重複排除の機能はありませんが、QTS上で動作するバックアップソフトウェア「HBS3」には、重複排除バックアップの機能があります。

これはQNAP独自の機能である「QuDedup」によるもので、バックアップ時に重複ファイルを排除することにより、バックアップの効率化とバックアップによるストレージの占有を最小化します。

また、OSレベルでデータ重複排除ができる場合もあります。

2020年にリリースされた「QuTS hero」は、データ重複排除を取り入れた新たなOSです。

QuTS heroでは、インライン重複排除、インライン圧縮などによって、NASのストレージを効率的に活用できます。

データ重複排除機能を備えたNASの導入を検討している企業の方は、QuTS hero 搭載のQNAP NASモデルを検討してみてはいかがでしょうか。

QuTS hero搭載NASモデルは、以下のページからご確認ください。
QuTS hero NAS – 高い信頼性を誇る ZFS ストレージソリューションのための優れた選択

この記事では、NASなどのデータ管理における重要ポイント、データ重複排除について解説しました。

データ重複は、日々のデータ保存の中で容易に生じます。

そして、データ重複排除を行わなければ、ストレージを大量に消費してしまいます。

重要なデータを保存する領域を効率的に運用するためにも、データ重複排除は真剣に検討するべきポイントでしょう。

データ重複排除の方策や概要の把握を行う際に、この記事を参考にしてみてください。

QNAPは台湾のネットワーク機器専業メーカーで、世界28カ国で展開するグローバル企業です。IT機器の専門商社で、QNAPの正規代理店でもあるテックウインドは、豊富なノウハウを基に的確なモデル・構成のご提案をいたします。

NAS導入をお考えの法人様のお見積り・ご相談を承っております。
ぜひお気軽にお問い合わせください。

QNAP製品や特長のご紹介ページはこちら