ニュースレターNo.73/2019年11月発行

DCI (Data Center Interconnection)とは

1 はじめに

DCIとは、「データセンター間接続(Data Center Interconnection)」の略称で、新しい技術要素のキーワードやサービスというより、普通名詞的なキーワードです。

「データセンター間接続」というと、データセンター事業者や通信事業者以外にとっては無関係と思われがちですが、最近では、データセンターを利用するユーザーが自前で、 DCIのシステムを構築するケースも増えてきています。 DCIを自前で構築するのは技術的に敷居が高いと思われていましたが、光伝送技術のコモディティ化により、その難易度は下がってきています。データセンターの提供事業者だけでなく、データセンターのユーザーにとっても、 DCIについての理解を深めることで、自前でDCIを構築することが十分に現実的になってきています。

このコーナーでは、このようなDCIの技術や利用のトレンドについて解説させていただきます。

2 DCIの必要性とデータセンターのRegional Design

なぜ、DCIが注目されるのでしょうか？　何よりも、複数箇所のデータセンターを利用する、 Regional Designの概念が普及してきたことが挙げられます。インターネットの規模拡大と共に、複数箇所のデータセンターを所有しサービスを提供するデータセンター事業者も増えています。一方で、データセンターを利用する事業者も、サービス・インフラが小規模である場合には単一のデータセンターのみを利用することがほとんどでしたが、規模が大きくなると複数のデータセンター利用が当たり前になってきています。

そもそもデータセンターにとって、データセンター拠点の分散は宿命とも言えるものです。データセンターの電源に関係したシステム、受変電のシステム、無停電の電源システム、空調システムなどは、設計・構築時に最大容量が規定され、建築後の修正は現実的にほぼ不可能になります。将来に備えて数倍の容量を確保するために設計をしておくことは、コストという意味で現実的ではなく、データセンターはスケールアップが困難な存在なのです。

データセンターは、電源・空調・通信・セキュリティなどで堅牢なファシリティを提供しています。とはいえ、いかに堅牢に作ろうとも、障害の確率をまったくゼロにすることはできません。自社のデータセンターを持ちながら大規模な運用を行っているクラウド事業者も、年単位で見るとまれには障害が発生しているのが実情です。このような大規模なインフラ障害に備えるための障害対策としては、データセンターそのものを分割する以外に方法はありません。大規模クラウド事業者などは、 Single Point of Failure(単一障害点)を避ける意味で、データセンターの複数拠点利用を行っています。

このように、データセンターやクラウドを利用してサービスを構築する際には、 Regional Designという設計概念は避けて通れないものになっています。そして、データセンターの拠点分散のためにはデータセンター間のネットワーク接続が必須であり、 DCIの必要性はいやがおうでも高まっているのです。

3 DCIの種類

DCIは、サービスとして購入する場合と自前でシステムを構築する場合とに、大きく二分することができます。

データセンターによっては、コモン・キャリア(以下、キャリア)そのものが営んでいるケースも数多くあるのですが、この場合、 DCIのサービスとしてはキャリアの提供するサービスしか選択することができず、ユーザーの自由度が限られることが多いようです。

データセンター事業者は、キャリアのサービスを利用して、再販としてユーザーにDCIサービスを提供している場合もありますし、データセンター自身がDCIのシステムを構築して、ユーザーに提供している場合もあります。

キャリア以外が営むデータセンターでは、「キャリア・ニュートラル」というポリシーを採用して、複数の通信事業者が提供するサービスの中から、 DCIのサービスを選ぶことができるようにしているケースが見受けられます。この場合、ユーザーは、サービスの内容などが競合している事業者から選択することができ、相見積もりをとることなどにより価格的に有利なDCIサービスを利用することができます。

キャリアが提供する多くのDCI用サービスは、データセンター内で提供されるということ以外は、データセンター以外の場所で提供されるデータ通信サービスと大きくは変わるものではありません。ただ、データセンターでは多くの通信サービスのニーズがあるので、キャリアもあらかじめ多くの光ファイバを事前に引き込み、回線収容用のシステムを設置している場合があり、他の場所での提供と比較すると、短納期でサービスが提供されることが多いようです。

4 DCIの自社構築

近年、 OTT (Over The Top)と呼ばれる世界的に展開しているコンテンツ提供事業者など、コンテンツサービスを提供する大規模な事業者では、 DCIを自前で構築する例が拡がっています。日本国内の事業者でも、特に大きなトラフィックを生成するような、動画サービス・ECサービスの事業者などが自前でDCIを構築するケースが増えています。

データセンターのユーザーが、 DCIを自前で構築する理由は何なのでしょうか？　一般的に、キャリアなどの通信事業者が提供するDCIサービスは高価になりがちで、ユーザーがコストダウンのためにDCIの自社構築を行うケースがあります。

通信事業者がサービスとしての専用線を構築して、中断無くサービスを提供し続けようとした場合、安全のための保護システム(プロテクション)を複数箇所で導入する必要があります。例えば、バックボーンの光ファイバでの障害を考え、バックボーンは、 West-Eastという異なる冗長経路を準備し、自動的に切り替えるシステムを導入しています。また、ユーザーへサービスを提供するインタフェースの故障に備えて冗長化を行う場合もあります。また、通信事業者が提供する回線サービスの場合、多くの顧客のニーズにサービスを適合させるために、導入する装置も幅広い仕様をカバーする必要があります。もちろん、通信事業者においては、設備投資の量的なコストメリットも生じますが、それ以上に回線のプロテクションなどを行うためのシステムは、 1回線あたり設備投資を押し上げるのです。

では、データセンター事業者やコンテンツ提供事業者が自社のためだけに、 DCIを構築するときには何が異なってくるのでしょう？　コンテンツ提供事業者は、そもそもサーバという非常に故障が多いコンポーネントを、複数組み合わせてサービスを提供しています。そのため、これらの事業者においては、システム個別のコンポーネントに関する耐障害性を高めるよりも、ソフトウエアなどアプリケーション層で、システム全体を冗長化しようとする考え方が根底に存在します。そもそも、通信事業者からデータセンター間の回線提供を受けたユーザーは、サービスが停止してしまう可能性を考慮しているため、必ず別のレイヤでのプロテクションを導入しています。例えば、レイヤ2でLAG (Link Aggregation Group)やメーカ独自のプロトコルを利用したり、レイヤ3で各種のルーティングプロトコルによって回線障害の回避を行ったりしています。つまり、レイヤ1での冗長化がそもそも不要なことが多いのです。そこで、DCIを自社構築した場合、レイヤ1のプロテクションなどに関するシステムやパーツを排除することができ、より安価に構築することが可能になるのです。

5 DCIで利用される光の波長：Cバンドの特徴

本節と次節では、DCIの詳細に触れる前に必要な、光伝送に関する基礎知識を解説します。

光は電磁波、つまり波です。単純な波の特徴を表すのは、振幅(強度)と1秒間あたりの振動数(もしくは波長)です。私達が電気通信で利用する光は、主に波長が800nm～1,650nm(1nmは、 10^-9m)の範囲の光、いわゆる赤外線にあたる範囲の光です^※1。

※1 可視光は、おおよそ400nm～800nmの波長の光です。

光ファイバを用いた光通信を行う場合に、主に気にしなければならないのは減衰です。減衰における主要な影響は、伝送損失と接続点損失です。データセンター構内のような短い距離の通信では、機器や配線システムのコネクタ部での接続点損失に留意すれば良かったのですが、 DCIでは距離による伝送損失をも考慮する必要があります。

伝送損失の原因は、光ファイバ中を進む光が、ガラス媒質により吸収されたり散乱したりすることで生じる現象です。光はガラス媒質中を進むに従って指数的に強度が弱くなり、この減衰の影響は光の波長によって異なってきます。光ファイバ中の減衰は、レイリー散乱という「より青い光はよく散乱される」効果により、波長の短い光がより減衰が大きくなる効果があります。また、これと同時に、「より波長が長い赤外線は熱として吸収されやすい」効果があり、光ファイバ中で吸収により減衰が生じます。これらの両者の減衰を合わせた効果が最小になるのが1,550nm前後の光です。この1,550nmの波長帯(1,530nm～1565nm)はCバンドと呼ばれ、光ファイバの距離あたりの減衰が最小になることから、長距離通信やDCIに最もよく利用されています。

6 DCI伝送技術の基礎：WDM

長距離通信のために利用される光源は、波長が単一のレーザー光です。単一波長の光は、(後述する)合波分波器を利用することにより、送信元の複数波長の光を合波し、1芯の光ファイバで送信して、送信先で分波し利用することができます。この技術はWDM (Wavelength Division Multiplexer)と呼ばれ、多数の回線を少ない芯数の光ファイバで送信することを可能にします。

WDMで利用される光の波長は、ITU-Tにおいて標準化されており、その波長はチャネルと呼ばれています。その方式には、波長の間隔が広いC-WDM (Coarse WDM)と、波長の間隔が細かいD-WDM (Dense WDM)があります。一昔前は、 C-WDMの方がD-WDMと比較して精度が不要なために安価でしたが、 D-WDM関連の製造技術が進展したことにより、今では、D-WDMも変わらないコストになってきています。このため、市場ではチャネル数が多いD-WDMの方が優勢になっており、 DCIでもCバンドのD-WDMが利用されています。

D-WDMのチャネルは、ITU-T G.694.1で定められており、周波数193.1THzの光(すなわち、1,552.52nmの波長の光)の前後で、等しい周波数間隔でグリッドが定められています。 ITU-Tでは、12.5GHz間隔、25GHz間隔、50GHz間隔、 100GHz間隔までのグリッドが定義されています。 50GHzグリッドの場合、Cバンドの中で最大96チャネルが利用でき、 100GHzグリッドの場合は48チャネルが利用できます。 2019年10月現在、100GHzグリッドの製品群が、最も入手性が良好な状況です^※2。

※2 D-WDMのチャネルは、波長ではなく周波数で表現されます。ここでの「100GHz」は光の周波数の間隔であり、伝送できる信号速度の100Gbpsとは異なる概念であることに注意してください。 100GHzグリッドでの一つのチャネル間隔は、波長で言えばおおよそ0.7nmです。

CバンドのD-WDMは、EDFA (Erbium Doped Fiber Amplifier)という光増幅器を利用することができるのが大きなメリットです。 EDFAは、長距離を伝送して減衰した光信号を、複数の波長をそのまま一括で増幅することができる、非常に便利なデバイスです。 EDFAは、もともと大陸間の海底ケーブルなどで利用されるような技術でしたが、専用のWDM装置のモジュールに実装されるもの以外の選択肢も増え、 1RU (Rack Unit)サイズ程度の箱に収めたものが、同じサイズのスイッチ程度の値段で購入することができます。

7 DCI構築に必要なもの：ダークファイバ

DCIを構築するために必要なものは、基本的には、ダークファイバと伝送装置です。本節では、これらのうちダークファイバについて、次節では伝送装置について解説します。

通信事業者は、光ファイバを拠点から拠点に準備します。通常、通信事業者の回線サービスでは、何らかの光デバイスのインタフェースが介在しており、ユーザーは通信事業者のサービスで決められた信号方式でしか通信することができません。

これに対して、これらの通信事業者のインタフェースが介在しない、「光ファイバをそのまま提供」された光回線は「ダークファイバ」と呼ばれています。ダークファイバを利用することで、利用する信号方式や両端のインタフェースを「自由に」選ぶことができます。ダークファイバを利用することにより、自社にあった効率的な装置を導入することができるようになります。ダークファイバは付加価値が付けられる前の、いわば素材ですので、これを利用した方が通信コストを下げることができます。もちろん、ダークファイバも良いことばかりではありません。回線の距離や品質などの状況に応じたデバイスを利用したり、障害時に自動的に切り替わるようなシステムを構築したりするのは、ユーザー側の責任になります。とはいえ、ダークファイバを利用することには、これらのデメリットを合わせてもあまりあるメリットがあり、大手のプロバイダー、そして、データセンター、コンテンツ提供事業者などから、その利用は拡大しています。

ダークファイバの入手方法には、海外でのOTT事業者のように自前で掘削し敷設する、という選択肢もありますが、日本国内においては光ファイバを所有している事業者から借りるのが、現実的で一般的です。ダークファイバの提供元としては主に通信事業者があり、ほかには電力・水道・ガス・鉄道・道路などの公共インフラと共に敷設されている光ファイバを、それらの事業体や自治体などから借りる方法があります。特に、NTT東日本とNTT西日本は、市場の支配的な事業者として、光ファイバなどインフラを他社へ提供する義務が課されています。 NTT東西のダークファイバは、いわゆるキャリアだけでなく、通信サービスを提供するような事業者なら、所定の相互接続に関する手続きを行えば利用することができます。

8 DCI構築に必要なもの：伝送装置

通信事業者では、さまざまな顧客からリクエストに応えることができるように、光ファイバでの伝送装置のネットワークを構築しています。このため、異経路への切替装置(プロテクション)、サイトとサイト間の中継増幅装置(インラインアンプ)、特定の波長のみ取り出す装置(アド・ドロップ)などを用いた、非常に複雑な構成になっています。これに対して、今時のDCIにおける伝送装置の構成は、非常にシンプルです。インラインアンプも想定せず、ポイント・ポイント間でダークファイバを利用し、前述した伝送装置をD-WDMの両端に導入するのが一般的です。

ポイント・ポイント間のD-WDMは、図のように、分散補償器、増幅器、合波分波器、トランスポンダで構成されます。ただし、距離が100km未満と短く、10Gbps以下の通信速度の場合、分散補償器は不要です。増幅器は、前述したEDFAが利用されますが、送出側がブーストアンプ、受信側がプリアンプと呼ばれ、データセンター間の距離が短い場合は、プリアンプが不要なケースさえもあります。

合波分波器は、先のD-WDMタイプのSFP/SFP+を挿すポートと、合波した光の入出するポートがある、電源が不要なユニットです。おおむね、送信側と受信側がセットになっており、 1RUで40波程度の合波・分波が可能な装置が、数十万円以下で購入できます^※3。

※3 この上限値は、1RUにおけるLCコネクタ実装密度限界の数字です。

トランスポンダは、ユーザー側のネットワーク・インタフェースを、 ITU-Tグリッドに従った波長のレーザー光に変換し通信を行います。このように書くと、非常に特殊なデバイスのように思われますが、 1Gbpsと10Gbpsの通信速度のイーサネットであれば、通常のイーサネットと多少特殊なD-WDM用の光トランシーバの、メディアコンバータでしかありません。 D-WDM用の光トランシーバには、光の波長を変更できるタイプ(tunable)か固定(fixed)なのかの違いはありますが、よくあるイーサネットのSFPやSFP+の光トランシーバと同様に、物理的形状や電気的仕様もSNIA (Storage Networking Industry Association)の標準に従って作られており、通常の光トランシーバより高価である点を除けば一般に入手可能です。これらの装置が、標準化された仕様で作られていることは非常に重要です。正しい知識さえあれば、異なるメーカでも組み合わせて利用できることを意味します。

9 Disaggregationとサードパーティー光トランシーバ

前節で述べたように、特殊で専門的な装置と思われていた伝送装置のD-WDMでさえ、今では、異なるメーカの個別のパーツを組み合わせて、数RU程度のコンパクトなサイズで構築することまでもが可能になっています。このようなトレンドは「伝送装置のdisaggregation」と呼ばれていますが、これまで自社製品での囲い込みが主な戦略であった伝送装置メーカも、最近では方針を転換し、積極的にdisaggregationできる製品を市場に投入し始めているケースもあります。

さらに一歩進めて、D-WDMのトランスポンダとしての光トランシーバは、 (専用の)トランスポンダ用のメディアコンバータを省略して、スイッチやルータに直接挿入して使うことも可能です。この場合、メディアコンバータの投資までも抑制できますが、これはDCIの伝送装置とスイッチやルータの管理者が同一の事業者であるような、クラウド事業者やコンテンツ提供事業者だからこそ可能なことです。

ただし、上記のようなD-WDM用の光トランシーバを、ルータやスイッチで利用したい場合には注意が必要です。ルータやスイッチのメーカが、 D-WDM用の光トランシーバを正式なラインナップに取り入れていないケースもあり得ます。この場合、異なるメーカの光トランシーバを利用することになり、ルータ・スイッチのメーカからすると「サードパーティー」のトランシーバの利用になりますが、自社で認めた光トランシーバ以外の利用を、ソフトウエア的に制限しているケースが多く存在します(ベンダ・ロッキング)。メーカ側やディストリビュータ側としても、仕様を満たしていないパーツをユーザー側が勝手に挿して問題を起こされては困る、という主張があります。ですが、ルータやスイッチのメーカは、ほとんどの場合、光トランシーバを光トランシーバ専業メーカからOEM調達しており、これらは標準化された電気的・論理的な仕様で接続されていますので、基本的には問題なく動作するはずです。この点はメーカ側の戦略の都合もありますので、ユーザー側も測定器などを準備し切り分けの約束をするなど、自己責任での対応が必要です。

このような「ルータ・スイッチと光トランシーバの間でのdisaggregation」、つまり、「サードパーティーの光トランシーバの利用」は、トレンドとしては無視できません。適切な知識と実行力さえあれば、より適切で低いコストでネットワークを構築することができるのです。海外のクラウド・サービス事業者の競争力は、このようなパーツレベルでのコスト削減努力のたまものですので、日本の事業者もこの点は大いに見習うべきでしょう。

10 DCIのオープン化とコミュニティ

最近まで、DCIの技術とノウハウは、伝送装置ベンダや通信事業者の中にしか存在しませんでした。技術情報の秘密保持のために、情報はクローズになりがちな世界でしたが、最近はかなりオープンになってきています。

DCIのオープン化を語る際、 TIP (Telecom Infra Project)に触れないわけにはいかないでしょう。 TIPは、2016年にFacebookの呼び掛けで始まり、今では数百の組織が参加しています。 TIPは、通信事業者が利用しているインフラ技術を、オープンにしていこうと取り組んでいる野心的なプロジェクトであり、 LTEなどの無線のアクセス技術から、DCIのようなバックボーンの技術、コアのネットワーク管理技術までもが対象になっています。特にDCI関連では、OpenOptical & Packet Transport というワーキンググループがTIPにはあり、伝送装置のdisaggregationを進めています。

100Gbpsの伝送装置を必要最小限な機能でシンプルに構成することをめざして、 VoyagerやCassiniというコードネームで呼ばれるプロトタイプの研究開発を進めています。 DCIでのdisaggregationの推進は、 OTT事業者の存在を背景にしたTIPの存在が非常に大きいものがあり、国内からも参加する組織が増えつつあります。

日本国内でのコミュニティも重要です。日本国内では、ネットワークエンジニアのコミュニティであるJANOG (JApan NetworkOperators’Group)でも、伝送装置のdisaggregationなどについても発表が行われるようになってきており、ネットワークエンジニアの間でもDCIへの興味が高まってきています。

最も注目すべきコミュニティは、 DCIや光伝送技術の運用について情報交換を行うOpen Transceiverです。 Open Transceiverは、 2019年1月のJANOG43の講演をきっかけとして生まれたOpen Transceiver Teamというグループが主催しており、コミュニティの参加者には、コンテンツ提供事業者やデータセンター事業者の技術者だけではなく、機材ベンダのエンジニア、デバイスの営業担当者が参加しています。 Open Transceiverでは、Slackでの情報共有を中心に、オフライン・ミーティングは、 2019年2月と7月に既に2回実施されています。この場では、自前でDCIを構築した・構築しようとしている人を中心に、安価なDCIの構築事例、サードパーティーのトランシーバ導入事例、そして、これらの障害事例などについて発表がなされています。これらのコミュニティに参加することで、 DCIの技術やトレンドについての情報を得ることができるでしょう。