プラットフォーム¶

CPU（中央処理装置）はトラックが計算を行う4車線の高速道路、GPU（グラフィックスプロセッシングユニット）は小さなショッピングカートが計算を行う100車線の高速道路と考えてください。 GPUは並列処理に優れていますが、それほど複雑でないタスクに限られます。 ディープラーニングは主に行列乗算のバッチであり、これらは非常に簡単に並列処理できるため、特にGPUのメリットを受けています。 したがって、GPUでのニューラルネットワークのトレーニングは、CPUでのトレーニングよりも10倍速くなる可能性があります。 ただし、すべてのモデルタイプでその利点が得られるわけではありません。

別の例をご紹介します。

非常に大規模な図書館があり、所蔵するすべての本を数える必要があるとします。 図書館員は、本がどこにあるか、どのように整理されているか、図書館がどのように機能しているかなどについて精通しています。図書館員は自分で本の数を完璧に数えることができ、おそらく整理も非常に上手でしょう。

しかし、図書館員と一緒に本を数えることができる大きなチームがあればどうでしょうか。図書館の専門家ではなく、正確に数えることができる人たちです。

• 本を数える人が3人いる場合、数える速度が速くなります。
• 本を数える人が10人いる場合、数える速度がさらに速くなります。
• 本を数える人が100人いる場合...最高です。

CPUは図書館員のようなものです。図書館を運営する図書館員が必要なように、CPUが必要です。 CPUは基本的に、実行を要するすべてのジョブを実行できます。 図書館員が1人ですべての本を数えることができるように、CPUは機械学習モデルの構築といった数学的処理を行うことができます。

GPUは、本を数える作業を行うチームのようなものです。本を数える作業は、図書館についての特別な専門知識がなくても多くの人ができます。それと同じように、GPUを使えば、ジョブを受け取ってさまざまなユニットに分割し、機械学習モデルを構築するような数学的処理を行うことがはるかに簡単になります。

GPUは通常、特定のタスクをCPUよりもはるかに高速に実行できます。

• 本を数える人のチームの一員である場合、たぶん図書館員が各人に棚1つを割り当てます。 自分の棚の本をカウントします。 同じ時間に、全員が自分の棚の本をカウントします。 次に、全員が集まって、本の数を足し合わせて、図書館内の本の総数を求めます。

このプロセスは並列化と呼ばれ、「大きなジョブを小さなチャンクに分割し、これらの小さなチャンクを同時に実行できること」のしゃれた言い方にすぎません。これらのジョブを「並列で」実行しているため、並列化と言います。隣りの人が本をカウントするのと同時に、自分の本をカウントします。 （並列で実行できないジョブは、通常、順次に実行されます。）

図書館に100の本棚があって、1つの本棚のすべての本をカウントするのに1分かかるとします。

• 図書館員がカウントする唯一の人物である場合、一度に1つの本の山をカウントできるのは1人だけなので、仕事を並行させることができません。 したがって、図書館員がすべての書籍をカウントするには100分かかります。
• 100人のチームでそれぞれが自分の棚をカウントする場合、すべての本が1分でカウントされます。 （ここで、図書館員は、誰がどの棚を担当するかを割り当てるのに少し時間がかかります。 また、100人からのすべての数字を合計するのに少し時間がかかります。 しかし、これらの部分は比較的速いので、図書館全体は、おそらく2〜3分でカウントされます。）

100分ではなく3分です。はるかに優れています！繰り返しになります。GPUは通常、CPUよりもはるかに高速に特定のタスクを実行できます。

GPUが必要ないケースがある

1. 本棚が1つしかないとします。 図書館員が100人をシェルフの別々の部分に割り当て、数えて、それらを合計することには、おそらくその価値がありません。 図書館員がすべての書籍を数えればもっと早いかもしれません。

2. データサイエンスジョブを並列化（同時に実行できるような小さなチャンクに分割すること）できない場合には、通常は、GPUは役に立ちません。 幸いなことに、データサイエンスタスクの大部分を並列化できる非常にスマートな人材が何人かいます。

シンプルな数学の例を見てみましょう。数値の集合の平均を計算することです。

CPUで平均を計算した場合、図書館員を使用するようなものです。 CPUはすべての数値を合計してから、サンプルサイズで除算する必要があります。

GPUを活用して平均を計算する場合、チーム全体を使用するのと同じようなものです。 CPUは数値を小さなチャンクに分割してから、各GPUワーカー（コア）はそれらのチャンクの数値を合計します。 次に、CPU（図書館員）は、これらの数値の組み合わせを調整して平均に戻します。

たとえば、10億個の数値の集合の平均を計算する場合、CPUが単独ですべてを実行するよりも、CPUがその10億個をまとまった断片に分割し、個別のGPUワーカーに加算をしてもらうほうが、はるかに高速です。

より複雑な機械学習の例を見てみましょう。ランダムフォレストは、基本的に多数の意思決定木です。 100のディシジョンツリーでランダムフォレストを構築する場合を考えてみます。

• CPU上にRandom Forestを構築する場合、それは図書館員に自分でカウントをしてもらうようなものです。 CPUは基本的に、最初のツリーを構築してから、2番目のツリー、3番目のツリー、といった順に構築する必要があります。

• GPUを活用してRandom Forestを構築する場合、それはチーム全体が本をカウントし、図書館員に全員を調整してもらうようなものです。 GPUの一部（コア）が最初のツリーを構築します。 同時に、別のGPUコアが2番目のツリーを構築します。 これはすべて同時に行われます！

図書館員がライブラリ内のあらゆる種類の作業（カウント、整理、フロントの人員配置、書籍の置換）を管理するのと同様に、CPUにはたくさんのさまざまなジョブがあります。 CPU図の緑色のALUボックスは「算術演算装置」を表します。これらのALUは、数学的計算を行うために使用されます。 図書館員が本を数えるのと同じように、CPUは独自にいくつかの数学的計算を行うことができます。ただし、CPUの多くの部屋は、これらの他のボックスによって占められています。CPUでは他の多くの作業も担当しているためです。 単なる数学的計算の問題ではありません。

数える人のチームが1つのジョブ（本をカウントする）を実行するのと同様に、GPUは基本的に数学的計算だけを行うように最適化されます。 数学的な作業になれば、それはずっと強力です。

したがって、要するに、

• CPUは多くのジョブを実行します。 CPUは独自に数学的計算を行うことができます。

• GPUは、数学的計算を行うために高度に最適化されています。

• 数学に依存するジョブ（カウント、平均化、機械学習モデルの構築など）がある場合、GPUは一部の数学をCPUよりもはるかに高速に実行できます。 これは、非常にスマートな人たちの発見を利用して並列化できるからです（大きなジョブを小さなチャンクに分割する）。

• 数学に依存しない、または依存度が非常に小さいジョブがある場合、GPUにはおそらくその価値はありません。