IBMの頭脳

ChatGPT、DALL-E、安定拡散、その他の生成 AI は世界を席巻しました。 彼らは素晴らしい詩やイメージを生み出します。 彼らは、マーケティングから法的準備書面の作成、創薬に至るまで、私たちの世界の隅々にまで浸透しています。 彼らは、人間と機械の心が融合した成功物語の象徴のように見えます。

しかし、内部では事態はそれほど甘くないように見えます。 これらのシステムは大量のエネルギーを消費し、数千トンの二酸化炭素を排出するデータセンターを必要とし、すでに不安定な気候をさらに強調し、数十億ドルを吸い上げます。 ニューラル ネットワークがより洗練され、より広く使用されるようになるにつれて、エネルギー消費はさらに急増する可能性があります。

生成型 AI の二酸化炭素排出量には多大な影響が及んでいます。 エネルギー需要がその衰退の原因となり、さらに成長するにつれて発展を妨げる可能性があります。 現在のハードウェアを使用すると、生成 AI は「標準のコンピューティング ハードウェアに依存し続けると、すぐに失速することが予想されます」とインテル研究所のヘチェン ワン博士は述べています。

持続可能な AI を構築する時期が来ています。

今週、IBMの調査はその方向に向けて実践的な一歩を踏み出しました。 彼らは、3,500 万個のメモリ ユニットを搭載した 14 ナノメートルのアナログ チップを作成しました。 現在のチップとは異なり、計算はこれらのユニット内で直接行われるため、データを往復する必要がなくなり、エネルギーが節約されます。

データの往復により、エネルギー消費が実際の計算に必要なエネルギー消費量の 3 倍から 10,000 倍に増加する可能性があると Wang 氏は述べています。

このチップは、2 つの音声認識タスクに挑戦したときに非常に効率的でした。 1 つの Google Speech Commands は小さいですが実用的です。 ここではスピードが鍵となります。 もう 1 つの Librispeech は、音声をテキストに書き写すのに役立つ巨大なシステムで、大量のデータを処理するチップの能力に負担をかけます。

従来のコンピューターと比較した場合、このチップは同等の精度で動作しましたが、一部のタスクに通常必要とされるエネルギーの 10 分の 1 以下で、はるかに少ないエネルギーでより速くジョブを完了しました。

「我々の知る限り、これらは商業的に適切な精度レベルを商業的に適切なモデルで、効率性と大規模な並列性を備えてアナログチップで実証したのは初めてだ」と研究チームは述べた。

これは決して最初のアナログチップではありません。 しかし、これはニューロモーフィック コンピューティングのアイデアを実用の領域に押し上げます。いつか、脳に近い効率で携帯電話、スマート ホーム、その他のデバイスに電力を供給できるチップです。

えっと、何？ バックアップしましょう。

現在のコンピューターはフォン ノイマン アーキテクチャに基づいて構築されています。 複数の部屋がある家と考えてください。 1 つは中央処理装置 (CPU) で、データを分析します。 もう 1 つはメモリを保存します。

計算ごとに、コンピューターはこれら 2 つの部屋の間でデータを往復する必要があり、時間とエネルギーがかかり、効率が低下します。

対照的に、脳は計算と記憶の両方をワンルームアパートに組み合わせています。 シナプスと呼ばれるキノコのような接合部は、両方ともニューラル ネットワークを形成し、同じ場所に記憶を保存します。 シナプスは非常に柔軟性があり、保存された記憶と新しい学習、つまり「重み」と呼ばれる特性に基づいて、他のニューロンとの結合の強さを調整します。 私たちの脳は、これらのシナプスの重みを調整することで、絶えず変化する環境に素早く適応します。

IBM は、脳の計算を模倣するアナログ チップの設計の最前線に立ってきました。 2016 年に画期的な進歩が起こり、通常は書き換え可能な CD に含まれる魅力的な素材をベースにしたチップが導入されました。 この材料は、電気を当てると物理的状態が変化し、ネバネバしたスープから結晶のような構造に形状が変化します。デジタルの 0 と 1 に似ています。

ここが重要です。チップはハイブリッド状態でも存在できるということです。 言い換えれば、生物学的シナプスと同様に、人工シナプスはバイナリだけでなく無数の異なる重みをエンコードできるため、データを 1 ビットも移動することなく複数の計算を蓄積することができます。

新しい研究は、相変化材料も使用することにより、以前の研究に基づいて構築されました。 基本コンポーネントは「メモリータイル」です。 それぞれに何千もの相変化材料が格子状に詰め込まれています。 タイルは互いに容易に通信します。