大規模モデルの長文能力が急速に向上し、40万トークンはおそらく始まりに過ぎない

大規模モデルの長文処理能力は驚異的な速度で向上しています。最初の4000トークンから現在の40万トークンへと、この能力の成長は目に見えるものです。

長いテキストの能力は、大規模モデルのメーカーにとって新しい「標準装備」となったようです。国際的には、OpenAIは何度もアップグレードを行い、GPT-3.5とGPT-4のコンテキスト長をそれぞれ1.6万と3.2万トークンに引き上げました。Anthropicは、モデルClaudeのコンテキスト長を一気に10万トークンに拡張しました。LongLLaMAはこの数字を25.6万トークン、さらにはそれ以上に押し上げました。

国内において、大規模モデルスタートアップ「月之暗面」が発表したKimi Chatは、20万漢字、約40万トークンの入力をサポートしています。香港中文大学とMITが共同開発したLongLoRA技術は、7Bモデルのテキスト長を10万トークンに拡張でき、70Bモデルでは3.2万トークンに達します。

現在、OpenAI、Anthropic、Meta、月の暗い面を含む多くのトップモデル企業や研究機関は、コンテキストの長さの拡大を重点的なアップグレードの方向としている。これらの企業は例外なく資本市場の寵児である。OpenAIは約120億ドルの投資を受け、Anthropicの評価額は300億ドルに達する見込みであり、月の暗い面は設立から半年で複数回の資金調達を実施し、評価額は3億ドルを超えた。

文脈の長さが100倍増加することは何を意味するのか？表面的には、これはモデルの読解範囲を拡大します。最初は短い文章しか読めなかったのが、今では簡単に長編小説を読むことができます。より深いレベルでは、長文技術は金融、司法、研究などの専門分野での大規模モデルの応用を推進しています。

しかし、テキストの長さは長ければ長いほど良いわけではありません。研究によると、モデルがより長いコンテキスト入力をサポートすることとその効果の向上は、直接的に同じ意味を持つわけではありません。鍵は、モデルがコンテキストの内容をどのように効果的に活用するかにあります。

それにもかかわらず、現在のテキスト長の探求は「臨界点」に達していないようです。国内外の大規模モデル企業は依然として不断の突破を続けており、40万トークンはおそらく始まりに過ぎません。

長文技術の発展は、大規模モデルの初期のいくつかの問題を解決しただけでなく、産業応用をさらに推進するための道を開きました。これは、大規模モデルの発展がLLMからLong LLMへの新しい段階に入ったことを示しています。

未来、単純な対話サイクルから脱却したAIアシスタントは、専門化、個性化、深度化の方向に向かって進化しています。これは、産業応用を引き出し、スーパーAPPを築くための新しい手段となるかもしれません。

しかし、長文技術は依然として「不可能な三角形」のジレンマに直面しています：テキストの長さ、注意力、計算能力の三者を兼ね備えることが難しいです。現在は主に自己注意機構の最適化、外部ツールを使用した処理の支援、モデルの最適化などの方法で突破口を求めています。

未来の発展方向は、3者の間で最適なバランスを見つけ、十分な情報を処理しつつ注意計算と計算コストの制限を考慮することにあります。長文能力の継続的な向上は、大規模モデルにより広範な応用の可能性を開くでしょう。