技術的な LLM の定義:大規模言語モデルとは、幅広いテキストコーパスで学習し、それまでのすべての内容から次のトークンが出現する確率をモデル化する Transformer ニューラルネットワークです。Brown ら(2020)は、十分な規模になるとこの単一の目的だけで、明示的に学習していない多くのタスクをプロンプトを与えるだけでこなせるモデルが生まれることを示しました。この「文脈内学習(in-context learning)」こそが、現代の LLM を特徴づける振る舞いです。
ChatGPT、Claude、Gemini、Grok はいずれも LLM をベースにしています。学習データ、規模、アライメント、ツール群がそれぞれ異なるため、同じ質問に対しても回答が食い違うことがあります。
LLM とは?わかりやすく言うと
ひと言でいえば、LLM の意味はシンプルです。大規模言語モデルとは、膨大な量のテキストを読み込み、言語の統計的なパターンを学習したプログラムです。「大規模」とは、学習データの量とモデル自体の大きさの両方を指します。現代の LLM は数十億以上のパラメータ(学習内容を保持する調整可能な重み)を持っています。ただし現在では、ほとんどの開発元がフラッグシップモデルの正確なサイズを公表していません。
LLM に質問しても、LLM は答えをどこかで調べているわけではありません。それまでの内容に続く可能性の高いものを毎回選びながら、1トークンずつ回答を書いていきます。だからこそ LLM は流暢で柔軟なのですが、同時に、間違っていても自信満々に聞こえることがあるのです。
大規模言語モデルの学習方法
学習は通常、前の段階を土台にしながら複数の段階を経て行われます。
- 1事前学習。膨大なテキストを使った次トークン予測によって、モデルは言語、事実、推論のパターンを身につけます。
- 2アシスタント化の学習。会話例を使ったファインチューニングの一種であるインストラクションチューニングによって、単なる予測器が、依頼に従うアシスタントへと変わります。
- 3
LLM にできること・できないこと
LLM は幅広い言語タスクをこなせます。
- あらゆるトーンでの文章の下書き、編集、書き直し
- 長い文書の要約や、言語間の翻訳
- 質問への回答や、概念のステップごとの説明
- コードの作成、レビュー、解説
- 複数ステップの推論を要する問題の解決
一方で、限界も同じくらい重要です。LLM は事実をハルシネーション(捏造)することがあり、内蔵の知識は学習データのカットオフ時点で止まっています。また、コンテキストウィンドウに収まる量のテキストしか考慮できません。検索拡張(RAG)、Web 検索、別のモデルとの回答のクロスチェックは、この3つすべての対策になります。
MultipleChat にとって重要な理由
あらゆる面で最高という LLM は存在しません。MultipleChat なら、ChatGPT、Claude、Gemini、Grok、Perplexity で同じプロンプトを並べて実行できるので、回答を比較し、あるモデルの強みで別のモデルの死角を補えます。比較の仕組みはこちらをご覧ください。