AI用語集

Adam(オプティマイザ)

パラメータごとに学習率を自動調整する、広く使われている最適化アルゴリズム。ニューラルネットワークの学習を高速かつ安定させる。

AI Agent

一度きりの応答で終わらず、ツールを呼び出し、結果を読み取り、次の行動を判断しながら、複数ステップのタスクを自律的に計画・実行するAIシステム。

アラインメント

AIシステムの振る舞いを人間の意図や価値観に合わせるための取り組み。モデルが指示に忠実に従い、有害な依頼を拒否できるのはこのおかげ。

API(アプリケーション・プログラミング・インターフェース)

チャットUIを介さずにソフトウェアからモデルへ直接アクセスできるインターフェース。構造化データを返し、トークン数に応じて課金される。

アテンション機構

出力の各部分を生成する際に、入力のどの部分が重要かをモデルが重み付けする仕組み。あらゆるTransformerの中核をなす処理。

誤差逆伝播法(バックプロパゲーション)

予測誤差を出力側から入力側へ逆向きに伝えて各重みを調整する、ニューラルネットワークの学習アルゴリズム。ディープラーニングのほぼすべてを支える基盤技術。

バッチ正規化

各層への入力を正規化する学習手法。より深いネットワークを高速かつ安定して学習できるようになる。

ベンチマーク

推論力・知識・コーディングなどの能力についてモデルを測定・比較するための標準化されたテスト。ランキングの目安にはなるが、実際に自分の用途で試すことの代わりにはならない。

BERT(Bidirectional Encoder Representations from Transformers)

テキストを前後双方向から同時に読み込むよう事前学習された、エンコーダのみのTransformer。分類・検索・抽出といった理解系タスクで広く使われる。

BLEU

機械翻訳の評価に長らく使われてきた自動指標。出力文がお手本となる人間の翻訳とどれだけ単語列で重なるかをスコア化する。

破局的忘却(カタストロフィック・フォゲッティング)

新しいデータで学習すると、以前に習得した能力が失われてしまうニューラルネットワークの性質。モデルを継続的に更新するうえで大きな課題となる。

Chain of Thought(思考の連鎖、CoT)

最終的な答えを出す前に、途中の推論ステップを段階的に考えさせるプロンプト手法。複数ステップを要する問題の精度が向上する。

ChatGPT

2022年11月に登場したOpenAIの対話型アシスタント。指示に従うよう調整された大規模言語モデルを一気に一般ユーザーへ広めた。

Claude

Anthropicが開発する大規模言語モデル群。長いコンテキストを扱える点、高い推論力、そして「Constitutional AI」と呼ばれる安全性への取り組みで知られる。

CNN(畳み込みニューラルネットワーク)

学習されたフィルタを用いて空間的なパターンを検出するニューラルネットワークの構造。現代のコンピュータビジョンの基礎を成す。

コンテキストウィンドウ

モデルが一度の呼び出しで扱える文章量の上限をトークン単位で表したもの。システムプロンプト、会話履歴、添付ファイル、生成中の返答まですべて含まれる。

関連リンク: Context Window Visualizer.

コサイン類似度

2つのベクトルのなす角度から類似度を測る指標。検索やRAGでエンベディングを比較する際の標準的な手法。

DALL·E

自然言語による説明文から画像を生成する、OpenAIのテキスト画像変換モデル。プロンプトを使った画像生成を一般に広めた立役者。

拡散モデル(ディフュージョンモデル)

データに徐々にノイズを加えるプロセスを逆にたどることで生成を学習する生成モデル。現代のAI画像生成の多くを支える技術。

DPO(Direct Preference Optimization、直接選好最適化)

人間の選好ペアデータをシンプルな分類損失で直接学習させるアラインメント手法。RLHFのように別途の報酬モデルを用意する必要がない。

ドロップアウト

学習中にニューロンをランダムに無効化する正則化手法。過学習を防ぎ、汎化性能を高める。

エンベディング(埋め込み)

テキストの意味を数値の並び(ベクトル)として表現したもの。意味の近いもの同士がベクトル空間上で近くに配置される。

Few-Shotプロンプティング

プロンプトの中にいくつかの実例を示し、モデルがそのパターンを読み取ってから答えられるようにする手法。

ファインチューニング

事前学習済みのモデルに追加の専門データを学習させ、ゼロから作り直すことなく特定の分野・タスク・文体に適応させること。

GAN(敵対的生成ネットワーク)

データを作り出す「生成器」と、それが本物か偽物かを見破ろうとする「識別器」という2つのネットワークを競わせて学習する生成モデルの構造。

Gemini

Google DeepMindが開発するモデル群。テキスト・画像・音声・動画をネイティブに、まとめて扱えるマルチモーダル設計が特徴。

GPT(Generative Pre-trained Transformer)

大規模なテキストコーパスで次のトークンを予測するよう事前学習し、その後さまざまなタスクに適応させる、デコーダのみのTransformerモデル群。

Grok

xAIが開発する大規模言語モデル兼アシスタント。Xプラットフォームと連携し、リアルタイム性のある情報と対話的なスタイルを特徴とする。

ハルシネーション(幻覚)

言語モデルが、流暢で自信ありげな文章を出力しているにもかかわらず、事実として誤っていたり根拠のない内容だったりする現象。

インコンテキスト学習

重みを一切更新することなく、推論時にプロンプト内の例や指示からタスクを学び取るモデルの能力。

インストラクションチューニング

自然言語の指示文として表現された多数のタスクでモデルをファインチューニングすること。学習時に見たことのないタスクでも、新しい指示にうまく従えるようになる。

ジェイルブレイク

モデルの安全性トレーニングをすり抜けさせ、本来は拒否するはずの内容を出力させるよう仕組まれたプロンプト。

知識蒸留(ナレッジ・ディスティレーション)

大きな「教師」モデルの振る舞いを小さな「生徒」モデルに模倣させ、その能力の多くをより安価で高速なモデルへ引き継がせる手法。

ナレッジグラフ

エンティティとその関係性を構造化したネットワーク。機械が検索・推論できる形で事実を保持するために使われる。

レイテンシ(遅延)

プロンプトを送信してから応答が返るまでの時間差。モデルが大きく、コンテキストが長いほどレイテンシは増える。AI製品における速度面での主なトレードオフ。

Llama

Metaがオープンに公開している大規模言語モデル群。高性能でありながらローカル環境でも動かせるモデルを研究者や開発者に広めた点で影響力が大きい。

LLM(大規模言語モデル)

膨大な量のテキストで次のトークンを予測するよう学習されたニューラルネットワーク。汎用的な言語理解・生成能力を獲得する。

LoRA(Low-Rank Adaptation)

元の重みは固定したまま、小さな追加の行列だけを学習して大規模モデルを適応させる、パラメータ効率の良いファインチューニング手法。

LSTM(Long Short-Term Memory)

ゲート機構を持ち、長い系列にわたって情報を記憶できる再帰型ニューラルネットワークの設計。Transformer登場以前の系列モデリングを支えた主力技術。

MCP(Model Context Protocol)

AIアシスタントを共通のインターフェースを通じて外部のツールやデータソースに接続するためのオープンな標準規格。一度作った連携をさまざまなモデルで使い回せる。

Mixture of Experts(専門家混合、MoE)

入力ごとにモデル全体ではなく一部の専門サブネットワークだけを使う構造。大きなモデル容量を持ちながら、1回のクエリあたりのコストを抑えられる。

モデルカード

モデルの想定用途、集団ごとの性能、限界などを記載した簡潔な標準文書。透明性のある責任あるリリースを後押しする。

マルチモーダル

テキスト・画像・音声・動画など、複数種類のデータを同一システムで扱えるモデル。

核サンプリング(Top-p)

確率の合計がpに達する最小の候補集合から次のトークンをサンプリングするデコード手法。単調な繰り返しと支離滅裂な文章の両方を避けられる。

Perplexity

言語モデルの質を測る標準的な内在指標で、未知のテキストに対してどれだけ「驚いた」かを表す。パープレキシティが低いほど、モデルが実際の文章をうまく予測できていることを意味する。

プロンプト

モデルから応答を引き出すために与える入力文。言い回し・具体例・構成の違いが、出力の質に大きく影響する。

プロンプトインジェクション

悪意ある指示を直接、あるいは取得したコンテンツ経由でモデルの入力に紛れ込ませ、システムプロンプトを上書きしたり挙動を乗っ取ったりする攻撃手法。

量子化

モデルの重みをより低い数値精度で保持し、メモリ使用量を減らして推論を高速化する手法。多くの場合、品質の低下はごくわずかで済む。

RAG(検索拡張生成)

クエリに応じて関連文書を検索し、それを言語モデルに与える手法。モデルの記憶だけに頼らず、実際の情報源に基づいた回答が得られる。

レッドチーミング

意図的に敵対的な入力でモデルを試し、公開前に有害・危険・ポリシー違反となる挙動がないかを洗い出す取り組み。

リランキング

検索の第2段階として、最初に得られた候補文書群をより高精度なモデルで再スコアリングし、最も関連性の高いものを上位に押し上げる処理。

RLHF(人間のフィードバックによる強化学習)

人間による選好評価を使い、実際に好まれる応答をモデルに学習させる手法。より役立ち、意図に沿った振る舞いに近づける。

ROUGE

要約タスク向けの自動評価指標群で、生成された要約とお手本となる人間の要約との重なり具合を測定する。

スケーリング則

パラメータ数・データ量・計算資源を増やすほど、モデルの性能が予測可能な形で向上することを示す経験則。

セルフコンシステンシー

同じ問いに対して複数の思考の連鎖(Chain of Thought)をサンプリングし、最も多くが一致した答えを採用する推論手法。

Sequence-to-Sequence(Seq2Seq)

ある系列を別の系列へ変換する、エンコーダ・デコーダ型のニューラルネットワーク構造。ニューラル機械翻訳、そして後の生成AIチャットを可能にした設計。

投機的デコーディング

高速な小型モデルが複数トークンの下書きを作り、大型モデルがそれを並列に検証する、推論を高速化する手法。結果は変えずに出力速度だけを高められる。

Stable Diffusion

オープンな潜在拡散モデルによるテキスト画像変換モデルで、高品質な画像生成を一般向けPCでも動かせるようにした。

ストリーミング

回答全体が完成するのを待たず、生成されたトークンから順に送信する方式。テキストが少しずつ表示されていく。

システムプロンプト

会話が始まる前にモデルの役割・口調・ルールを定める、非表示で優先度の高い指示。以降のすべての応答の土台となる。

温度(Temperature)

モデル出力のランダム性を制御する設定値。温度が低いと的確で再現性の高い答えに、高いとより多様で創造的な答えになる。

トークン

言語モデルが実際に読み書きする最小単位で、多くの場合は単語そのものではなく単語の断片を指す。コンテキストの上限、料金、速度はすべてトークン単位で計測される。

関連リンク: AI Token Counter.

ツール利用 / ファンクションコーリング

Web検索、コード実行、データベース照会といった外部機能をモデル自身に呼び出させ、その結果を回答に活用させる仕組み。

Transformer

現代のほぼすべての大規模言語モデルを支えるニューラルネットワーク構造。再帰や畳み込みではなく、「self-attention」と呼ばれる仕組みを基盤とする。

Tree of Thoughts(思考の木、ToT)

複数の分岐する解法を探索し、評価し、必要なら後戻りできる推論フレームワーク。一発勝負の推測ではなく、じっくり探索するようなアプローチ。

VAE(変分オートエンコーダ)

確率的な潜在空間を学習する生成モデル。データを圧縮できるだけでなく、そこから新しいサンプルを生成することもできる。

ベクトルデータベース

完全一致ではなくエンベディングの類似度でインデックス化・検索を行うデータベース。意味的に関連するコンテンツをミリ秒単位で見つけ出せる。

Vision Transformer(ViT)

画像をパッチに分割してそのままTransformerに適用したモデル。言語モデルを支える構造がコンピュータビジョンでも高い性能を発揮することを示した。

ウォーターマーキング(電子透かし)

AIが生成したテキストに、統計的に検出可能な目印を目に見えない形で埋め込む技術。後から機械生成であると特定できるようにする。

Whisper

OpenAIの音声認識モデル。非常に大規模で多様な音声データで学習されており、多言語にわたって頑健に音声の書き起こしと翻訳を行える。

Zero-Shotプロンプティング

実例を一切示さず、指示文とモデルが事前学習で得た知識だけを頼りにタスクを実行させる手法。