AIに関する基本的な用語を整理する
モデル (Model)
一般に、複雑なものを単純化したものを指す。
AIの世界では、知能という複雑なものを人間が単純化して作成したものを指す。
AIの世界では、モデルは何種類か存在する。
LLM (Large Language Model)
テキストを受け取ってテキストを返すモデルを指す。日本語では大規模言語モデルと翻訳される。
LLMは常に聞かれたことに答える。LLMが外部に対して自律的に何かをすることはない。
Claude Sonnetはテキストの質問にテキストで回答するのでLLMといえる。
AIエージェント (AI agent)
LLMを使って自律的に実行するシステムを指す。
Claude Codeは依頼を受けてコードを読み書きするのでAIエージェントといえる。
自律的かどうかでLLMかAIエージェントか区別できそうだが、自律的の定義は結構曖昧な気がする。(Claude Codeも使い方次第では勝手に動かせられるが、きっかけは人間の依頼が多いはずで受動的ともいえる)
人間の介入がなくてもある程度意思決定して動くシステムをAIエージェントと捉えるのが良いかもしれない。
プロンプト (Prompt)
LLMへ入力するテキストを指す。内容は指示であったり、相談であったりする。
プロンプトエンジニアリング (Prompt Engineering)
プロンプトを工夫することで狙った出力を得やすくする手法を指す。
プロンプトエンジニアリングが扱う範囲はLLMへのお願いの仕方である。
お願いの工夫だけでは足りないことに気づいた人類はプロンプトエンジニアリングの周辺に制約を加えたり全体をAIに特化した開発プロセスに見直したり、模索の日々を送っている。
トークン (Token)
LLMが文章を処理する際の最小単位を指す。
コンテキストウィンドウ (Context Window)
LLMが一度に記憶・参照できる情報量の上限を指す。
コンテキストウィンドウサイズはこの上限をトークン数で表したものを指す。
コンテキスト (Context)
コンテキストウィンドウの中に含まれている情報を指す。コンテキストの例を以下に示す。
- 会話の履歴
- 入力されたドキュメント
レートリミット (Rate Limit)
Webの世界における概念で、一定時間内に何かのリソースを使える量の制限を指す。
クラウド型LLMのAPIにおいては、以下を指す。
- 一定時間内に行えるリクエストの回数制限
- 一定時間内で利用可能なトークン数の上限
パラメータ (Parameter)
LLMが内部に持つ重みなどの値を指す。
LLMのニューラルネットワークはパラメータの集合で構成される。
パラメータ数はパラメータの総数を指し、性能の簡単な指標としてよく使われる。
新しいLLMが登場するとパラメータ数の巨大さがアピールされることがあるが、LLMの優秀さはパラメータ数以外にも学習データの質や量なども関係するのでパラメータ数だけで性能を判断することはできない。
Claudeを展開しているAnthropicはパラメータ数を非公開にしている。
オープンウェイト (Open Weight)
LLMが上述のパラメータを公開している状態を指す。
オープンウェイトを満たしていてもオープンソースだとは限らない。オープンウェイトはパラメータを公開している状態だけを指しており、以下を含まない。
- 学習させるコードの公開
- 学習データの公開
- ユーザーの利用形態の自由さ
学習 (Training)
大量のデータを使ってモデルのパラメータを調整する工程を指す。
推論 (Inference)
学習済みのモデルが入力に対して出力を生成する工程を指す。
ファインチューニング (Fine-tuning)
学習済みのモデルについて、特定の用途向けにさらに学習させることを指す。
ハルシネーション (Hallucination)
LLMが事実と異なる内容をもっともらしく答える現象を指す。
RAG (Retrieval-Augmented Generation)
LLMに外部の知識を検索させ、回答に組み込ませる手法を指す。
MCP (Model Context Protocol)
AIエージェントが外界と接続するための標準プロトコルを指す。
温度 (Temperature)
LLMの出力のランダム性を調整するパラメータを指す。
LLMはトークンを1つ生成するたびに次のトークンを確率で決める。これを繰り返して文章を生成する。
LLMを扱う多くのツールは温度の設定項目を設けている。
温度を0に近づけると同じ入力に対して同じ出力が返ってきやすくなる。
反対に温度を1に近づけると同じ入力に対して異なる出力が返ってきやすくなる。