大規模言語モデル（LLM）とは？

ひとかけらずつ

文章はトークンに切り分けられます。単語まるごと、単語の一部、あるいは句読点です。モデルはそこまでのトークンを読み、次に来うるすべてのトークンに確率を割り当てます。そこから1つが選ばれて文章に加えられ、同じことが繰り返されます。長い答えは、こうした小さなステップの何百回もの積み重ねです。

確率は学習から生まれます。モデルは膨大な量の文章を見て次のトークンを予測し、その予想を実際に続いた内容と比べ、パラメータと呼ばれる内部の数値を少しだけ動かして、次はもう少しうまくいくようにします。これを膨大な量の文章で繰り返すと、文法、事実、文体、推論のパターンが、すべて同時に、そしてどれも抜けを残したまま身につきます。

Transformer

現在のモデルの多くは、2017年に「Attention is all you need」という題の論文で提案された Transformer を土台にしています。その中心となるアテンション（注意機構）は、各トークンが、文章の中のほかのすべてのトークンにどれだけ注目するかを重みづけできるようにします。そのおかげで、文の中の「それ」を、何語も前にある正しい名詞と結びつけられます。著者たちは、作業のより多くを並列に実行できるので、それ以前の設計より速く学習できることも見いだしました。

大きく、そして役に立つように

2020年、1,750億個のパラメータを持つモデル GPT-3 を開発したチームは、言語モデルをはるかに大きくすると、再学習しなくても、プロンプトに書いたいくつかの例から作業をこなす能力が大きく向上することを示しました。とはいえ、大きさだけで、モデルが人の望むことに従うようになるわけではありませんでした。2022年、研究者たちは GPT-3 を人間のフィードバックでファインチューニングしました。人が答えの例を書き、モデルの出力に順位をつけたのです。研究者たちのプロンプトのセットでは、この方法で学習した13億パラメータのモデルの答えのほうが、パラメータ数が100倍以上ある元の1,750億パラメータのモデルの答えよりも、人々に好まれました。こうした学習によって、文章を予測するプログラムは、依頼に従うアシスタントになります。

自信ありげに間違えることがある理由

言語モデルが生成するのは、最ももっともらしい続きであって、調べた事実ではありません。事実を知らないとき、もっともらしいことと本当のことは食い違いますが、文章は変わらずすらすらと続きます。研究者はこれをハルシネーションと呼びます。2023年のサーベイ論文は、このように生成された文章はハルシネーションを起こしやすいと述べ、それを測る方法や減らす方法を概観しています。実際のアシスタントは、検索して出典を示すこと（RAGとは）、計算や日付のような作業にはツールを使うこと、そして行動する前にあなたに確認することで、これを減らしています。

モデルからアシスタントへ、そしてエージェントへ

チャットボットは、あなたが話しかける言語モデルです。アシスタントは、そこに記憶と、カレンダーのようなあなた自身の情報を加えます。エージェントは、行動もできます。送信し、予約し、購入します。段階が進むごとに、便利さもリスクも増えます。AIエージェントとチャットボットの違い、AIエージェントとは、そしてモデルが読む内容に指示を隠す攻撃、プロンプトインジェクションをご覧ください。

Lychnos Ring での使い方

Lychnos Ring は、私たちが選んでテストした現行の言語モデルで動き、Web、メール、カレンダーのためのツールを当社のクラウドで使います。ほかのプロバイダーを使いたい場合は、ご自身のAPIキーを設定することもできます。モデルは提案し、何にあなたの「はい」が必要かはテスト済みのコードが決めます。送信、移動、支払い、削除を伴う操作はすべて、リングを1回押すまで待ちます。Lychnos Ring は開発中です。話しかけるAIリング。

出典（2026年11月4日閲覧）：Vaswani ほか「attention is all you need」2017年。Brown ほか「language models are few-shot learners」2020年。Ouyang ほか「training language models to follow instructions with human feedback」2022年（以上3件はarXiv）。Ji ほか「survey of hallucination in natural language generation」ACM Computing Surveys、2023年。