ジャーナルを見る

タグ「AIモデル」の記事

Lotookでタグ「AIモデル」が付いた記事です。ニュース、考察、実践ガイドと原典へのリンクを含みます。

KVキャッシュとは？LLMがAttentionの状態を再利用する仕組み

KVキャッシュとは何か、LLMのDecodeを高速化する仕組み、コンテキスト長に伴うメモリの増加、プロンプトキャッシュやAPIコストとの関係をわかりやすく解説します。PrefillとDecodeの違いや、開発チームが実践できる運用上のポイントも紹介します。

RAG（検索拡張生成）は、回答を生成する前に関連文書を検索し、その内容を言語モデルに渡す手法です。学習時の知識だけに頼らず、社内の非公開情報や更新された最新情報を使って回答できます。仕組みや従来の手法との違い、導入時の注意点を詳しく解説します。