Prompt Caching プロンプトキャッシュ：LLM コストと遅延の削減

プロンプトキャッシュ（Prompt Caching）は、頻繁に使用されるコンテキスト（システムプロンプト、ドキュメント、チャット履歴など）を LLM プロバイダーのメモリに一時保存し、入力トークンの料金と初回応答時間を大幅に削減する最適化技術です。