説明： 無制限消費（Unbounded Consumption）は、大規模言語モデル（LLM）が入力クエリやプロンプトに基づいて出力を生成するプロセスを指します。推論（Inference）はLLMの重要な機能であり、学習したパターンや知識を適用して適切な応答や予測を生成するこ…

説明 LLM（大規模言語モデル）による誤情報は、これらのモデルに依存するアプリケーションにとって根本的な脆弱性となります。誤情報とは、LLMが信頼できるように見える虚偽または誤解を招く情報を生成することを指します。この脆弱性により、セキュリティ侵…

説明： ベクトルと埋め込みの脆弱性は、大規模言語モデル（LLM）を用いた Retrieval Augmented Generation（RAG）システムにおいて、重大なセキュリティリスクをもたらします。ベクトルや埋め込みの生成、保存、または取得方法における脆弱性が悪意のある行…

説明 システムプロンプト漏洩（System Prompt Leakage） とは、LLM（大規模言語モデル）においてシステムプロンプトや指示文が意図せず漏洩し、それが攻撃に利用されるリスクを指します。 システムプロンプトとは？ システムプロンプトは、LLMの出力を特定の…

説明 LLM（大規模言語モデル）を利用したシステムは、開発者によって一定の「エージェンシー（行動権限）」を付与されることが多い。これは、LLMが関数を呼び出したり、拡張機能（ベンダーによって「ツール」「スキル」「プラグイン」とも呼ばれる）を通じて…

説明 不適切な出力処理とは、大規模言語モデル（LLM）が生成する出力を、他のコンポーネントやシステムに渡す前に、適切な検証・サニタイズ・処理を行わないことを指します。LLMが生成するコンテンツはプロンプト入力によって制御可能であるため、これはユー…

説明： データ・ポイズニングとは、事前学習（pre-training）、ファインチューニング（fine-tuning）、または埋め込みデータ（embedding data）が操作されることで、脆弱性、バックドア、またはバイアスが意図的に導入される攻撃を指します。この操作により…

LLM03:Supply Chain 概要 LLMのサプライチェーンはさまざまな脆弱性にさらされており、学習データ、モデル、デプロイメント（展開）プラットフォームの完全性が損なわれる可能性があります。 これらのリスクが現実化すると、バイアスのある出力、セキュリテ…

ソース： genaisecurityproject.com Sensitive Information は、LLM（大規模言語モデル）およびその適用されるアプリケーションのコンテキストに影響を及ぼす可能性がある。 この情報には以下が含まれる： 個人を特定できる情報（PII）（氏名、住所、電話番…

ソース： owasp.org What Is the OWASP Testing Methodology? このテストモデルは以下の構成要素からなります ・テスター：テスト行為を行うもの ・ツールと方法論：テスティングガイドプロジェクの核 ・アプリケーション：テストするブラックボックス テス…