2025-01-01から1年間の記事一覧
ソース： enigma96.medium.com ジャンル：Google Dorking 内容： グバウンティハンターとしての主な仕事の一つは、ターゲットの攻撃対象領域をマッピングすることです。 これには、隠れたパラメータやエンドポイントの発見も含まれます。 これらは、より深刻…
ソース： medium.com 脆弱性：GraphQL 要約： REST APIとは異なり、GraphQLでは必要なものを正確に要求できます 。問題は、 多くのアプリが権限を適切に適用していないことです。 これが危険な理由です: イントロスペクションはデフォルトで有効になっていま…
ソース： medium.com 脆弱性：XSS、FileUpload、CORS 訳： 偵察：アップロード機能の検討 アプリケーションをレビューしているときに、プロフィール画像のアップロード機能があることに気付きました。.svgや.htmlといった他のファイル形式も受け付けられるか…
ソース： bxmbn.medium.com 内容： 保険金請求や本人確認といった機密文書を扱うために設計されたプラットフォームが、攻撃者にとっての金鉱と化す様子を想像してみてください。保険関連ポータルのファイルアップロード機能を調べていた時に、まさにそんな状…
「LangChain」とは多様なLLMと接続する仕組みかと思っていましたが、そんな単純なものではないようで。 一言でいうと「LangChain」とは、、、 LangChain ＝ LLMを使ったアプリを作るための“レゴブロック”セット＋通信レイヤー＋状態管理の仕組み ちょっと分…
「LangChain」とは多様なLLMと接続する仕組みかと思っていましたが、そんな単純なものではないようで。 一言でいうと「LangChain」とは、、、 LangChain ＝ LLMを使ったアプリを作るための“レゴブロック”セット＋通信レイヤー＋状態管理の仕組み ちょっと分…
「プロンプトエンジニアリング」という言葉をよく耳にすると思います。「プロンプトエンジニアリング」とは何でしょうか？「プロンプトエンジニアリング」とは、人工知能（AI）や特に自然言語処理（NLP）モデルに対して、効果的な入力（プロンプト）を設計・…
RAG(Retrieval Augmented Generation、検索拡張)について。 RAG（検索拡張生成）は、大規模言語モデル（LLM）の弱点を補いながら、より正確で有用な回答を生成する技術として注目されています。 RAGとは？ RAG（検索拡張生成）は、大規模言語モデル（LLM）の…
LLMのアーキテクチャについて。 LLMには現在多くの種類がありそれぞれに微妙な違いはありますが、共通してTransformer というアーキテクチャを使用していて。 Transformer の詳細は以下のリンクから（youtube）。 youtu.be 自分にはTransformer の数学的な処…
パラメータとは？ LLM（大規模言語モデル）のパラメータとは、モデルの学習過程で調整される重みやバイアスのことを指します。これらのパラメータが、入力されたテキストに対する出力を決定する重要な要素です。 LLMのパラメータファイルの中身は大量の数値…
LLMの内部構造 LLMの内部構造を見るにあたり、LLaMA-2 を例に。 LLaMa-2 のソースコードはGithub で公開されており、プログラムはPython で実装されている。 LLaMa-2は以下の主な構成要素で成り立っている。 ・Pythonコード ・パラメータ ・トークナイザ LLM…
LLMはどうやってテキストを生成しているのか LLMが文章を生成する仕組みは、確率的な単語の予測に基づいています。 文を理解して、一語ずつテキスト生成します。 具体的には以下のようなステップで進みます。 1. トレーニングデータの学習 LLM は、大量のテ…
AIと生成AI、LLMについて AI（人工知能）とは？ ・人間の知的な作業をコンピューターに実行させる技術やシステムのことを指します。 生成AI（Generative AI）とは？ ・生成AI（Generative AI）とは、テキスト・画像・音声・動画・コードなどのコンテンツを新…
説明： 無制限消費（Unbounded Consumption）は、大規模言語モデル（LLM）が入力クエリやプロンプトに基づいて出力を生成するプロセスを指します。推論（Inference）はLLMの重要な機能であり、学習したパターンや知識を適用して適切な応答や予測を生成するこ…
説明 LLM（大規模言語モデル）による誤情報は、これらのモデルに依存するアプリケーションにとって根本的な脆弱性となります。誤情報とは、LLMが信頼できるように見える虚偽または誤解を招く情報を生成することを指します。この脆弱性により、セキュリティ侵…
説明： ベクトルと埋め込みの脆弱性は、大規模言語モデル（LLM）を用いた Retrieval Augmented Generation（RAG）システムにおいて、重大なセキュリティリスクをもたらします。ベクトルや埋め込みの生成、保存、または取得方法における脆弱性が悪意のある行…
説明 システムプロンプト漏洩（System Prompt Leakage） とは、LLM（大規模言語モデル）においてシステムプロンプトや指示文が意図せず漏洩し、それが攻撃に利用されるリスクを指します。 システムプロンプトとは？ システムプロンプトは、LLMの出力を特定の…
説明 LLM（大規模言語モデル）を利用したシステムは、開発者によって一定の「エージェンシー（行動権限）」を付与されることが多い。これは、LLMが関数を呼び出したり、拡張機能（ベンダーによって「ツール」「スキル」「プラグイン」とも呼ばれる）を通じて…
説明 不適切な出力処理とは、大規模言語モデル（LLM）が生成する出力を、他のコンポーネントやシステムに渡す前に、適切な検証・サニタイズ・処理を行わないことを指します。LLMが生成するコンテンツはプロンプト入力によって制御可能であるため、これはユー…
説明： データ・ポイズニングとは、事前学習（pre-training）、ファインチューニング（fine-tuning）、または埋め込みデータ（embedding data）が操作されることで、脆弱性、バックドア、またはバイアスが意図的に導入される攻撃を指します。この操作により…
LLM03:Supply Chain 概要 LLMのサプライチェーンはさまざまな脆弱性にさらされており、学習データ、モデル、デプロイメント（展開）プラットフォームの完全性が損なわれる可能性があります。 これらのリスクが現実化すると、バイアスのある出力、セキュリテ…
ソース： genaisecurityproject.com Sensitive Information は、LLM（大規模言語モデル）およびその適用されるアプリケーションのコンテキストに影響を及ぼす可能性がある。 この情報には以下が含まれる： 個人を特定できる情報（PII）（氏名、住所、電話番…
ソース： genaisecurityproject.com 内容： 「OWASP TOP10 for LLM Application 2025」 にはLLMを活用するアプリケーションに特有の脆弱性がリストアップされています。 ①Prompt Injection プロンプトインジェクションの脆弱性は、ユーザーの入力（プロンプ…
API の脆弱性テストを行うのに、OWASP が提供しているcrAPI (completely ridiculous API ) をインストールしようと。 crAPI: github.com 上記リンクにアクセスすると、まずはdocker をインストールしろと。 自分の検証用の環境は以下の通りで。 インスタンス…
Cookie Tossing 攻撃とは？ Cookie Tossing は、攻撃者が異なるドメインやサブドメインから意図的に悪意のあるクッキーをセットし、ブラウザのクッキー処理の仕様を悪用する攻撃手法で。これにより、ターゲットドメインのアプリケーションに影響を与え、認証…
