LLMの内部構造 LLMの内部構造を見るにあたり、LLaMA-2 を例に。 LLaMa-2 のソースコードはGithub で公開されており、プログラムはPython で実装されている。 LLaMa-2は以下の主な構成要素で成り立っている。 ・Pythonコード ・パラメータ ・トークナイザ LLM…

LLMはどうやってテキストを生成しているのか LLMが文章を生成する仕組みは、確率的な単語の予測に基づいています。 文を理解して、一語ずつテキスト生成します。 具体的には以下のようなステップで進みます。 1. トレーニングデータの学習 LLM は、大量のテ…

AIと生成AI、LLMについて AI（人工知能）とは？ ・人間の知的な作業をコンピューターに実行させる技術やシステムのことを指します。 生成AI（Generative AI）とは？ ・生成AI（Generative AI）とは、テキスト・画像・音声・動画・コードなどのコンテンツを新…