微調整の概要
微調整
Fine-tuning
意味
事前学習済みのモデルからトレーニングを継続し、その動作をより狭いタスク、ドメイン、形式、または好みに適応させます。
使用場面
プロンプトと検索だけでは、十分に一貫した学習済み動作を提供できない場合に利用します。
活用例
承認されたベースモデルを、レビューされたサポート応答で微調整し、変更されていないベースラインと比較する。生成AIエンジニアリング
AIファインチューニング・アラインメント用語
ファインチューニング、継続的な事前学習、指示チューニング、SFT、PEFT、LoRA、QLoRA、好みデータ、RLHF、DPO、GRPO、回帰評価、データ権限、プライバシー、バージョン管理、およびロールバックについて学習します。
54 件
微調整の概要
ダウンストリームタスク
Downstream task
意味
一般的な事前学習モデルを使用して実行される、特定のアプリケーションタスク。
使用場面
ファインチューニングデータとメトリックを選択する前に、これを正確に定義します。
活用例
ダウンストリームタスク：韓国語のサポートリクエストを、承認されたルーティング分類に分類します。微調整の概要
ドメイン適応
Domain adaptation
意味
モデルを、特定の分野や環境で見られる言語、パターン、または分布に適応させること。
使用場面
ターゲットのドメインが、モデルの一般的なトレーニング分布と大きく異なる場合に利用します。
活用例
モデルを承認された半導体メンテナンスドキュメントに適応させ、未知のマニュアルで評価する。微調整の概要
継続的な事前トレーニング
Continued pre-training
意味
タスク固有のチューニングの前に、追加のラベルなしデータまたは自己教師ありドメインデータを使用して、基本モデルをさらに事前学習します。
使用場面
少数の指示例では不十分な場合に、広範なドメインの言語適応に使用します。
活用例
ライセンスされたドメインコーパスで事前トレーニングを行い、その後、教師ありの指示チューニングを実行します。微調整の概要
指示チューニング
Instruction tuning
意味
モデルが、多様な自然言語タスクをより確実に実行できるように、指示と望ましい応答で微調整する。
使用場面
ターゲットユーザー、タスク、言語、および安全境界を反映した、多様でレビューされた指示を使用します。
活用例
要約、抽出、拒否、および説明をカバーする、指示応答の例でトレーニングします。微調整の概要
学習後
Post-training
意味
広範な事前トレーニングの後、タスクの追従、好み、安全性、またはデプロイメントの動作を改善するために行われるトレーニング。
使用場面
教師あり学習、好みの最適化、報酬モデリング、および関連するアライメント作業の包括的な用語として使用します。
活用例
各トレーニング後の段階、そのデータ、目的、チェックポイント、および評価基準を文書化してください。微調整の概要
教師ありファインチューニング (SFT)
Supervised fine-tuning (SFT)
意味
レビューされたターゲット応答またはラベルとペアになった入力から学習する微調整。
使用場面
レスポンス形式、タスク手順、トーン、および望ましい動作の例を教えるために使用します。
活用例
SFT の例: ユーザーリクエスト、承認されたアシスタントの応答、メタデータ、およびデータ権利レコード。微調整の概要
モデルのアライメント
Model alignment
意味
モデルの動作を、定義された人間の意図、ポリシー、好み、および安全要件により良く一致させるための取り組み。
使用場面
指示チューニング、好みの最適化、安全なトレーニング、および行動評価の背後にある広範な目標として使用します。
活用例
目標、許容されない動作、評価ケース、および人間の承認ゲートを定義します。微調整の概要
行動適応
Behavior adaptation
意味
モデルの応答、出力形式、手順の遵守、または不確実性の処理方法を変更しますが、現在の事実知識を獲得したとは想定しません。
使用場面
望ましい変更が、頻繁に変化する情報ではなく、安定した応答パターンに関するものである場合に利用します。
活用例
モデルを、必要なアカウント情報が不足している場合に、問い合わせを促すように適応させる。方法とアダプター
フルファインチューニング
Full fine-tuning
意味
ベースモデルのすべてのまたはほとんどのパラメータを更新する微調整。
使用場面
予想される利点が、大幅なメモリ、計算、ストレージ、および評価コストを正当化する場合にのみ使用します。
活用例
同じデータと評価セットを用いて、フルファインチューニングとPEFTベースラインを比較する。方法とアダプター
パラメータ効率的なファインチューニング (PEFT)
Parameter-efficient fine-tuning (PEFT)
意味
比較的少数のパラメータのみをトレーニングしながら、モデルを適応させる方法のファミリー。
使用場面
トレーニングメモリ、ストレージ、およびタスクごとのチェックポイントサイズを減らすために使用します。
活用例
承認された各ドメインに対して、ベースの重みを固定したまま、別のPEFTアダプターをトレーニングします。方法とアダプター
アダプター
Adapter
意味
特定の適応のために、基本モデルに付加または変更された、小さなパラメータのセット。
使用場面
タスク固有の変更と、共有された基本ウェイトを分離するために、アダプターを使用します。
活用例
承認された財務ワークフローでのみ、財務アダプタをロードします。方法とアダプター
低ランク適応 (LoRA)
Low-rank adaptation (LoRA)
意味
PEFTメソッドで、選択されたモデルモジュールに対して低ランクの更新行列を学習し、基本の重みを固定します。
使用場面
より小さなトレーニング可能な状態と再利用可能なアダプターが、デプロイメント設計に適合する場合に利用します。
活用例
選択された注意機構にLoRAを適用し、ランク、α、ドロップアウト、および対象モジュールを記録します。方法とアダプター
QLoRA
QLoRA
意味
ベースモデルを量子化された表現でロードしながら、LoRAアダプターをトレーニングする、ファインチューニングのアプローチ。
使用場面
ベースモデルのメモリを削減しながら、適切な基準に対して数値的な安定性と品質を検証するために使用します。
活用例
承認された基本モデルをサポートされている量子化形式でロードし、LoRAアダプタのみを学習します。方法とアダプター
量子化
Quantization
意味
モデルの値を、メモリ、ストレージ、または計算要件を削減するために、より低い精度形式で表現します。
使用場面
サポートされている方法とハードウェアが、許容可能な品質と数値的な動作を維持できる場合に利用します。
活用例
QLoRAの前に、量子化された基本モデルを評価し、記録形式、ビット幅、ライブラリ、および計算データ型を記録します。方法とアダプター
LoRA rank
LoRA rank
意味
LoRAアダプターで使用される低ランク更新行列の次元。
使用場面
より大きなランクが常に優れていると仮定するのではなく、容量とリソースのトレードオフとして調整します。
活用例
同じパラメータ、データ、ステップ数、および評価スイートを用いて、ランク8とランク16を比較する。方法とアダプター
LoRA alpha
LoRA alpha
意味
学習されたLoRAの更新の寄与に影響を与えるスケーリング設定。
使用場面
解釈がライブラリによって異なる可能性があるため、ランクと実装の詳細を合わせて記録します。
活用例
アダプターマニフェストに、ランク、アルファ、ドロップアウト、ターゲットモジュール、およびライブラリのバージョンを保存します。方法とアダプター
ターゲットモジュール
Target modules
意味
アダプターの更新を受け取るために選択されたモデルのレイヤーまたは投影。
使用場面
モデルのアーキテクチャ、サポートされている方法、および測定された品質に基づいて選択してください。
活用例
サポートされているクエリと値の投影を対象とし、次に、トレーニング可能なパラメータの数を検証してください。方法とアダプター
学習可能なパラメータ
Trainable parameters
意味
最適化が更新できるモデルパラメータのサブセット。
使用場面
精度とパラメータ効率の両方を比較できるように、カウントと割合の両方を報告します。
活用例
trainable parameters、total parameters、percentage、およびadapter checkpoint sizeをログに記録します。方法とアダプター
アダプターのマージ
Adapter merge
意味
学習されたアダプタの更新を、ベースの重みまたは別のアダプタ表現に組み合わせて、デプロイします。
使用場面
互換性、ライセンス、精度、品質、およびロールバックのチェックを行った後のみ使用します。
活用例
リリース前に、マージされたアーティファクトを、マージされていないベース+アダプター構成と比較して評価します。トレーニング形式
プロンプトと補完のペア
Prompt-completion pair
意味
入力プロンプトと、期待される完了を含むトレーニング例。
使用場面
一貫したスキーマを使用し、完了が正確なターゲットの動作を示すようにします。
活用例
{"prompt":"Classify the request","completion":"billing_refund"}トレーニング形式
指示と応答のペア
Instruction-response pair
意味
自然言語による指示または会話と、モデルが学習すべき応答を組み合わせた、教師ありの例。
使用場面
SFT (Supervised Fine-Tuning) に使用し、各例に対してソース、権利、レビュー、および品質のメタデータを保持します。
活用例
{"messages":[{"role":"user","content":"배송 취소 방법을 알려줘"},{"role":"assistant","content":"주문 내역에서 취소할 주문을 선택하세요."}]}トレーニング形式
チャットテンプレート
Chat template
意味
チャットモデルが期待するトークンシーケンスに、システム、ユーザー、アシスタント、およびツールメッセージを変換する、書式設定ルール。
使用場面
トレーニングと推論の両方で、選択された基本モデルと互換性のあるトークナイザーとテンプレートを使用してください。
活用例
承認済みのチャットテンプレートを、データセットの前処理と本番環境での推論の両方で利用します。トレーニング形式
システム、ユーザー、およびアシスタントの役割
System, user, and assistant roles
意味
会話型トレーニングデータにおける、永続的な指示、ユーザー入力、およびモデルの応答を区別するメッセージロールラベル。
使用場面
選択されたモデルのチャットテンプレートでサポートされている役割と順序のみを使用します。
活用例
システム: ポリシーと役割; ユーザー: リクエスト; アシスタント: レビューされたターゲット応答。トレーニング形式
レスポンスマスキング
Response masking
意味
損失計算から選択された入力トークンを除外することで、トレーニングを意図した応答トークンに集中させます。
使用場面
モデルが、すべてのプロンプトトークンをターゲットとして扱うのではなく、アシスタントの出力を学習するように設計されている場合に利用します。
活用例
損失からシステムとユーザーのトークンをマスクし、トークン化後にアシスタントの境界を検証します。トレーニング形式
シーケンスパッキング
Sequence packing
意味
パディングを減らし、利用率を向上させるために、複数の短い例を、より長いトレーニングシーケンスに組み合わせます。
使用場面
例の境界、注意の振る舞い、ラベル、および終了トークンが正しい場合のみ使用します。
活用例
短いダイアログをコンテキスト制限内でまとめ、1つの例が次の例に漏れないことをテストする。トレーニング形式
微調整のコンテキスト長
Fine-tuning context length
意味
フォーマットおよびトークン化された後の、各トレーニングシーケンスで使用される最大トークン長。
使用場面
基本モデル、ターゲットタスク、メモリ予算、切り捨てのリスク、およびプロダクションリクエストパターンに応じて設定します。
活用例
トークン長の分布を測定し、重要なコンテンツを保持しつつ、過剰なパディングを避けるための制限を選択します。トレーニング形式
好みのデータセット
Preference dataset
意味
別のモデルの出力に対する比較判断または報酬を記録するデータセット。
使用場面
ドキュメント化されたラベリングルールとレビュー品質チェックによる報酬モデリングまたは嗜好性の最適化に使用します。
活用例
プロンプト、候補応答、優先結果、理由ポリシー、レビュアーグループ、および同意ステータスを保存します。トレーニング形式
選択された応答ペアと拒否された応答ペア
Chosen and rejected response pair
意味
定義された優先基準をより良く満たすものを識別するためにラベル付けされた、2つの候補応答。
使用場面
意味的に異なるペアを使用し、個人的な好みではなく、一貫した評価基準を適用します。
活用例
選択：提示されたポリシーを引用し、不確実性を表明。 却下：サポートされていない期限を捏造。好みの整合性
Human feedback
Human feedback
意味
モデルの動作を誘導するために、人々によって提供される構造化された判断、ラベル、デモンストレーション、または修正。
使用場面
レビュー担当者の資格、指示、意見の相違の処理、プライバシー、報酬、および品質保証を定義します。
活用例
トレーニング前に、校正されたレビュアーを使用し、重大な意見の相違を解決します。好みの整合性
人間からのフィードバックによる強化学習 (RLHF)
Reinforcement learning from human feedback (RLHF)
意味
人間の好み信号と強化学習技術を使用して、モデルの動作を調整する、トレーニング後のアプローチのファミリー。
使用場面
明確な報酬設計、安定したトレーニング環境、安全性の評価、および強力なデータガバナンスがある場合のみ使用します。
活用例
報酬信号をトレーニングおよび検証し、ポリシーを保守的に最適化し、SFTベースラインと比較します。好みの整合性
リワードモデル
Reward model
意味
学習された好みまたは品質シグナルに基づいて、候補の出力をスコアリングするモデル。
使用場面
トレーニングまたは選択プロセスが、文書化された好みのスケーラブルな近似を必要とする場合に、使用します。
活用例
保留された比較において、報酬モデルの精度、キャリブレーション、サブグループの動作、および悪用可能性を評価します。好みの整合性
好みの最適化
Preference optimization
意味
比較的な好み、報酬、または関連するフィードバック信号を使用してモデルの動作を更新する、学習後のプロセス。
使用場面
直接優先順位付けと強化学習アプローチを含む、広範なカテゴリとして使用します。
活用例
優先順位のルブリック、参照動作、最適化方法、および保持評価を定義します。好みの整合性
AIからのフィードバックによる強化学習 (RLAIF)
Reinforcement learning from AI feedback (RLAIF)
意味
フィードバックをAIシステムによって生成または支援されたものを使用し、直接的な人間の判断だけに依存しない、強化学習アプローチのファミリー。
使用場面
検証済みのフィードバック基準、人間の監視、バイアスチェック、および自己強化エラーに対する安全策がある場合のみ使用します。
活用例
ポリシーの最適化を行う前に、AI のフィードバックを、専門家による判断の保持されたデータセットと比較して調整します。好みの整合性
強化学習によるファインチューニング
Reinforcement fine-tuning
意味
グレダー、環境、ルール、またはフィードバックモデルによって生成された報酬信号から、モデルの動作を最適化する微調整。
使用場面
結果を確実に評価でき、トレーニングシステムが報酬の不正利用、安定性、および機能の維持を監視できる場合に利用します。
活用例
検証可能なタスクの結果をスコアリングし、保守的に最適化し、変更されていないベースラインと SFT ベースラインと比較します。好みの整合性
直接好みの最適化 (DPO)
Direct preference optimization (DPO)
意味
選択された応答と拒否された応答を直接使用して、参照動作に対するポリシーを更新する、優先学習法。
使用場面
適切なペアの好みと、互換性のあるトレーニング実装が利用可能な場合に利用します。
活用例
承認されたSFTチェックポイントからDPOをトレーニングし、有用性、安全性、および機能の維持を比較します。好みの整合性
近接ポリシー最適化 (PPO)
Proximal policy optimization (PPO)
意味
リワード信号を最適化しながら、更新サイズを制限するポリシー最適化アルゴリズム。
使用場面
報酬、価値、ロールアウト、および安定性モニタリングをサポートできる強化学習パイプラインに使用します。
活用例
PPO中に、報酬、参照モデルからの乖離、応答の長さ、および安全性の指標を追跡します。好みの整合性
Group relative policy optimization (GRPO)
Group relative policy optimization (GRPO)
意味
同じプロンプトに対する複数のサンプル出力の報酬を比較して、相対的な利点を推定する強化学習法。
使用場面
グループサンプリング、報酬の品質、トレーニングの安定性、および計算コストがタスクに適合する場合のみ使用します。
活用例
各問題に対して複数の解決策をサンプリングし、検証済みのチェックでスコアリングし、グループ相対報酬から最適化します。評価と回帰
微調整の検証損失
Fine-tuning validation loss
意味
モデルを更新せずに、保持されたファインチューニングのサンプルで測定される損失。
使用場面
タスク、安全性、および動作に関する指標とともに使用します。なぜなら、損失が低いだけでは、より優れた本番環境での動作を証明するものではないからです。
活用例
検証損失と、固定された本番環境スタイルの評価スイートを使用して、候補チェックポイントを選択します。評価と回帰
Holdout evaluation
Holdout evaluation
意味
トレーニングおよびモデル選択のフィードバックから意図的に除外された例での評価。
使用場面
未知のケースにおけるパフォーマンスの偏りの少ない推定を行い、セットを繰り返しチューニングすることから保護するために使用します。
活用例
候補チェックポイントを選択した後にのみ、ロックされたホールドアウトスイートを実行します。評価と回帰
チェックポイントの選択
Checkpoint selection
意味
事前定義された品質、安全性、コスト、および回帰基準に基づいて、どの保存されたトレーニング状態を適用するかを選択してください。
使用場面
固定の評価スイートを使用し、トレーニング損失のみを選択しないでください。
活用例
タスク、安全性、多言語対応、レイテンシ、および記憶に関するゲートを通過したチェックポイントを推奨します。評価と回帰
ベースモデルの比較
Base-model comparison
意味
ファインチューニングされたモデルと変更されていないベースモデルを比較する、管理された評価。
使用場面
ファインチューニングによる変更を特定するために、プロンプト、検索、デコード、およびデータセットを同一にします。
活用例
基本モデルとチューニングされたモデルの両方について、勝率、同率、回帰、レイテンシ、およびコストを報告します。評価と回帰
破滅的な忘却
Catastrophic forgetting
意味
新しいデータまたは目標に対して強くトレーニングした後、以前に学習した機能が失われる現象。
使用場面
チューニング後、モデルの一般的な機能、言語、安全な動作、およびドメイン外のタスクをテストします。
活用例
ファインチューニング前後に基本機能スイートを実行し、重大な劣化を防止します。評価と回帰
機能の低下
Capability regression
意味
ファインチューニングまたはデプロイメントの変更後に、既存のモデルの機能が低下する現象。
使用場面
トレーニングとリリース前に、重要なタスクの回帰閾値を定義します。
活用例
多言語抽出の精度が許容範囲を下回った場合、リリースを中止する。評価と回帰
安全性の劣化
Safety regression
意味
適応後、拒否、プライバシー、公平性、または有害コンテンツの動作が改善されること。
使用場面
各候補チェックポイントに対して、ターゲットを絞った敵対的評価とポリシー評価を実行します。
活用例
脆弱性回避（jailbreak）、PIIの公開、バイアス、および不適切な応答率を、承認された基準値と比較します。評価と回帰
トレーニングデータの暗記
Training-data memorization
意味
モデルが、望ましい汎化を超えて、特定のトレーニング例を保持し、再現する可能性があること。
使用場面
リリース前に、異常なフレーズの再現、機密情報、個人データ、およびほぼ同一の出力がないかテストします。
活用例
ホールドアウトされたプレフィックスを調査し、モデルが機密情報を生成する場合、リリースをブロックします。評価と回帰
微調整と RAG の比較
Fine-tuning versus RAG
意味
モデルの動作をトレーニングによって変更するか、リクエスト時に外部知識を提供するかの設計上の決定。
使用場面
現在または頻繁に変更される事実には検索を優先し、安定した動作、形式、またはタスクのパターンにはファインチューニングを優先します。 必要に応じて、両方の組み合わせを評価します。
注意
微調整は、頻繁に変更される情報を自動的に最新の状態にしたり、ソースの引用を提供したりするものではありません。
活用例
現在のポリシーにはRAGを使用し、承認された応答構造にはSFTを使用します。権利と運用
微調整のデータに関する権利
Fine-tuning data rights
意味
モデルの適応に使用するために、データを使用するために必要なライセンス、許可、契約条件、およびその他の権限。
使用場面
ソースレベルおよび例レベルで権利を確認し、出所、制限、および削除手順を保持します。
注意
オンラインでの可用性、APIへのアクセス、またはファイルの所有権は、それ自体ではファインチューニングの権利を付与しません。
活用例
ソース、権利者、ライセンスまたは許可、許可されたトレーニング利用、地域、期間、および削除連絡先を記録します。権利と運用
ファインチューニングにおける個人データ
Personal data in fine-tuning
意味
識別可能な個人を特定したり、関連付けたりできる適応データ内の情報。
使用場面
トレーニング前に、最小化、匿名化、適切な権限の取得、アクセス制限、および保持と削除の定義を行います。
活用例
名前と口座識別子を制御されたプレースホルダーに置き換え、変換されたデータセットを検証します。権利と運用
モデルレジストリ
Model registry
意味
モデル、アダプター、チェックポイント、評価、承認、およびデプロイメントに関するメタデータの管理されたカタログ。
使用場面
どのアーティファクトが承認済み、デプロイ済み、非推奨、またはロールバックの対象であるかを追跡するために使用します。
活用例
モデルのダイジェスト、ベースバージョン、アダプター、データセット、評価、所有者、承認、およびデプロイメントステージを登録します。権利と運用
アダプターの提供
Adapter serving
意味
1つの基本モデルを使用し、推論時に選択可能なタスクまたはドメイン固有のアダプターを提供します。
使用場面
実行時に、アダプターを分離し、選択を許可し、メモリを管理し、バージョン互換性を維持できる場合に利用します。
活用例
承認された財務リクエストを、財務アダプターにルーティングし、正確なベースバージョンとアダプターのバージョンを記録します。権利と運用
微調整プロバイダーのデータポリシー
Fine-tuning provider data policy
意味
アップロードされたトレーニングデータ、保持期間、削除、モデルへのアクセス、地理的な処理、および二次利用に関する、サービスプロバイダーの利用規約と制限事項。
使用場面
どのデータセットをアップロードする前にも、現在の契約と製品ドキュメントをレビューし、承認された構成を記録します。
注意
プロバイダーのポリシーは変更される可能性があります。各トレーニングプログラムの前に再確認し、API アクセスがデータ使用権を付与することを決して想定しないでください。
活用例
保持期間、削除プロセス、トレーニング利用設定、アクセス権、地域、暗号化、およびインシデント対応手順を確認します。権利と運用
微調整されたモデルのバージョン管理
Fine-tuned model versioning
意味
チューニングされたモデルを生成した、正確なベースモデル、アダプターまたはチェックポイント、データ、コード、および構成を追跡します。
使用場面
評価、インシデント、ロールバック、および監査が同じアーティファクタを参照できるように、不変の識別子を使用します。
活用例
Version = base model digest + adapter digest + dataset hash + code commit + training config.権利と運用
微調整のロールバック
Fine-tuning rollback
意味
問題が検出された後、承認済みのモデルまたはアダプターに、既存のトラフィックを戻します。
使用場面
アーティファクトの保持、互換性チェック、ルーティング制御、および意思決定権限とともに、リリース前に準備します。
活用例
承認されたベースとアダプターの組み合わせをデプロイ可能な状態に保ち、ロールバック手順をテストします。プロンプト、RAG、またはファインチューニングの選択
信頼性のある要件を満たす最も単純なアプローチから始め、必要に応じて組み合わせを評価します。
| 必要なもの | 最初に検討すべきアプローチ |
|---|---|
| 回答の形式またはトーンを改善します。 | プロンプト設計またはSFT (Supervised Fine-Tuning) |
| 現在のドキュメントまたはプライベートドキュメントからの回答 | ソースに基づく検索を使用した RAG |
| 繰り返し可能なタスクの動作を学習します。 | 代表的な例を使用した微調整 |
| 幅広い業界の用語やパターンに適応する | 継続的な事前トレーニングまたはドメインごとのファインチューニング |
| 応答の好みと拒否から学習します。 | DPOまたは、検証済みの別の最適化手法 |
SFT、DPO、および GRPO の比較
これらの方法は、異なるデータを使用し、異なる信号を最適化するため、ファインチューニングのための相互に代替可能なラベルではありません。
| 方法 | 典型的なデータと目的 |
|---|---|
| SFT | 指示と応答、またはラベル付けされた例。レビューされた目標の動作を再現するように学習します。 |
| DPO | 選択/拒否された応答ペア。参照動作に対する相対的な好みを直接向上させます。 |
| GRPO | 複数のサンプル出力と検証された報酬を使用し、グループ相対的な利点から最適化します。 |
よくある質問
事前学習とファインチューニングの違いは何ですか？
事前学習は、大規模なデータセットで広範なパターンを学習し、基本モデルを生成します。 ファインチューニングは、この基本モデルから開始され、より狭いデータと目的を使用して、特定のタスク、形式、ドメイン、好み、または安全な動作に適応させます。
現在の知識は、RAGまたはファインチューニングで追加すべきですか？
頻繁に変化する、またはソースに依存する知識は、通常、RAGに適しています。なぜなら、ドキュメントは更新可能であり、リクエスト時に引用できるからです。 ファインチューニングは、通常、安定した動作、形式、またはタスクパターンに適しています。 一部のシステムでは、両方を組み合わせることもあります。
LoRAとQLoRAの違いは何ですか？
LoRAは、基本モデルの重みを固定したまま、低ランクのアダプタの更新を学習します。QLoRAはさらに、基本モデルをサポートされている量子化形式でロードし、メモリを削減します。正確なスタックについては、品質と互換性を評価する必要があります。
ファインチューニングによって、現在の事実と引用が自動的に追加されますか？
いいえ。チューニングされたモデルは依然として古くなる可能性があり、生成された主張のソースを必ずしも明らかにするものではありません。鮮度と引用が重要な場合は、検索または他の検証されたデータ接続を使用してください。
SFT、DPO、またはGRPOは、どのような場合に利用すべきですか？
レビュー済みのターゲット応答にはSFTを使用し、比較可能な優先ペアにはDPOを使用し、複数のサンプル出力で信頼できる報酬があるタスクにはGRPOを使用します。 データ、目的、評価、安全性、および計算要件を確認してから選択してください。
ファインチューニングデータをプロバイダーにアップロードする前に、何をチェックする必要がありますか？
データ権、同意、機密性、個人データ処理、プロバイダーの利用規約、保持期間と削除、地理的処理、モデルアクセス制御、二次的なトレーニング利用、暗号化、インシデント対応、および現在の契約を確認します。
公式参考資料
- Hugging Face Transformers — Fine-tuning
データセット、トークン化、トレーニング引数、評価、およびチェックポイントを使用して、事前学習済みのモデルからトレーニングを継続するための公式ガイド。
- Hugging Face PEFT — LoRA
LoRAの設定、ランク、アルファ、ターゲットモジュール、およびパラメータ効率的な適応に関する公式の概念ガイド。
- Hugging Face TRL — Quickstart
SFT、報酬モデリング、DPO、およびGRPOなど、トレーニング後の方法に関する公式の概要と例。
関連用語ガイド
- AIモデル学習・トレーニング用語
まず、データセット、バッチ、エポック、損失、最適化、汎化性能、ハードウェア、および再現性をレビューします。
- AIプロンプト設計用語
トレーニング前に、指示、例、スキーマ、またはプロンプトチェーンで要件を解決できるかどうかを確認します。
- RAG・文書検索用語
現在の、機密の、ソースに基づいた知識が必要な答えの場合に、検索の概念を使用します。
- AI出力検証・評価用語
チューニングされたモデルの評価を、固定データセット、ベンチマーク、人間のレビュー、回帰テスト、レイテンシ、およびコストと連携させる。