【AIエンジニアリング】オライリー翻訳者が語る、ソフトウェアエンジニアのためのAIシステム構築論
AIエンジニアリングの定義
AIエンジニアリング
―基盤モデルを用いたAIアプリケーション開発の基礎と実践
Chip Huyen 著、加賀谷 諒、菅野 憲也 訳
モデルの学習をするかしないか
MLエンジニアリング
AIエンジニアリング
LAG,AGENT,ファインエンジニアリング
ML プロンプトで
AIエンジニアリング
調整する作業
機械学習の知識いらないけど
最低限のMLの知識は?
最低MLの知識はあった方がいい
デバッグとか知識あったらいい
海外
英語圏はエンジニアリング知らなくてもすごいのができる
知った方が便利
確率論的な挙動でどう向き合うか?
ソフトウェアエンジニアリングに近い領域
App作るの人はかわらない
MLより決定論
プロント改善で実用レベルは厳しいケースはある
一番ライトな適用手法 プロンプト
適用と評価
RAG
知識とか社内の〜足りない時
ファインチューニング
固定したいとか、コスト下げたい
エージェント/ワークフロー
複雑な処理など、API更新とかを一律にやりたいなど
プロンプトからの具体的な判断基準
ファインチューニング
プロンプトに収まる範囲でやりましょう
テキストに入れられる量は年々大きくなる
MAXだったらいいとは限らない
コンテキスト汚染
先頭の情報をつかいがちとか
真ん中忘れがち
バイアスとか
本は2年前の情報
基本的な基礎知識
AIに任せないものは?
書籍関連ではない・・・
ブログとか
自分でやって楽しいところとか
ファンデーションモデル
従来の機械エンジニアとは異なる
数学の博士号はいらないとはいってない
レイヤー
アプリケーション開発
↓
モデル開発
↓
インフラストラクチャ
質問増えたらキャッシュ
安全性のためにガードレール
シンプルに始めましょう
コンテキストの強化
LLM
RAG入れる
コンテキストエンジニアリング
LLMに対する
プロンプトエンジェクションを防ぐ
フォーマット、JSONなど正しいか、はるしネーションがないか
入力と出力
ルーティング
ユーザーの意図(インテント)を分類し、難易度やコストに応じて
適切なモデルや処理フロー(RAGを使うか、FAQで返すか等)に振り分ける
モデルゲートウェイ
OpenAIやGoogleなど異なるプロバイダーのAPIを統一的に扱うインターフェース。アクセス制御、コスト管理、フォールバック(障害時の切り替え)などを一元管理
キャッシュの導入(コスト・レイテンシー削減)
過去の応答や計算結果を再利用するキャッシュシステムを導入
完全一致キャッシュ
セマンティックキャッシュ
同じクエリが来たら保存済みの応答を返す
意味的に近いクエリであれば、過去の応答を再利用
(ベクトル検索を使用)
[Step.5]
エージェントパターンの追加(自律的なアクション)
モデルが外部環境に対して「書き込み」や「複雑なループ処理」を行えるように
書き込みアクション
メールの送信、注文の確定、データベースの更新など、現実世界に影響を与えるアクションを実行
ループ(フィードバック)
生成された応答をシステムにフィードバックし、タスクが完了するまで思考と実行を繰り返す
ジェミニのディープリーサーチ
LLMに
書籍から紐解く、AIシステムの「育て方」とアーキテクチャ設計
ロードマップ-全体を支える横断的機能-
モニタリングとオブザーバビリティ
・監視:エラー検知、回答品質、コスト、レイテンシー、ドリフト(精度劣化)を継続監視。
・トレース:クエリがどのコンポーネントを通り、どこで遅延・エラーが起きたかを追跡可能にする。
オーケストレーション
・パイプライン定義:検索、プロンプト構築、モデル実行、評価の一連の流れを定義。
・データフロー管理:各コンボーネント間のデータの受け渡しを統合管理。
どこでエラーが起きてるかを検知できるか
運用するサイクル
データフライフホイール
Model、Data、Product
まずプロダクト作って、サイクルを回す
Product First
まずプロダクト(デモ)を出し、ユーザーに使ってもらうところからスタート
フィードバック収集
ユーザーの利用データこそが、他社と差別化する競争力の源泉となる
改善への還流
収集したデータを「評価用データ」や「ファインチューニング」に使い、システムを買くする
リジェクトなどのユーザの行動から推測
AIエンジニアのプロセス
ある種特有な
モデルアップデート
新しいのがいいが
プロンプトが変わってしまうので、アップデートしににくい
進化が激しい
癖がある
RAG掲載されているか?
こういう懸念点とかがある
RAGの細かいこととか
アカデミックなつよみすみわけ
AIエンジニアの捉え方AI開発
Anthropic
Anthropic(アンスロピック、アンソロピック)とは、OpenAIの元メンバーによって設立されたアメリカの人工知能 (AI) のスタートアップ企業および公益法人である 。
間口が広い