LLMプロダクト開発Opsについて話しましょう！
こんなこと話せます
Gaudiy では今 LLM をかなり踏み込んで使ったプロダクト開発をしており、その中で見えてきた辛みやそれに対応するための仕組みの知見なども溜まってきております。
具体的には…
- プロンプトチューニングの効率化
- 変数ごとの掛け合わせのクオリティ確認
- 並列実行
- 繰り返し実行による品質の揺らぎの確認
- LangSmith を活用した実プロンプトを使ったチューニング
- エージェントによる複雑なコンテキストにおけるチューニング
- 評価
- LangSmith の Evaluation を使ったテスト
- ユーザからのフィードバック機能
- トークン量節約
- これもうプロンプトどうこうでなく fine-tuning 取り組まないといけない気がするけどどうすればいいの？
などなど。
Gaudiy はエンタメという領域も相まって LLM の性質と相性がいい(ハルシネーションがクリティカルな問題になる場面が少ない) & 実プロダクトにしっかり価値のある形で活用できて LLM 好きな人にはかなり面白い環境となっていると思うのでぜひ色々お話ししましょう！
こんな人とお話ししたい
- LLM プロダクト開発に取り組まれている方・興味がある方
自己紹介
名前： seya
役割：フロントエンドエンジニア？
Gaudiy では最近はフロントエンドエンジニア兼 LLM Ops を頑張る人として働いています。