MLエンジニア不在で機械学習をプロダクトに組み込む挑戦
Webアプリケーションエンジニア1,2名でML手法を試行錯誤していた時代から、全エンジニアでChatGPT APIを使って生成AIで価値創造していく現在までの流れを話しました。ご清聴ありがとうございました。
2023/8/20
質問・感想は #helpfeel_tech で！
daiiz
Heplfeel アーキテクト
ウェブアプリケーションエンジニア
設計、実装、ドッグフーディング
FAQ検索システム Helpfeel
ユーザーを適切な記事に導くために、必要十分な質問文を用意する
実例
HelpfeelとAI
AIで支援できる領域
🖊 生成AI関連の機能 ①
Generative Writer
🖊 生成AI関連の機能 ②
意図予測支援ツール
🔍 生成AI関連の機能 ③
Contact Sense AI
MLエンジニアなしで機械学習と向き合ってきた話
ChatGPT API 登場以前
1人時代
2人時代
ChatGPT API 登場
全員時代
1人時代
ChatGPT登場以前
Helpfeelに機械学習の手法を組み込むとしたら？
古典的なNLP
BERT
T5 (Text-to-Text Transfer Transformer)
手を動かして理解する
当時の技術での限界を書き残す
新技術を入手したときの再開地点になる
例: 古典的なNLP
形態素解析、係り受け解析、意味解析
抽出要約と抽象要約
全文検索のスニペット生成
検索結果での視認負荷が高まっただけ
作文タスクが難しいことを再認識
例: BERTでの検索タスク
文章ベクトルのクラスタリング
質問文集合の大きさと距離の可視化
例: BERTでの生成タスク
基本的な穴埋め問題
類義語を用いた質問文の機械展開
人間とAIで協働していいものを作っていく方針に可能性を見い出す
細かく軌道修正
テクニカルフェロー
さんや他のチームからフィードバックをもらう
満足に説明できないところを炙り出す
研究室訪問
自然言語処理とAIに関する専門知識の理解
次の一手となるアイデアをもらう
専門外のことに挑戦しているので、細かくLoss評価して軌道修正した方がいい。これはLLMも人間も同じ！
2人時代
さんが参戦してMLチームメンバー2倍に！！
ML Working Groupが発足
話題の論文を共有
デモを見せあって議論
仲間が増えてやれることが広がっていく
T5への理解が深まる
fine tuningにより質問文の言い換え精度が向上した例
Before / After
Input: 商品が壊れていた。返金してほしい。
Input: フリーローンの繰り上げ返済をしたい
「手元でできたとて」問題
実運用するメリットはあるのか？ 耐えられるのか？
評価が大変
特殊ケースだけうまくいっている可能性の排除
すべてのFAQで全体的に良くなったのか
運用が大変
モデルのデプロイ
モデルのファインチューニング
業界ごとにモデルを作ったほうが精度が良さそう
最新のデータセットで定期的に作り直さないといけない
ChatGPT API 登場
障壁となっていた問題がほぼ解決
生成される文章の調整と精度保証
→ プロンプト調整
題材ごとのファインチューニング
→ 基盤モデルが優秀なので当面は不要
MLOps
→ REST API呼び出しだけでよい
チャンス到来！！
全員で生成AIを活用
誰でも扱えるようになった。やはりChatGPTは偉大！
これまでの基礎知識の延長線上にある
製品としての完成度を考える
簡単に扱えるようになったからこそ大事にしたい
UIと馴染んではじめて成功
ML技術だけに注目してはいけない
ユーザーの検索体験を向上するためにどうすべきなのか
一緒に作りましょう！
鋭意開発中の未来
検索のさらなる強化
プロフェッショナル向けの執筆支援
真のチャットボット
このあとのパネルトークをお楽しみに！