仕事での生成AIの使いどころを試行錯誤しています。
壁打ちはいい感じ。調べものも良さそう、と思っていたのですが。
調べものの根拠（ソース）を示させる
上記の記事を引用しつつ書いた先週のまとめでは、全然土地勘のない分野について、生成AIに調べさせ、それを自分で消化するというのをやってみた。すごい早くて便利、としつつ、
正しいのかそれ？というのが問題になるところですが、何しろ分野が法律です。条文のソースを要求すれば検証ができるのでなんとかなっております。
と書きました。まあそれはそうだろう、と思っていたのですけれども。
別の仕事で、日本の法律上に定められた手続をしていくのに際し、法律上の要求が複数あるため、実務上そのスケジューリングが複雑で、一旦作ったものを何かの都合で動かす羽目になったため、どうやったらいいのかAIに質問してみました。条文の根拠もつけてね、と念押しして。
作ってはくれたのですが、いやそれダメでしょ〜という回答を久しぶりにもらいました。残念。根拠として出してきた条文がいつのだ？というのだったり（見に行かなくても分かるレベルだった）、条文を表示しているんだけど、裏取りに行ったら違うし、だったり。
他社例の開示も探してきて、とお願いしたのですが、それもちょっと違うものを引っ張ってきたりされまして。
そうね、WEB上で検索すると、新旧混じっているし、それが正しいかどうかを判断する術を持たないのよね、ということが分かりました。条文上は非常に複雑な書かれ方をしているので、ざっくりチェックしてくれると大変楽なんだけどな〜と思ったのですが、これは向かなかった。ソースを限定して法令データベースとかにしてしまえばできるのかもしれませんが、ひとまず現段階はちょっとこのやり方はやめておこう、です。ギリギリ攻めるのはまた後で。
判断するのはまだ専門家（人）です？
正誤の判断を任せるにはデータソースの玉石混交具合がまずい、ということなので、そこに工夫がなされていれば行けるのだと思います。分野別のモデルはそこに意味があるのでしょうし、どんどん発展していくのでしょう。が、そこまでの段階に至っていなかったり、汎用のものでひとまず支援してもらうのであれば、向き不向きを見極めて、判断のところは専門家である自分がやる方が硬いイマココなのかな、と思いました。
そこにどれだけのリソースをつっこめるかでこの先差は開くだろうなとか思いつつ。
