AIとは平均値をちょっと良くしただけの物‐誰も論破できない最終定義

AI業界の不都合な真実

『AIってね平均値をちょっと良くしただけのもんなんですよ。ぐふふふふ』という定義を知人が言い出した事がありまして…
居合わせたデータサイエンティスト全員が『ぐぬぬぬ』となってしまい
様々反論を試みていましたが、何をどう頑張ってもこの命題を否定することができませんでした
あの手この手で様々な難しい説明をされる方もいらっしゃいましたが、どれもこれも、この命題を論破できる物は見つけられなかったのです。
中には『ちょっと』の定義次第という結論に逃げてしまったサイエンティストもいらっしゃったと記憶しています。

わが社のAIが平均値に負けてるだと？

自社で（もしくは外注企業様に依頼して）構築したAIが、どうもイケてない（この表現が結構トリッキーなのですが）
というご相談をいただくことは、この業界にいる限り結構多いです。
AIブームと言うのかバブルの帰結というのか、悲しいお話なのですが、『なのでモデルを見直して改善したい』というパターンと『ビジネス現場がそっぽむいちゃったから、何とかしてほしい。予算はない。精度は3倍にしたい』などな無茶なご相談と様々です

平均値に負けてるAIはあるのか？

実は、上記の相談を受けて、モデル改善業務に取り組む時には、『平均値・移動平均、ランダムに白黒つけた時』と比べて『どちらの正解数が多いか』を比較しています。
利用するデータをそのままにして、複雑なモデル、様々なパラメータを調整してある既存モデルと、（最近は、ちまたで売っているAUTOMLを当てはめただけの、ブラックボックスの物もありますが）新しく作るモデルで競争させても、基本的に予測精度がいきなり３倍改善するという事はほぼありません。

それと、『精度評価指標』がビジネス側から見ると分かりにくくて仕方ないので、精度評価自体が困難極まりない話になる事が多いため（このトピックはまたの機会に）具体的に予測して、その値が正解に近い方を勝ち、遠い方を負け、としてあげるほうがビジネス側には分かりやすいです。

ここからが辛い所なのですが、〇百万円、〇千万円、（時には億）を超える開発費を投入したAIが、ちょっと工夫した平均値に大負けする事も多々ありました。

改善方法はどうするか

ここから先は[有料会員に登録するボタン]！なんてことはいたしません。

なのですが、予測テーマによってやり方色々になってしまいます。というのが実情だったりいたしまして。

具体的なご相談がありましたら、[お問い合わせ]ページからお問い合わせください。

初回２時間ｘ２～３回程度のご相談であれば、無償範囲でご対応いたします。

最後に

本テーマはAI業界には不都合な真実になるかもしれません。ですが…

このようなご相談を受けてお話をお伺いしてみても、完璧に作りこまれていたAIモデルも多数存在するのも事実です。

中には『評価指標の解釈を何度聞いても分からない』だけのケースも多数ありました。