Power Query vs Power Query Onlineの違いとは？GPT嘘つき理由
Power Query
Power Queryと言われるとExcelのアドインツールですっけ？
Excel 2010 and 2013の頃からのExcelユーザーさんにとっては、Power Pivotのおまけ。Excel 2016には一瞬Get & Transformになって、以降 Power Queryになった歴史があります。
PowerBI/Excel上級者への道
データサイエンティストを養成しようと思った時、まず、Excelが思い浮かびますが、自由度の高さからExcel本来の使い方でない自由な（微妙な）使い方が多く、エンジニアの皆さんのtweet、FacebookでExcel方眼紙撲滅が叫ばれている状態です。
とは言え、Microsoftさんがガントチャートやら何やら様々なテンプレートをExcelを駆使して紹介してくれているので、エンジニアの皆様は絶望するか、SIerさん達のように魔改造に魔改造を重ねたExcel方眼紙ガントチャートやらドキュメントやら、プレゼンテーションを駆使しているかのいずれかの用法が考えられます。
Excel デザイン テンプレート | Microsoft Create
次のプロジェクトを開始するのに役立つカスタマイズ可能な Excel デザイン テンプレートを検索します。次にいくつかの数値を処理する必要がある場合に、作業をすぐに開始…
そこで、Power BIだけに絞ると、用法がBIに限定されている事もあり、流石にPowerBIガントチャートは…あったりします
が、方眼紙までは存在しない（はず）なので、気を取り直して本題に戻りましょう。
Power Queryとは
Power Query は、データ変換エンジンおよびデータ準備エンジンです。 Power Query には、ソースからデータを取得するためのグラフィカル インターフェイスと、変換を適用するための Power Query エディターが付属しています。 エンジンは多くの製品やサービスで利用できるため、データが保存される宛先は、Power Query が使用された場所によって異なります。 Power Query を使用すると、データの抽出、変換、および読み込み (ETL) 処理を実行できます。
Power Query は、データ変換エンジンおよびデータ準備エンジンです。 Power Query には、ソースからデータを取得するためのグラフィカル インターフェイスと、変換を適用するための Power Query エディターが付属しています。 エンジンは多くの製品やサービスで利用できるため、データが保存される宛先は、Power Query が使用された場所によって異なります。 Power Query を使用すると、データの抽出、変換、および読み込み (ETL) 処理を実行できます。
つまる所、Excelに搭載されたETLツールと言うお話なのですが…ここからが問題で、Power Query適用したステップが文字文字している事と、エンジニアさんとビジネスユーザーの中間位の人には便利だけど、少し分かりにくいよね…と思っていた次第です。またSQLと挙動が若干異なることもあり、トレーニングコストに頭を悩ませていました。
ところが、何かのドキュメントを見ていた所、下みたいなGUIが表示されているじゃないですか！しかも全くPowerBI DesktopのUIのまんま…
ダイアグラム ビューを使用したクエリの作成
データの処理フローがGUIで全て表示されるので、処理フローの確認に凄い便利です。SQLだけで処理してしまうと、可読性が低いので、後から調整するとか、エラー時のハンドリングでどこまで戻れば良いのか、データソースが何かを確かめるのが辛いので、この機能は意外に便利です。これが、デスクトップアプリケーションでビジネスユーザー全てが利用出来たら…こんな幸せな事はありませんよね？
君の名は？[ダイアグラム] ビュー
PowerPivodや、Accessの時代に存在したダイヤグラムビューと言う単語を思い出しつつ…どう調べてもUI的に同じに見えずではありましたが、Power Query用のダイアグラムビューだと言う事が理解できました。これはビジネスユーザーがみんな欲しい物じゃん！と言う話で、PowerBIデスクトップに同梱されているPowerQueryの同じ機能（表示の中に格納されているはず！）を調べたのですが、全く見つからず…
![Power Query のリボンの [表示] タブ内の [ダイアグラム ビュー] オプション。](https://learn.microsoft.com/ja-jp/power-query/media/diagram-view/enabling-diagram-view.png)
[ダイアグラム] ビュー - Power Query | Microsoft Learn
マニュアルを読み進めると…
注意
現在、ダイアグラム ビューは Power Query Online でのみ使用できます。orz この一文で絶望感満載
2種類存在するPower Query
実は、Power Queryには、Power Query Onlineとデスクトップがありまして、UIと機能が微妙に異なります。
微妙にと言う所が肝なのですが、現状機能差分を知らないと、思わぬ所で落とし穴にハマります。純粋にサービスの機能差分というよりも、ライセンスと紐づくため、事態はややこしい気もしています。後述しますが、Power Query Onlineは有償のPowerBI Pro/Premiumもしくは、Power Apps及び、Azure Data Factoryのみで利用出来ると言う点で利用制限がかかってしまいます。
Power Query Onlineに関しては、『Power Query RefreshをWeb版「Excel」で一般公開』と言うコンテンツが引っかかって検索エンジンのクエリがぐちゃぐちゃになっている状態です。（こちらは特定のデータをWeb版のExcelにロードするジョブの事のようです）
試しにMicrosoftさんの Bing Searchで質問してみても、Power query デスクトップのほうが上位互換みたいな回答を返してきます。私も昔から同じ認識だったのですが、機能のデプロイがオンライン版のほうが早いと言うのは意外な盲点でした。（機能差分、オンラインのほうが凄くない？と言う印象です）
では、PowerQuery Onlineなる物、、、いったいどこで利用できるのか分からず、、、、（これも、後述します）初手はGoogle/Bingと色々検索クエリを考えてサーチしまくったのですが、正しい回答が見つからず、一瞬、2023年3月（もしくは4月）にデスクトップ版でも利用可能になったと言うMicrosoftさんのドキュメントを（見た気がして）、毎度おなじみBing Searchさんに質問して色々聞いてみましたが、いつリリースされるんですか？と何度聞いても、めちゃくちゃな嘘ばかり回答してきて、まさに地獄落ちした次第でした。
もう使えるぜ！と回答（いや！待って！そんなバージョンねぇから！）
さらにあり得ないバージョンを捏造し始めます…
2023年4月に出てるのはバージョン2.116.966.0なので、もはやどこの世界に行ったんでしょうか…
（こちらはPBIのバージョンで表示されているのでもしかしたら、Power Queryのバージョンは3番台なのかもしれません（別途調べてみますが…徒労に終わりそうですね）
さて、英語で調べれば何とかなるはずである！と言う諦めの下、英語で質問してみました
いや、これ2021年に、コミュニティーで出た質問をそのまま回答してるじゃないっすか
https://community.powerbi.com/t5/Desktop/Diagram-View/td-p/1731952
実は、2021年3月にこの機能が18 March, 2021にリリースされていたので、結構前から使えたんですね…ってなっています。Azure Data Factoryで色々苦しんでいた処理を楽々こなせたと思うと、少し残念な気持ちにもなりますが、リリース直後のwebサービス機能はバギーだったりすので、まぁ丁度良いころ合いなのかもしれません。
Azure Data Factoryも今は便利に使いこなせていますが、リリース直後は、NEXTを押して、次のページに行って、戻るボタンで戻らないとエラーで設定できないという謎のバグを踏んで、数日眠れなかった事があります。
尚、本当は、Power BIのCorporate Vice President、Arun Ulag氏のブログによるとMicrosoftさん2021年にリリース予定だったらしいです。（今は発見できませんが、実は今年の4月のリリースで搭載されたと言うドキュメントもお見掛けしましたが、URLは失念してしまいました）
Driving a data culture in a world of remote everything | Microsoft Power BI Blog | Microsoft Power BI
During this new Microsoft Ignite format, with 48 hours of hours of digital sessions and interactions where thousands of IT professionals will come together, we…
まだかよ？
尚、普通に検索すると、（苦渋の検索クエリ結果でしたが）Public Previewになるのは、Sep 2023との事でした。
データ統合の新機能と予定されている機能 (2023 年リリース サイクル 1) | Microsoft Learn
データ統合に予定されている機能の概要。
次こそは、リリースされると良いですね。
どこかで、2023年3月のリリースでGAもしくはパブリックプレビューになっているかと思って探していたのですが、
Power BI の新機能と予定されている機能 (2022 年リリース サイクル 2) | Microsoft Learn
Power Query Onlineって何物？
さて、PowerQueryにはオンラインと言う物がありまして、別名データフローと言うこれまた検索エンジンが理解しにくいお名前です。Power Query Onlineで検索すると、Excel Onlineのデータ更新しか検索結果に出てこないとか、もはやカオスでしかありません。
ちなみに、最後の最後でいきついた、公式ドキュメントで確認できたこととしては、以下のサービスの中でPowerQueryが利用でき、かつ、課金しているPower BIとPower Apps、Azure Data Factoryで利用が可能なようです。（Power Automate側での利用がまだ確認できていません、また、このドキュメントでは明示されていませんが、課金していないとFree版に切り替わり、データフローは利用不可能でした）
PowerAutomateにも搭載されている（はず）ですが、多分、こちらは、Power Appsが使える環境でないと使えません。PowerBIでも使える（ことになっていますが）、Pro/Premiumじゃないと使えないと言うのが、なんとも残念なポイントです。データの接続にMicrosoftさん以外のクラウドも選択できるので、デスクトップ版のExcelやPower BIで利用可能になれば、一気にELTのハードルが下がると考える次第です。
| 製品 | M エンジン1 | Power Query デスクトップ2 | Power Query オンライン3 | データフロー4 |
|---|---|---|---|---|
| Excel for Windows | はい | はい | いいえ | いいえ |
| Excel for Mac | はい | いいえ | いいえ | いいえ |
| Power BI | はい | はい | はい | はい |
| Power Apps | はい | いいえ | はい | はい |
| Power Automate | はい | いいえ | はい | いいえ |
| Power BI Report Server | はい | はい | いいえ | いいえ |
| Azure Data Factory | はい | いいえ | はい | はい |
| SQL Server Integration Services | はい | いいえ | いいえ | いいえ |
| SQL Server Analysis Services | はい | はい | いいえ | いいえ |
| Dynamics 365 Customer Insights | はい | いいえ | はい | はい |
Power Query とは - Power Query | Microsoft Learn
厄介事はこれからだ…
さらに！Azure Data Factoryに搭載されてるなら、Synapse Analyticsの中のAzure Data Factoryで使えるやん！となるのですが、Synapse内のADFでは使えないと言うさらなるハードルが待ち受けています。（まだ未調査ですが、ADFとPowerQueryの住み分けも調査しておきたいポイントではありますね）
尚、現在の最新のサービスカオスマップは下のようになっています。
https://www.coatesdatastrategies.com/blog/updated-version-of-the-power-bi-end-to-end-diagram
Power Query Online vs Power Query Desktopどっちが良いの？
元来は、Power Query Desktopの方が機能リッチだったはずなのですが、スケジューリング機能その他まで考えると、Power Query Onlineは既に別の製品じゃないかと思うレベルで進化しまくっているため、課金しても良いので、Onlineを利用できるようにしておくのは有効かもしれないと思った次第です。（全社員に使わせるというのはハードルが高いのと、利用頻度が低いので困りものですが…）
また、未調査ではありますが、AFDに対して、jsonを発行でき（そう）なので、ここもかなり便利なポイントになるかもしれません（ちょっと調査が間に合ってない）
Joinの説明を見ると…Power Query Onlineに軍配！
クエリのマージに関してなのですが、でDesktop側は
日本語の説明を読むと何がなんだか分からなくなります。
一方公式ドキュメントの画面は下のようになっていて、バージョンが違うのかな？と思ってしまいますが…
実はこちらの機能もOnline限定になっていまして…見せ方だけの問題かもしれませんが、やっぱり、日本語版に限っては、Onlineのほうが使いやすいかもしれません。（英語版のqueryのmergeの説明は分かりやすいです）
ChatGPT4搭載のBing Searchが嘘ばっかりだった理由
さて、最終の本題ですが…
Bing SearchのコアとなるGPT4がいくら優秀だからと言って、『何個かクエリ結果を纏めて要約する』事が主眼になる検索GPTにおいては、元の検索クエリがきちんとしていないと、結局、『検索しても分かりませんでした』になると言う事が実証できたと思います。
この手の細かい差分のある表現（例えば、鎌倉時代の得宗の名前とか）は嘘ばっかりつき始めるので、細かい差分の調査を行うのには、GPTはまだ早いのかなぁと言う気にもなりますし、検索INDEXがしっかりしていないと、これまた、それっぽい嘘回答をされてしまうのかもしれませんね
最後に愚痴
色々気になって、今週は睡眠時間をかなり削られました…orz
