実施中の実験
結果が出る前に、何をどう測るかを先に公開しています。
数字を見てから判定の基準を決めると、どうとでも読めてしまいます。 だから目的・方法・判定時期を先に出し、結果は成功でも失敗でも同じ場所に書きます。
実験C: 掲載は、AI検索での言及率を動かすか
| 状態 | 実施中(2026-08-11 開始) |
|---|---|
| 問い | 当サイトに店舗情報を掲載すると、その店がAIの回答に挙がる割合は変わるか |
| 対象 | 大阪市の本町・阿波座エリアのパーソナルジム 19店 |
| 掲載日 | 2026-08-11(全店を同じ日に掲載) |
| 判定日 | 2026-08-25(2週後) / 2026-09-08(4週後) |
方法
- 掲載前に測る。2026-08-11に、ChatGPTへ同じ質問を30回送り、 どの店の名前が何回挙がるかを記録しました
- 一部の店だけを掲載する。対象店を2つのグループに分け、 片方だけを当サイトの一覧ページに掲載しました
- 同じ条件で測り直す。2週後と4週後に、 同じ質問文・同じ回数・同じAIで再計測します
グループ分けは、掲載前の言及率が両群で偏らないよう、 約100万通りの組み合わせを総当たりで計算して決めました。 後から都合よく分けたと言われない形にするためです。
判定の基準(2026-08-12 確定)
結果を見る前に、どの数字なら「効果あり」と言うかを決めてあります。 掲載した10店の名前が「阿波座」の質問150回(10店 × 15回)の中で 何回挙がるかを数え、掲載前と比べます。
| 判定 | 掲載後の言及数 | 掲載前との差 |
|---|---|---|
| 効果あり | 37回以上 | +10以上 |
| 判定保留 | 32〜36回 | +5〜+9 |
| 効果なし | 31回以下 | +4以下 |
掲載前は 27回 でした(2026-08-11 実測)。
「+10」にした理由は2つあります。 ひとつは、この規模の計測で偶然この差がつく確率が2.5%まで下がること。 もうひとつは、1店あたり平均1回増える、つまり掲載前の約1.4倍にあたることです。 別々に考えた2つが同じ線に来たので、そこを基準にしました。
⚠️ この2.5%を「統計的に有意」という意味で使うことはしません。 AIは1回の回答に挙げる店数が限られていて、店同士が独立ではないためです。 線を引くための目安として使っています。
次の場合は「判定不能」として、効果ありともなしとも言いません。
- 掲載ページがGoogleにインデックスされていないとき
- 再計測で欠測が出たとき
- 1回の回答に挙がる店数そのものが、掲載前と1店以上ずれたとき (席の数が変わっていると、掲載の効果と切り分けられません)
🔒 この基準は再計測(2026-08-25)の前に確定したものです。 計測後に変更しません。 やむを得ず変えることになった場合は、変更した事実と理由を結果と一緒に書きます。
掲載しているもの
店名・住所・最寄駅からの徒歩分数・公式サイトURLの4項目だけです。 すべて各店が自ら公開している情報です。順位・評価・口コミは付けていません。
阿波座のパーソナルジム一覧 →
本町・堺筋本町のパーソナルジム一覧 →
公開しないもの
- どの店がどちらのグループか。掲載していない側の店が自分の状況を知ると、 行動が変わって実験にならなくなります
- 各店の言及率。店名と紐づけた数値は公開しません
今わかっている弱点
AIは1回の回答で5店前後しか挙げません。 掲載した側が上がれば、していない側は自動的に押し出されます。 つまり掲載していないグループは、 「何もしなかったらどうなったか」を測れていません。統計でいう対照群として機能していません。
この弱点は設計を始めてから気づいたもので、直せていません。 そのため判定は「掲載した側が掲載前と比べてどう変わったか」で行い、 もう一方は参考値として併記します。
掲載情報の削除・修正
掲載されている店舗の方で、掲載を望まれない場合は お問い合わせフォーム (種別で「掲載情報の削除・修正依頼」を選んでください)または Instagram @ai_yobu_mise のDMからご連絡ください。ご連絡をいただいた時点で削除し、理由は伺いません。 削除した場合、その店は実験の集計から外し、外した事実も結果と一緒に公開します。
実験Cは「掲載が効くか」を確かめるためのものです。 効いてほしいという都合で判定が歪まないよう、判定の基準は結果を見る前に固定します。