★統計的検定の持つ意義
データ同士を検定・評価する場合、対象データの無作為抽出の有無、無作為割り付けの有無によって下表のように分類出来ます。ここで、効果判定とは健康教育等の介入による効果を評価する場合、一般化適応とは得られた結果を普遍化して評価する場面を指しています。
無作為割り付けとはなじみの薄い言葉かもしれませんが、例えば、１０歳から６０歳までの集団を１０歳区切りで無作為に抽出したとします。無作為抽出ですから、各世代間では、男女入り交じり人数もバラバラです。また場合によっては近隣通しとか、趣味が似通った通しの世代もあれば、全く違う世代も出てきます。本来無作為抽出ではもとの抽出先と全く同じ条件となるのが前提です。理論的には無限回数行えばそうなります。
しかし、数回の抽出では偏りが生じてしまい、本来の無作為抽出との前提が崩れていますね。そこで強制的に偏りを補う（各世代とも抽出先と同じ男女数を抽出するとか、他の条件を同じにして抽出する）ことで本来の無作為抽出と同じ条件に揃えることを無作為割り付けと言います。
統計では、無作為抽出と言うとランダムに抽出し、人為的な行為は行われていないと考えがちですが、理想的な無作為抽出状態を作り出すために徹底的に手を加えます。それによって偏りのないデータを作り上げるのです。
無作為抽出は一般化適応への妥当性の問題に関連し、無作為割り付けは効果判定の妥当性の問題に関連しています。無作為割り付けが行われていない場合は選択バイアス、交絡バイアスが発生する可能性が大きくなります。
統計的検定が用いられるのは、効果判定・一般化適応への妥当性が確保されるＡの場合（網掛けの部分）と一般化適応への妥当性は脅かされるが効果判定への妥当性は確保されるＢ（網掛けの部分）の場合だけです。Ｃは一般化適応への妥当性は保たれていますが効果判定の妥当性が脅かされるため、効果判定で得られなかった結果を基に一般化を行う事は無意味です。 このように無作為割り付けを行っているかどうかで検定可能かが問われます。
これは無作為抽出、割り付けが行われていない場合には統計解析の大前提である観測値の独立性が保証されていない事によるものです。しかし、現実にはこのような場合でも検定らしきものが行われている事例を見かけます。
このような場合得られた結果を検定など行わず、その分野（保健分野）における蓄積された経験的知識に基づく経験的事実として扱うことです。また、対象とした集団が母集団を本当に代表しているかどうかはどの様な統計手法を用いても明らかに出来ない以上、無作為抽出が行われていない場合得られた結果を一般化することは科学的に根拠の得られない方法と言わざる終えません。
無作為割り付けを行っていても無作為抽出の有無によって検定のもつ意義が異なります。
上記表のＡの場合とＢの場合では検定の意義が違うという話です。
Ａの場合（無作為抽出有り）対象を分析した結果から母集団の情報を得ようとして一般化を行うという外的妥当性に関する検定であるのに対し、（このことはＡにおける帰無仮説を考えれば分かります。この場合の帰無仮説は２つの集団における母集団の差は等しいとなります）Ｂの場合（無作為抽出無し）対象である介入群とコントロール群の母集団に関する帰無仮説を検定しますが、その結果は一般化することは出来ません。この場合の一般化は統計学以外のその分野において経験的に蓄積された知識に基づく事実しかないのです。即ち、Ａ地区を対象として行った調査データや健康教育の結果がＢ地区にも当てはまるかはＡ地区とＢ地区の違いがどの程度であるのかなどの知識をもとに推論するしかないのです。この場合も先ほど述べたように科学的根拠は薄らぐ事を知っておくべきでしょう。
統計的検定が実質的に意味のあるものにするためには以下の３条件を満たすことが必要です。
①標本（対象）が母集団から無作為に抽出されていること。
②あるいは無作為割り付けがおこなわれていること。
③サンプルサイズが計算されていること。
これらはいずれも「計画立案」時における評価デザインの段階で検討される事柄で、それ故最初の「計画立案」が事業の出来不出来を決定するのです。
ですから、統計を学ぶと言うのは評価を見据えた事業企画、運営及び次回へのフィードバックの仕方を学ぶ事に他なりません。
次に、皆さんの犯しやすい間違った仮説を実態を交えながら説明しましょう。これらは実際に相談を受けたときの一例です。
評価とは、評価したい内容でそれに対する仮説を載せています。（帰無仮説）
１．評価：しっかりとした目標計画を立てた人は継続率が高い
仮説：目標計画精度と継続率は一致しない
２．評価：（毎年）メタボ予備軍に対して講義を行っている。社員のメタボ率が講義の成果によって下がった
仮説：講義の成績と社員のメタボ率には関連がない
３．評価：バランスの良い食事は検査値を改善する（バランスガイドを点数化して）
仮説：バランスガイドの点数と検査値は関連しない
４．評価：間食を減らすことで体重が下がった
仮説：間食と体重は関係ない
これらは全て仮説の立て方が間違っており、実際の検定を行うことは出来ません。その理由を考えてみましょう。
１．評価：しっかりとした目標計画を立てた人は継続率が高い
仮説：目標計画精度と継続率は一致しない
継続率は実行回数（時間）などで測定出来ますが、「しっかりとした目標計画を立てた」はどの様にして数値化して測定すればよいでしょうか？
特に「しっかりとした・・」などの曖昧な表現は人によってとらえ方が違いますので、一般化した定義に置き換えることが最初に必要ですね。もし、定義が出来たとして、それがどの様な分布を持つのか誰も分かりません。従ってどの様な検定方法を当てはめればよいのか分かりません。
２．評価：（毎年）メタボ予備軍に対して講義を行っている。社員のメタボ率が講義の成果によって下がった
仮説：講義の成果と社員のメタボ率には関連がない
これも一見出来そうですが、講義に参加した一部の人と全社員を比較して一部の社員に講義を行ったら全社員のメタボ率が下がったことを言わんとしています。一部の影響が全体に及ぼすことを証明するには何段階もの仮説を虱潰しに証明していかなければならないので、現実には無理でしょう。
ここで出来ることは、講義に参加したことにより参加者のメタボ率が改善されたぐらいしかできません。
３．評価：バランスの良い食事は検査値を改善する（バランスガイドを点数化して）
仮説：バランスガイドの点数と検査値は関連しない
保健指導昔年の悩みである「バランスの良い食事」です。栄養士共々バランスの良い食事という言葉は好きですが、具体的に何をどれくらい摂るとバランスの良いと定義出来るのか未だに具体的な指標を見たことがありません。
バランスの良い食事とは、数値化するとどうなるのか。全てこれにかかっています。
ここでは苦肉のバランスガイドを用いて数値化しようとしていますが、バランスガイドの得点＝よい食事内容を表すエビデンスはありません。
４．評価：間食を減らすことで体重が下がった
仮説：間食と体重は関係ない
これも「間食」というあやふやな言葉を指標に持ってくるために検定出来ない結果となります。
「間食」のとらえ方は人によりバラバラです。これを定義出来たとしても今度は測定が大変です。理屈上ではできますが、現実には無理難題です。
扱える分布関数が限られて来るというのは明らかにできる事が限られてくると言うことであり、ですから、統計で分かることは限られてくるのです。
そこを知らないと、統計で何かすればいろいろなことが分かるのではないかと幻想を抱いたりすることになります。
仮説の立て方が間違っているのはここに一番の原因があります。
つまり、存在しないあるいは使えない分布を仮説に持ってくるのです。そのため、どの様なデータを集めたらよいのか悩んだり、無意味なデータを持ってきたりと仮説を検証するための準備が揃いません。これではいくらデータを並べたところで、使える分布自体が存在しないので、何もできません。ここが理解できない第１歩かと思います。
検定評価というものは、無作為割り付けのところでも書いたように使える分布に当てはまるように徹底的に手を加えた工夫を施したり最初から使える分布に当てはまるようにデータの収集を設計します。
|
