p値は小さければ小さいほど価値があるか
社会統計における平均値の差の検定を例にする。
平均値の差の検定において、p値とはデータと(帰無)仮説が矛盾しない確率=比較する二つの平均値の差がサンプルの偏りによって偶然的にそれだけの違いが生じる確率の事である。もしこの差が偶然的なものとして説明可能であれば、差の意義を論じる事は無意味となる。他方この差が偶然的なものでは説明できないと見なせるのであれば、その差の（社会的な）意味づけを積極的に論じる事が可能となる。
p値が十分小さければ二つの平均値が違っているのには（偶然ではない）社会的な必然性があるということになる。ならばそれについて論じようと話は進む。
ここでのp値とは（ランダムサンプリングという方法に内在する）ある値を取る特定の標本が抽出される確率であって、母集団に直接関わる確率ではない。ある母集団からどの標本が抽出されるかは偶発的なものであって、一つの母集団からどの標本が抽出されるかは社会的な問題の外にある。
統計的な手法を用いる以上は母平均とかけ離れた平均値を持つ標本が選択される可能性は（わずかでも）残る。逆に仮にどんな偏った標本を掴んでしまおうとも、それとは無関係に母平均は不変（既定）なのである。p値が30%の時でも0.01%の時でも想定している母平均は共通である。どんな標本を引き当てるかで母平均が変化するわけではない。問題は母平均と標本平均とのズレを受け入れるか受け入れないかの二択であり、受け入れないのであれば、母平均に対する初期の想定（帰無仮説）そのものを棄却することになる。
これは無理がない想定だから、この図を採択しよう。
これは可能性が低すぎるから、この図そのものを捨てよう。
しかし受け入れる受け入れないの判断は100%の確度では決まらない。そこで頻度論（この授業で用いている統計的理論）ではその確率が一定以下（有意水準）であるならば、受け入れないことにしましょうとルールを定める。そのルールの下では確かに一定の確率で間違った結果を導くかも知れないが、どのみち100％正しい事は言えないのだから、お互いにそこはスルーしましょうということだ。
例えば有意水準を5%に設定すると、p値が4.90％でも0.01%でも、当初の母平均に関する想定は受け入れないことにすると判断し、帰無仮説を棄却する。ここで過誤が生じるとすればそれは母集団とはかけ離れた偏った標本を掴んでしまったという（基準外の）不運な事態ということである。
p値は母集団とそこから抽出された標本との関係を受け入れるか否かの際の判断材料であって、受け入れるにせよ受け入れないにせよ、一旦その判断を終えた後はそれ以上の意味を持たない。
この図式を受け入れると決めた以上は想定する母平均は共通。
この図式を捨てると決めた以上はそれ以上の言及は無意味。
もちろん有意水準を1%に設定すれば4.90%は有意でなくなり、0.01%は有意と判断が変わる。そしてその場合、p値が4.9%でももとの母平均に対する想定は受け入れたということであり、今度はp値が例えば50%の時と同じ扱いを受けることになる。そしてそれは元のルールを変えた（より厳密にした）という事であって、直接的に4.90%と0.01%というp値を比較しているわけではない。もしp値4.90％と0.01％の違いを述べるとすれば、0.01％のほうがより厳密なルールに耐える結果であるとは言えるだろう。ただしルールとは一般的に普及して「なんぼ」のものであって、好き勝手に作っても意味がない。従って例えば4.9%と1.1%の違いを積極的に述べる事は困難である。
頻度論と比べられる事の多いベイズ統計学ではp値は手元にあるデータ（標本データ）をもとに、母集団がある値を取る確率として算出される。つまりp値が4.9％であるか0.01%であるかによって予測される母集団はことなり、その差はポジティブに意味づけられる事になる。
母平均からの距離によって標本平均の確率が変わる。
標本平均からの距離によって母平均の確率が変わる。