Mixing
ロジスティック回帰
| 統計学 |
| 回帰分析 |
|---|
 |
モデル |
|
|
|
|
|
推定 |
|
|
背景 |
|
ロジスティック回帰（ロジスティックかいき、英: Logistic regression）は、ベルヌーイ分布に従う変数の統計的回帰モデルの一種である。連結関数としてロジットを使用する一般化線形モデル (GLM) の一種でもある。1958年に David Cox が発表した[1]。確率の回帰であり、統計学の分類に主に使われる。医学や社会科学でもよく使われる。
モデルは同じく1958年に発表された単純パーセプトロンと等価であるが、scikit-learn などでは、パラメータを決める最適化問題で確率的勾配降下法を使用する物をパーセプトロンと呼び、座標降下法や準ニュートン法などを使用する物をロジスティック回帰と呼んでいる。
目次
1 概要
2 応用
3 例
4 脚注
5 参考文献
6 関連項目
7 外部リンク
概要
ロジスティック回帰モデルは以下のような形式である。x が入力で、pが確率（出力）、αとβがパラメータ。
logit(pi)=ln(pi1−pi)=α+β1x1,i+⋯+βkxk,i,{displaystyle operatorname {logit} (p_{i})=ln left({frac {p_{i}}{1-p_{i}}}right)=alpha +beta _{1}x_{1,i}+cdots +beta _{k}x_{k,i},}
i=1,…,n,{displaystyle i=1,dots ,n,,!}
ここで、n 個のユニットと共変動 X があり、以下のような関係にある。
pi=E(Y|Xi)=Pr(Yi=1).{displaystyle p_{i}=E(Y|X_{i})=Pr(Y_{i}=1).,!}
結果のオッズ（1から確率を引いたもので確率を割った値）の対数は、説明変数 Xi の線形関数としてモデル化される。これを次のようにも表せる。
pi=Pr(Yi=1|X)=11+e−(α+β1x1,i+⋯+βkxk,i){displaystyle p_{i}=Pr(Y_{i}=1|X)={frac {1}{1+e^{-(alpha +beta _{1}x_{1,i}+cdots +beta _{k}x_{k,i})}}}}
単純パーセプトロンの記法を使うと上記の式は以下のようにも表現できる。ς1{displaystyle varsigma _{1}}
pi=ς1(α+β1x1,i+⋯+βkxk,i){displaystyle p_{i}=varsigma _{1}(alpha +beta _{1}x_{1,i}+cdots +beta _{k}x_{k,i})}
パラメータの推定はオッズ比に重大な影響がある。性別のような2値の説明変数の場合、eβ{displaystyle e^{beta }}
このモデルの拡張として多分割（polytomous）ロジスティック回帰がある。複数カテゴリの従属変数や順序のある従属変数を扱う。ロジスティック回帰による階層分けを多項ロジットモデルと呼ぶ。
応用
社会科学分野での典型的な応用として、企業の過去のデータをもとに信用リスクを推定するという用法がある。
2値ロジスティック回帰はダイレクトマーケティングでよく使われ、ある提案に反応する人々を特定するのに使われる（従属変数は「反応する=1」と「反応しない=0」である）。ダイレクトマーケティングの2値ロジスティック回帰モデルは「リフトチャート」を使って評価される。これは、過去のメールへの反応のデータとモデルによる予測結果を比較する。
例
ロジスティック回帰モデルは一般化線形モデルの一種である。p(x) が、予測値変数 x について成功の確率を表すとすると、次のように表される。
p(x)=eB0+B1x1+eB0+B1x.{displaystyle p(x)={frac {e^{B_{0}+B_{1}x}}{1+e^{B_{0}+B_{1}x}}}.}
代数的操作を施すと次のようになる。
p(x)1−p(x)=eB0+B1x,{displaystyle {frac {p(x)}{1-p(x)}}=e^{B_{0}+B_{1}x},}
ここで、p(x)1−p(x){displaystyle {frac {p(x)}{1-p(x)}}}
p(50)1−p(50)=231−23=2.{displaystyle {frac {p(50)}{1-p(50)}}={frac {frac {2}{3}}{1-{frac {2}{3}}}}=2.}
したがって、x = 50 のとき、成功の可能性は失敗の2倍（オッズが 2 対 1 ）である。
脚注
^ Cox, DR (1958). “The regression analysis of binary sequences (with discussion)”. J Roy Stat Soc B 20: 215–242.
参考文献
 |
出典は列挙するだけでなく、脚注などを用いてどの記述の情報源であるかを明記してください。記事の信頼性向上にご協力をお願いいたします。（2018年12月） |
- Agresti, Alan, Categorical Data Analysis, 2nd ed., New York: Wiley-Interscience, 2002, ISBN 0-471-36093-7.
- Amemiya, T., Advanced Econometrics, Harvard University Press, 1985, ISBN 0-674-00560-0.
- Balakrishnan, N., Handbook of the Logistic Distribution, Marcel Dekker Inc., 1991, ISBN 0824785878.
- Green, William H., Econometric Analysis, fifth edition, Prentice Hall, 2003, ISBN 0-13-066189-9.
- Hosmer, David W. and Stanley Lemeshow, Applied Logistic Regression, 2nd ed., New York; Chichester, Wiley, 2000, ISBN 0-471-35632-8.
関連項目
- ニューラルネットワーク
- データマイニング
- 判別分析
- パーセプトロン
- 線形分類器
外部リンク
- Web-based logistic regression calculator
「ロジスティック回帰分析」入門 鳥居稔（大阪大学）
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
