統計・機械学習 【統計のモヤモヤ #4】データは正規分布していないのに、なぜ正規分布を使うのか？
はじめに
実験データの解析などで正規分布を仮定した見積もりや議論によく出くわします。よく分からないからとりあえず正規分布としておこう、ってしたことありませんか？僕は何度も数えきれないほどあります。そしてあまり人からつっこまれないし、...
統計・機械学習
統計・機械学習 
統計・機械学習 【統計のモヤモヤ #3】なぜ分散は n−1 で割るのか？頻度主義からNumPyのddofまで
はじめに
大学の統計の授業で分散はn-1で割ると習いました。(nはデータ点数)なぜnではなくn-1で割るのでしょうか？
この記事ではn-1で割る理由、実際のデータ解析での考え方、NumPyを使って求めるときにはどうしたらいいか...
統計・機械学習 【統計のモヤモヤ #2】決定係数R²が低いとフィッティングしてはいけない？実例で理解するR²の本当の意味
はじめに
実験データを元にフィッティングを行い、グラフを描いたときに決定係数 $R^2$（R2、coefficient of determination）がよく併記されています。もし $R^2 = 0.99$ のように1に近い値な...
光学 【スペックル:第4回】スペックル(Speckle)の統計的性質とクロスオーバー
はじめに
前回までに3回にわたってスペックル(speckle)で生じる光の分布の計算方法を詳細に解説しました。実際にスペックルの影響を考える際にはここまで詳細に扱う必要性に迫られることは少なく、スペックルの統計的な性質を押さえてお...
統計・機械学習 【統計のモヤモヤ #1】測定値の比はなぜ歪むのか？直感が崩れる統計の話
はじめに
光学実験でパワー測定はよくやりますが、2個の異なる条件で取得したパワーの比率を計算するときは、得られる値のばらつきの扱いに注意が必要です。この記事では、どういう事が起こるかをpythonで可視化して理解します。対処方法も...
統計・機械学習 多項式カーネルSVMはなぜLightGBMより綺麗に分類できたのか
はじめに
先日scikit-learn を使って分類問題を解いた際、勾配ブースティング系のモデルである LightGBM よりもSupport Vector Machine(以下、SVM)の方がうまく分類できるケースに遭遇しました。...