Graviness Blog

算数・数学・科学・電脳・雑記・アホの順の密度で記事が構成されます。
<< November 2018 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 >> ブログランキング・にほんブログ村へ
 
RECOMMEND
ビッグバン宇宙論 (上)
ビッグバン宇宙論 (上) (JUGEMレビュー »)
サイモン・シン, 青木 薫
RECENT COMMENT
  • 豊臣秀吉と曾呂利新左衛門から学ぶ数列の和
    優乃 (07/12)
  • 【誰か解いて】漸化式 a_(n+1) = f(n) * a_n ^ g(n) + h(n) の一般項
    優乃 (02/18)
  • 【誰か解いて】漸化式 a_(n+1) = f(n) * a_n ^ g(n) + h(n) の一般項
    S.S.+ (02/16)
  • 豊臣秀吉と曾呂利新左衛門から学ぶ数列の和
    坂井昭 (03/19)
  • d/dx(x↑↑n): 高さが定数のテトレーションの微分 - 数学的帰納法を用いる方法
    (09/30)
  • 全ての三角形は二等辺三角形
    優乃 (09/28)
  • 全ての三角形は二等辺三角形
    亀レス (09/28)
  • 全ての三角形は二等辺三角形
    優乃 (09/24)
  • 全ての三角形は二等辺三角形
    亀レス (09/23)
  • 【未解決】新しい演算子を創る
    $_ (09/10)
RECENT TRACKBACK
MOBILE
qrcode
PROFILE
無料ブログ作成サービス JUGEM
 
点の重なりを考慮した最適な点のサイズの導出

データを散布図等で表示するとき、データ数が多くて画面が点で塗り潰れてしまう経験はないでしょうか。

下図は10000個のデータを散布図で表示した例です。下図(左)は中央の帯の部分が点で塗り潰れています。描画領域を大きくするか、下図(右)のように点のサイズを小さく調節することで塗り潰れがなくなり、精確なデータ分析、そして美しく表示できます。

しかし、固定的なデータ数を扱う場合は問題となりませんが、データ数が変わるようなシチュエーションの場合はその都度調節する必要があり面倒です。

本記事では、データ数に応じて最適な点のサイズを自動計算する式とその導出を示します。結論を示すと、x個の点を描画するときの個々の点のサイズs(x)は次式で得られます。

s(x) = S1 * S / (S1 * x + S)

S1: 点を1個描画するときの(x=1のときの)、1個の点による描画面積。
S: 総描画面積の上限。e.g. 画面の半分程度が埋まるのであればその面積。

例えば、S1=36px、S=3600pxの場合、s(x) = 3600 / (x + 100) となります。100点描画するとき個々の点のサイズはs(100)=18pxで描画され、同様にして1000点描画するときs(1000)=3.3px、10000点描画するときs(10000)=0.4pxとなります。

Pythonプログラムの例を示します。データ数len(data)に応じて点の描画サイズsを自動計算しています。

import numpy as np
import matplotlib
import matplotlib.pyplot as plt

data = np.random.normal(size=1000) # normal dist.

S_1, S_m = 36, 3600
s = S_1 * S_m / (S_1 * len(data) + S_m) # see

plt.title(f"count={len(data)}")
plt.ylim((-4.0, 4.0))
plt.scatter(x=np.arange(len(data)), y=data, s=s)
plt.savefig(f"sample.{len(data)}.png")
plt.close()

以降で結論に至るまでの導出を示します。

JUGEMテーマ:コンピュータ

続きを読む >>
Smirnov-Grubbs検定を用いる外れ値除去のPython実装

スミルノフ−グラブス検定を用いる外れ値除去のPython(NumPy/SciPy使用)の実装です。

 

下記smirnov_grubbs関数にサンプルデータと有意水準α(両側100α%)を入力すると、外れ値を除去したサンプルデータと、抽出した外れ値データを出力します。

 

サンプルデータのうち平均値からの偏差が最も大きいデータを、有意水準(両側)でスミルノフ−グラブス検定し、帰無仮説を棄却した場合に当該データを外れ値とします。当該データを除いたサンプルデータに対し、外れ値がなくなるまでこの操作を繰り返します。

 

ref. スミルノフ−グラブス検定@wikipedia

 

# coding: utf-8
#
# smirnov_grubbs(data, alpha)
#   Generate outlier-removed data with Smirnov-Grubbs.
#
#   Parameters:
#     data: array_like
#       Numeric data values.
#     alpha: float
#       Significance level. (two-sided)
#
#   Returns:
#     outlier-removed-data
#     outlier-data
#
#   e.g.
#     data = [1, 100, 101, 102, 103, 104, 105, 106, 107, 108, 109, 1000]
#     alpha = 0.01
#     smirnov_grubbs(data, alpha)
#     ==> ([100, 101, 102, 103, 104, 105, 106, 107, 108, 109], [1000, 1])

import numpy as np
import scipy.stats as stats

def smirnov_grubbs(data, alpha):
    x, o = list(data), []
    while True:
        n = len(x)
        t = stats.t.isf(q=(alpha / n) / 2, df=n - 2)
        tau = (n - 1) * t / np.sqrt(n * (n - 2) + n * t * t)
        i_min, i_max = np.argmin(x), np.argmax(x)
        myu, std = np.mean(x), np.std(x, ddof=1)
        i_far = i_max if np.abs(x[i_max] - myu) > np.abs(x[i_min] - myu) else i_min
        tau_far = np.abs((x[i_far] - myu) / std)
        if tau_far < tau: break
        o.append(x.pop(i_far))
    return (np.array(x), np.array(o))

 

JUGEMテーマ:コンピュータ

続きを読む >>
Brunner-Munzel検定のPython実装

Brunner-Munzel検定のPython(NumPy/SciPy使用)の実装です。

 

下記bmtest関数に2群のデータを入力すると、検定統計量W、p値(両側)、自由度、および帰無仮説で示される確率の推定値を出力します。

片側検定にする場合(どちらにずれているかが重要な場合)、出力されたp値を0.5倍して、Wの値が正負で判断します。

注意: 少しもかぶりもしない2群を入力すると、分散が0となって、検定統計量Wや自由度の計算中に Runtimewarning; divide by zero が出ます。

 

ref. Brunner-Munzel検定@奥村 晴彦さん

 

# coding: utf-8
#
# bmtest(x1, x2)
#   Calculate Brunner-Munzel-test scores.
#
#   Parameters:
#     x1, x2: array_like
#       Numeric data values from sample 1, 2.
#
#   Returns:
#     w:
#       Calculated test statistic.
#     p_value:
#       Two-tailed p-value of test.
#     dof:
#       Degree of freedom.
#     p:
#       "P(x1 < x2) + 0.5 P(x1 = x2)" estimates.
#
#   References:
#     * https://oku.edu.mie-u.ac.jp/~okumura/stat/brunner-munzel.html

import numpy as np
import scipy.stats as stats

def bmtest(x1, x2):
    n1, n2 = len(x1), len(x2)
    R = stats.rankdata(list(x1) + list(x2))
    R1, R2 = R[:n1], R[n1:]
    r1_mean, r2_mean = np.mean(R1), np.mean(R2)
    Ri1, Ri2 = stats.rankdata(x1), stats.rankdata(x2)
    var1 = np.var([r - ri for r, ri in zip(R1, Ri1)], ddof=1)
    var2 = np.var([r - ri for r, ri in zip(R2, Ri2)], ddof=1)
    w = ((n1 * n2) * (r2_mean - r1_mean)) / ((n1 + n2) * np.sqrt(n1 * var1 + n2 * var2))
    dof = (n1 * var1 + n2 * var2) ** 2 / ((n1 * var1) ** 2 / (n1 - 1) + (n2 * var2) ** 2 / (n2 - 1))
    c = stats.t.cdf(abs(w), dof) if not np.isinf(w) else 0.0
    p_value = min(c, 1.0 - c) * 2.0
    p = (r2_mean - r1_mean) / (n1 + n2) + 0.5
    return (w, p_value, dof, p)

 

JUGEMテーマ:コンピュータ

続きを読む >>

(C) 2018 ブログ JUGEM Some Rights Reserved.