Graviness Blog

算数・数学・科学・電脳・雑記・アホの順の密度で記事が構成されます。
<< August 2018 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 >> ブログランキング・にほんブログ村へ
 
RECOMMEND
ビッグバン宇宙論 (上)
ビッグバン宇宙論 (上) (JUGEMレビュー »)
サイモン・シン, 青木 薫
RECENT COMMENT
  • 豊臣秀吉と曾呂利新左衛門から学ぶ数列の和
    優乃 (07/12)
  • 【誰か解いて】漸化式 a_(n+1) = f(n) * a_n ^ g(n) + h(n) の一般項
    優乃 (02/18)
  • 【誰か解いて】漸化式 a_(n+1) = f(n) * a_n ^ g(n) + h(n) の一般項
    S.S.+ (02/16)
  • 豊臣秀吉と曾呂利新左衛門から学ぶ数列の和
    坂井昭 (03/19)
  • d/dx(x↑↑n): 高さが定数のテトレーションの微分 - 数学的帰納法を用いる方法
    (09/30)
  • 全ての三角形は二等辺三角形
    優乃 (09/28)
  • 全ての三角形は二等辺三角形
    亀レス (09/28)
  • 全ての三角形は二等辺三角形
    優乃 (09/24)
  • 全ての三角形は二等辺三角形
    亀レス (09/23)
  • 【未解決】新しい演算子を創る
    $_ (09/10)
RECENT TRACKBACK
MOBILE
qrcode
PROFILE
無料ブログ作成サービス JUGEM
 
点の重なりを考慮した最適な点のサイズの導出

データを散布図等で表示するとき、データ数が多くて画面が点で塗り潰れてしまう経験はないだろうか。下図は10000個のデータを散布図で表示した例である。下図(左)は中央の帯の部分が点で塗り潰れてしまっている。描画領域を大きくするか、下図(右)のように点のサイズを小さく調整することで塗り潰れがなくなり、精確なデータ分析、そして美しく表示することができる。

しかし、固定的なデータ個数を扱う場合は問題とならないが、データ個数が変わるようなシチュエーションの場合はその都度調節する必要があり面倒である。

本記事では、データ個数に応じて、最適な点のサイズを自動計算する式とその導出方法を示す。結論を示すと、x個の点を描画するときの個々の点のサイズs(x)は以下で得られる。

s(x) = S1 S / (S1 x + S)

S1: 点を1個描画するときの(x=1のときの)、1個の点による描画面積
S: 総描画面積の上限。e.g. 画面の半分程度が埋まるのであればその面積。

例えば、S1=36px、S=3600pxの場合、s(x) = 3600 / (x + 100) となる。x=1点描画するときs=36px、x=100点描画するときs=18px、x=1000点描画するときs=3.3px、x=10000点描画するときs=0.4pxとなる。Pythonプログラムの例を以下に示す。データ個数len(data)に応じて点の描画サイズsを自動計算している。

import numpy as np
import matplotlib
import matplotlib.pyplot as plt

data = np.random.normal(size=1000) # normal dist.

S_1, S_m = 36, 3600
s = S_1 * S_m / (S_1 * len(data) + S_m) # see

plt.title(f"count={len(data)}")
plt.ylim((-4.0, 4.0))
plt.scatter(x=np.arange(len(data)), y=data, s=s)
plt.savefig(f"sample.{len(data)}.png")
plt.close()

以降で結論の詳細な導出方法を示す。

JUGEMテーマ:コンピュータ

続きを読む >>
Smirnov-Grubbs検定を用いる外れ値除去のPython実装

スミルノフ−グラブス検定を用いる外れ値除去のPython(NumPy/SciPy使用)の実装です。

 

下記smirnov_grubbs関数にサンプルデータと有意水準α(両側100α%)を入力すると、外れ値を除去したサンプルデータと、抽出した外れ値データを出力します。

 

サンプルデータのうち平均値からの偏差が最も大きいデータを、有意水準(両側)でスミルノフ−グラブス検定し、帰無仮説を棄却した場合に当該データを外れ値とします。当該データを除いたサンプルデータに対し、外れ値がなくなるまでこの操作を繰り返します。

 

ref. スミルノフ−グラブス検定@wikipedia

 

# coding: utf-8
#
# smirnov_grubbs(data, alpha)
#   Generate outlier-removed data with Smirnov-Grubbs.
#
#   Parameters:
#     data: array_like
#       Numeric data values.
#     alpha: float
#       Significance level. (two-sided)
#
#   Returns:
#     outlier-removed-data
#     outlier-data
#
#   e.g.
#     data = [1, 100, 101, 102, 103, 104, 105, 106, 107, 108, 109, 1000]
#     alpha = 0.01
#     smirnov_grubbs(data, alpha)
#     ==> ([100, 101, 102, 103, 104, 105, 106, 107, 108, 109], [1000, 1])

import numpy as np
import scipy.stats as stats

def smirnov_grubbs(data, alpha):
    x, o = list(data), []
    while True:
        n = len(x)
        t = stats.t.isf(q=(alpha / n) / 2, df=n - 2)
        tau = (n - 1) * t / np.sqrt(n * (n - 2) + n * t * t)
        i_min, i_max = np.argmin(x), np.argmax(x)
        myu, std = np.mean(x), np.std(x, ddof=1)
        i_far = i_max if np.abs(x[i_max] - myu) > np.abs(x[i_min] - myu) else i_min
        tau_far = np.abs((x[i_far] - myu) / std)
        if tau_far < tau: break
        o.append(x.pop(i_far))
    return (np.array(x), np.array(o))

 

JUGEMテーマ:コンピュータ

続きを読む >>
Brunner-Munzel検定のPython実装

Brunner-Munzel検定のPython(NumPy/SciPy使用)の実装です。

 

下記bmtest関数に2群のデータを入力すると、検定統計量W、p値(両側)、自由度、および帰無仮説で示される確率の推定値を出力します。

片側検定にする場合(どちらにずれているかが重要な場合)、出力されたp値を0.5倍して、Wの値が正負で判断します。

注意: 少しもかぶりもしない2群を入力すると、分散が0となって、検定統計量Wや自由度の計算中に Runtimewarning; divide by zero が出ます。

 

ref. Brunner-Munzel検定@奥村 晴彦さん

 

# coding: utf-8
#
# bmtest(x1, x2)
#   Calculate Brunner-Munzel-test scores.
#
#   Parameters:
#     x1, x2: array_like
#       Numeric data values from sample 1, 2.
#
#   Returns:
#     w:
#       Calculated test statistic.
#     p_value:
#       Two-tailed p-value of test.
#     dof:
#       Degree of freedom.
#     p:
#       "P(x1 < x2) + 0.5 P(x1 = x2)" estimates.
#
#   References:
#     * https://oku.edu.mie-u.ac.jp/~okumura/stat/brunner-munzel.html

import numpy as np
import scipy.stats as stats

def bmtest(x1, x2):
    n1, n2 = len(x1), len(x2)
    R = stats.rankdata(list(x1) + list(x2))
    R1, R2 = R[:n1], R[n1:]
    r1_mean, r2_mean = np.mean(R1), np.mean(R2)
    Ri1, Ri2 = stats.rankdata(x1), stats.rankdata(x2)
    var1 = np.var([r - ri for r, ri in zip(R1, Ri1)], ddof=1)
    var2 = np.var([r - ri for r, ri in zip(R2, Ri2)], ddof=1)
    w = ((n1 * n2) * (r2_mean - r1_mean)) / ((n1 + n2) * np.sqrt(n1 * var1 + n2 * var2))
    dof = (n1 * var1 + n2 * var2) ** 2 / ((n1 * var1) ** 2 / (n1 - 1) + (n2 * var2) ** 2 / (n2 - 1))
    c = stats.t.cdf(abs(w), dof) if not np.isinf(w) else 0.0
    p_value = min(c, 1.0 - c) * 2.0
    p = (r2_mean - r1_mean) / (n1 + n2) + 0.5
    return (w, p_value, dof, p)

 

JUGEMテーマ:コンピュータ

続きを読む >>
d/dx(x↑↑n): 高さが定数のテトレーションの微分

過去の記事「d/dx(x↑↑n): 高さが定数のテトレーションの微分 - 数学的帰納法を用いる方法」について、高さが定数のテトレーションの導関数を数学的帰納法を用いずに求めます。表記として、nx := x↑↑n を用います。

 

---

続きを読む >>
【誰か解いて】漸化式 a_(n+1) = f(n) * a_n ^ g(n) + h(n) の一般項

過去の二つの記事の漸化式を包含する a_(n+1) = f(n) * a_n ^ g(n) + h(n) の形式の一般項を求めたいです。

* 漸化式 a_(n+1) = f(n) * a_n + g(n) の一般項

* 漸化式 a_(n+1) = f(n) * a_n ^ g(n) の一般項

 

通勤時などで数ヶ月考えてますが、これがどうやっても解けない。。。恐らく初等関数の範囲では解けないのではないかと思います。

 

関連して、隣接三項間漸化式 a_(n+2) = f(n) * a_(n+1) + g(n) * a_n は、両辺を a_(n+1) で割ると、a_(n+2)/a_(n+1) = f(n) + g(n) * a_n/a_(n+1) となり、b_n = a_(n+1)/a_n とおけば、b_(n+1) = g(n) b_n ^ (-1) + f(n) となるため、本記事の漸化式が解ければ隣接三項間漸化式も解くことができます。

 

JUGEMテーマ:学問・学校

 

(C) 2018 ブログ JUGEM Some Rights Reserved.