統計與實務

• 利用敘述性指標與圖表來觀察：
  • 資料的正確性
  • 資料的脈絡
  • 可能的因果關係
  • 可能的進階分析方向
  • 進階分析技術的假設是否正確
  • 可能的分析工具
  • 未來的數據收集方向

• 類別形變數
  • 次數：相對次數、絕對次數
• 數值形變數
  • 中心位置
  • 分散程度

單位：金額(千元)

• (中心位置)平均: 1151, 中位數: 729
• (分散程度標準差: 1461.17, 四分位差: 991

• 1 sigma: 68.3%, 2 sigma: 95.4%, 3 sigma: 99.7%

單位：金額(千元)

• 平均 - 標準差 = -310.17
• 中位數: 729
• 第三分位數 - 中位數 \(\approx\) 2 * (中位數 - 第一分位數) \(\approx\) 4 * 第一分位數
• 標準差異常的大

• 大量做圖
• 視覺化使資料有感
• 找出重要的因子與趨勢
• 看圖說故事
• 下一步

swirl::install_course_github("wush978", "StatMLDM", "course")

• DataScienceAndR
  • 03-RVisualization-01-One-Variable-Visualization
  • 03-RVisualization-02-Multiple-Variables-Visualization
  • 03-RVisualization-03-ggplot2
• StatMLDM
  • RStatistics-01-EDA

• Observation
  • 資料的收集沒有控制
  • 不同欄位之間只有相關，沒有因果
• Experiment
  • 控制資料的收集
  • 控制可能影響的變數
  • 更接近因果

• 何謂AB測試?
• AB測試如何運作?
• AB測試為什麼該做？

• 免窮理：don't necessarily know 'what works'
• 講證據：don't guess anymore
• 很簡單：don't have to be complicated or difficult to run
• 更經濟：don't have to cost a lot of money

這個假設不會因為看見一隻黑色的烏鴉而獲得證明,
不管看到多少隻黑色的烏鴉,都無法證明這個假設。

• 控制犯錯的機率
  • 「事前」決定接受5%、1%或更小的犯錯機率
• 計算「出現觀測值（或更糟）的機率」
  • 「更糟」的定義取決於假設與檢定目標
• 如果機率值比我們設定的犯錯機率更低 => 表示當初的假設是錯誤的

• 只能證明$H_0$為假, 不能證明$H_1$為真
  • 當不拒絕時，不代表$H_1$為錯

• 請同學跟著老師完成：
  • RStatistics-02-MonteCarlo
  • RStatistics-03-AB-Testing

• 時間成本（實驗要多久？）
• 金錢成本（要多少樣本？）

• 提早結束條款會影響準確度
  • 如果預期一次實驗犯錯的機率是5%
  • 多次實驗犯錯的機率會超過5%

result <- 
  sapply(1:1000, function(i) {
    x <- rnorm(100)
    y <- rnorm(100)
    t.test(x, y)$p.value < 0.05
  })
table(result)

result
FALSE  TRUE 
  962    38 

result <- 
  sapply(1:1000, function(i) {
    x <- rnorm(100)
    y <- rnorm(100)
    for(j in 20:100) {
      if (t.test(head(x, j), head(y, j))$p.value < 0.05) return(TRUE)
    }
    FALSE
  })
table(result)

result
FALSE  TRUE 
  736   264 

• 5%是常用的門檻，但是合理嗎？
• 重要性很大、不容易被推翻的實驗，顯著水準應該更小
• 需要快速結果的實驗、能夠一直review的實驗，顯著水準可能可以大一點

• Knight Capital的故事：在45分鐘之內，每一秒燒17萬美元的程式錯誤
• 城市一定會寫錯，但是我們如何處理這件事情？（就如同投影片一定會寫錯字）

• 浪費成本（金錢與時間）
• 降低產出
• 丟工作

• 先從小資料開始做
• 資料量越大、分析量越大、錯誤的成本就越大
• 大量實驗

• 程式碼的錯誤可以透過軟體工程方法來降低
• 有大發現之前要檢查三遍
• 所有報告都是互相討論而出
  • 溝通、溝通、溝通
• 多多review
  • 接受同事間的質疑

• 我們都是彼得杜拉克口中的知識工作者
  • 實際的工作細節，只有我們自己才能管理
• 為自己的信用負責
• 一次錯誤不代表什麼
• 多次錯誤代表某些事情...