Large Scale Model Fitting with R

很多人都在詬病R 無法處理大量的數據

但是只要用對R 的包

R 是可以處理大量的數據

今天我想跟大家分享

運用R 建立商用推薦引擎的心得

主要是靠著Rcpp和pbdMPI等包

打造可擴放性的學習模組

Taiwan R User Group

MLDMMonday: 每週一分享資料相關議題

主題包含但不限於：

R 套件使用

機器學習和統計模型

實際的數據和課本上的數據是不一樣的

今天從這樣的數據開始

以“預測點擊發生的機率”為例

\[w^Tx\]

iris

head(model.matrix(Species ~ ., iris))

  (Intercept) Sepal.Length Sepal.Width Petal.Length Petal.Width
1           1          5.1         3.5          1.4         0.2
2           1          4.9         3.0          1.4         0.2
3           1          4.7         3.2          1.3         0.2
4           1          4.6         3.1          1.5         0.2
5           1          5.0         3.6          1.4         0.2
6           1          5.4         3.9          1.7         0.4

實際的資料

有 \(10^{9+}\) 筆資料

有 \(10^{3+}\) 筆廣告

每種類別變量可能到 \(10^{3}\) 類別

model.matrix的後果：

一個Covariate下

至少需要 \(10^9 \times (10^3...)\) 個位元

也就是 \(116.415\) GB的記憶體

開始抱怨了!

R 不能處理大量的數據

R 會吃很多記憶體

使用R 跑不動，使用其他工具就跑得動

請使用和其他工具一樣的資料結構:

這種狀況，應該使用稀疏矩陣

在我手上的資料上

大概可以省下 \(10^2 \sim 10^3\) 倍記憶體

而且可以大幅度加快運算效能!

如果m1, m2是 \(10^4 \times 10^4\) 的矩陣:

      test replications elapsed relative user.self sys.self user.child sys.child
1 m1 %*% r          100  17.671      736     43.96    0.100          0         0
2 m2 %*% r          100   0.024        1      0.02    0.004          0         0

可以利用Rcpp將C的實作暴露到R中

可以利用Rcpp做記憶體的重復使用

                test replications elapsed relative user.self sys.self user.child sys.child
1           m2 %*% r          100   0.023     11.5     0.020    0.002          0         0
2 XTv(m2, r, retval)          100   0.002      1.0     0.002    0.000          0         0

在現代的Rcpp架構下

將C++函數放到R中變得很簡單

我們只需要專注在算法上

#include <Rcpp.h>
using namespace Rcpp;
// [[Rcpp::export]]
SEXP XTv(S4 m, NumericVector v, NumericVector& retval) {
  //...
}

社群的線上教學：Rcpp/C++ 線上講座

再透過pbdMPI開發分散式矩陣乘法

利用更多CPU和更多記憶體提升效能

\[\left(\begin{array}{c}X_1 \\ X_2\end{array}\right) v = \left(\begin{array}{c}X_1 v \\ X_2 v\end{array}\right)\]

\[\left(v_1 , v_2\right) \left(\begin{array}{c}X_1 \\ X_2\end{array}\right) = v_1 X_1 + v_2 X_2\]

pbdMPI是pbdR(Programming with Big Data in R)專案的套件之一

為了加強效能

並且能夠更方便的更改模型

我們自己包LIBLINEAR到R中

class TRON
{
public:
  TRON(const function *fun_obj, double eps = 0.1, int max_iter = 1000);
  ~TRON();

  void tron(double *w);
    void set_print_string(void (*i_print) (const char *buf));

private:
    //...
};

• TRON是最佳化的核心算法的實作
• TRON沒有牽涉到資料，甚至沒有牽涉到Loss Function
• function提供了一個界面

結合pbdMPI和Rcpp Modules

讓TRON呼叫分散式的運算系統

SPMD架構，無master，一次資料交換

objective_function <- function(w) {
  logger(sum(w))
  regularization <- sum((w - prior)^2) / 2
  lik <- sum(C * log(1 + exp(- y.value * Xv(X, w))))
  lik.all <- allreduce(x = lik, x.buffer = buffer.0, op = "sum")
  return(regularization + lik.all[1])
}

hs <- new(HsTrust, objective_function, ...)

SPMD架構

objective_function非常易於修改

所以我們能將注意力專注於模型上

objective_function <- function(w) {
  logger(sum(w))
  regularization <- sum((w - prior)^2) / 2
  lik <- sum(C * log(1 + exp(- y.value * Xv(X, w))))
  lik.all <- allreduce(x = lik, x.buffer = buffer.0, op = "sum")
  return(regularization + lik.all[1])
}

終於跨過資料量的門檻了...

該看看資料了！

因子的組合

實驗結果

分析

感謝R 強大的分析功能

平均來說FeatureSet B 好 \(0.5\%\)

成果

R Packages + Git + Jenkins:

開發後自動測試、部署和版本控制

利用Spark做Data Cleaning

R + rjson + awscli

自動利用AWS建立雲端實驗用Cluster

ec2_request_spot_instances <- function(spot_price, instance_count, launch_specification = list()) {
  write(toJSON(launch_specification), file=(json.path <- tempfile()))
  cmd <- sprintf("aws ec2 request-spot-instances --spot-price %f --instance-count %d --launch-specification %s", spot_price, instance_count, sprintf("file://%s", json.path))
  system_collapse(cmd)
}

R 是可以對大量數據進行處理：

使用Matrix套件的稀疏矩陣

Rcpp高效能的使用記憶體

Rcpp整合第三方的庫

pbdMPI建立分散式平行運算叢集

關於今天分享的工作

感謝兩位同學Y.-C. Juan, Y. Zhuang

和我在Bridgewell Inc.的合作

Q&A