表格数据是实验学科科研里最常用的格式之一,特别是组学,现在有了单细胞转录组学跟高分辨质谱成像,这张表动辄几百万行上万列。这个数据量在CPU生态下做探索性数据分析几乎就是个灾难,要么就是爆内存,要么就是特别慢。我最近遇到这个问题,然后发现当前GPU是可以部分解决这个问题的,这里做个笔记。

虽然pytorch可以在不同平台编译做一些深度学习项目,但不得不承认基于CUDA的GPU生态,特别是RAPIDS套件里的 cuDF 跟 cuML,在探索性数据分析上目前没有可取代的。其可实现的常见算法包括但不限于主成分分析、UMAP、聚类分析例如(K-Means、DBSCAN)、图算法等:

PCA 底层是 SVD(奇异值分解),是标准的线性代数操作,GPU 上有专门优化的实现。RAPIDS 的 …