腾讯开源数据组件 Fast-Causal-Inference,可用于分布式向量化统计分析及因果推算

人工智能 开源
腾讯在其公众号“腾讯开源”中宣布,旗下开源分布式数据科学组件项目 Fast-Causal-Inference 目前已经在 GitHub 中公布。

9 月 18 日消息,腾讯在其公众号“腾讯开源”中宣布,旗下开源分布式数据科学组件项目 Fast-Causal-Inference 目前已经在 GitHub 中公布。

▲ 图源 “腾讯开源”公众号▲ 图源 “腾讯开源”公众号

据悉,这是由腾讯微信研发,采用 SQL 交互的,基于分布式向量化的统计分析、因果推断计算库,据称“解决已有统计模型库 (R / Python) 在大数据下的性能瓶颈,提供百亿级数据秒级执行的 Causal inference 能力,同时通过 SQL 语言降低统计模型使用门槛,易用于生产环境中,目前已在微信视频号、微信搜一搜等微信内部多个业务进行了应用。”

官方介绍:

提供海量数据秒级执行的 Causal inference 能力 

基于向量化 OLAP 执行引擎 ClickHouse / StarRocks,速度上更益于极致化用户体验。


极简的 SQL 使用方式

SQLGateway WebServer 通过 SQL 语言降低统计模型使用门槛,并在上层提供极简的 SQL 使用方式,透明做引擎相关的 SQL 展开和优化。

提供基础算子、高阶算子的因果推断能力,及上层的应用封装

支持 ttest, OLS, Lasso, Tree-based model, matching, bootstrap, DML 等。

IT之家同时得知,官方表示,首个版本已经支持如下特性:

基础因果推断工具

  • 基于 deltamethod 的 ttest,支持 CUPED
  • OLS,亿行数据,亚秒级

进阶因果推断工具

  • 以 OLS 为基础的 IV,WLS,以及其他 GLS,DID,合成控制,CUPED,mediation 正在孵化
  • uplift:千万数据分钟级别运算
  • bootstrap / permutation 等数据模拟框架,解决没有显示解的方差估计问题

参考

责任编辑:庞桂玉 来源: IT之家
相关推荐

2019-09-18 09:05:58

技术SQLDevOps

2015-08-19 09:40:51

统计分析

2013-09-10 14:50:12

数组面试题

2011-03-14 14:41:59

大数据数据中心

2019-10-16 10:34:33

数据库大数据脚本语言

2014-10-28 14:59:42

手游付费行为数据统计分析

2012-09-25 14:18:51

Linux桌面环境

2010-12-30 09:44:10

C#Attribute

2015-02-27 09:53:06

Countly

2020-05-15 15:21:58

SPSS数据分析

2021-06-10 09:53:04

数据统计统计分析数据

2009-06-29 15:25:21

SessionJSP

2014-06-04 09:42:41

工业控制系统APT

2015-01-05 17:28:02

JMP

2011-05-27 13:56:04

网站流量

2020-03-31 14:57:56

数据挖掘OLAP统计

2010-06-01 14:30:06

Mrtg教程

2019-04-24 15:42:52

DCache开源数据库

2010-06-07 17:26:41

Mrtg教程

2022-02-18 12:58:35

go-monitor工具服务质量
点赞
收藏

51CTO技术栈公众号