Data Turbines大数据云平台产品介绍。
Data Turbines大数据云平台是上海雅捷信息技术股份有限公司出品的大数据查询、加工产品,应用于金融、电信等大数据领域。其核心技术是大规模并行计算。
超级查询单元SQC(super query component)是Data Turbines大数据云平台的关键组成部分,SQC使用GPU高性能并行计算技术,实现了对数据的高速查询,在单节点环境下,相对于某些大型商业数据库,能提升数十倍的查询速度。在金融领域,典型的应用是5000万客户,1亿账户,每年至少10亿条交易记录。在这种场景,SQC能将查询速度提升450倍。
Data Turbines大数据云平台通过高速高效的消息队列技术,将多个SQC连接成一个云平台。以TeslaK40计算卡为例,每块计算卡多达2880个计算单元,超轻量级的线程切换使得GPU内部能有上万个线程同时并行计算;每个SQC节点配置至少一块GPU计算卡,使得节点内部多GPU并行;通过消息机制,节点之间也能并行。通过这三级并行,使得查询速度大幅提升。