Mooncake是月之暗面Kimi联合清华大学等机构共同开源的大模型推理架构。采用以KVCache为中心的分布式架构,通过分离预填充和解码集群,充分利用GPU集群中未充分利用的CPU、DRAM和SSD资源,实现高效的KVCache缓存。Mooncake的核心优势在于能显著提升大模型推理的吞吐量,降低算力开销,在保持服务延迟相关的服务级别目标(SLO)的同时,处理高负载场景。
AI教程资讯
2025-01-31
QwQ-32B-Preview(QwQ-32B)是阿里推出的开源AI推理模型,在数学和编程领域表现卓越。QwQ-32B-Preview包含325亿参数,能处理长达32000个tokens的提示词。在多个基准测试中,包括GPQA、AIME、MATH-500和LiveCodeBench,QwQ-32B-Preview超越OpenAI的o1模型。
AI教程资讯
2025-01-31
InfiMM-WebMath-40B 是字节跳动和中国科学院联合开源的超大规模多模态数据集,旨在提升多模态模型的图文混合推理能力,在数学领域。数据集从 Common Crawl 中提取,经过严格的筛选、清洗和标注,包含 2400 万个网页、8500 万个图像 URL 和 400 亿个文本标记,涵盖了丰富的数学和科学相关内容。
AI教程资讯
2025-01-31
SAM 2 1(全称Segment Anything Model 2 1)是Meta(Facebook的母公司)推出的先进视觉分割模型,用于图像和视频。基于简单的Transformer架构和流式记忆设计,实现实时视频处理。SAM 2 1在前代基础上引入数据增强技术,改善对视觉相似物体和小物体的识别,提升遮挡处理能力。
AI教程资讯
2025-01-31