AI导读:

DeepSeek在“开源周”最后一天宣布开源Fire-Flyer文件系统(3FS)及基于3FS的数据处理框架Smallpond。3FS具备高带宽利用等特点,Smallpond可处理PB级数据集。DeepSeek持续受到关注,DeepSeek-R2模型或提前发布。

2月28日,Deepseek在“开源周”的第五天宣布开源Fire-Flyer文件系统(3FS)及基于3FS的数据处理框架Smallpond。3FS是一种利用现代SSD和RDMA网络并行文件系统,是DeepSeek数据访问的助推器。

其亮点包括:180节点集群中的聚合读取吞吐量为6.6TiB/s;25节点集群GraySort基准测试吞吐量达3.66TiB/min;客户端节点KVCache查找峰值吞吐量超40GiB/s;具备强一致性语义的分解架构;适用于训练数据预处理、数据集加载、检查点保存/重新加载等。

Smallpond作为轻量级数据处理框架,基于DuckDB,具备高性能数据处理可扩展性,可处理PB级数据集,无需持续运行服务,操作简便。

至此,DeepSeek为期五天的“开源周”活动圆满结束。

活动期间,DeepSeek逐步开源多个代码库,包括FlashMLA、DeepEP、DeepGEMM及Optimized Parallelism Strategies,分别针对MLA解码、MoE模型训练推理、模型训练和推理效率等。

DeepSeek持续受到关注,QuestMobile数据显示,自上线至2月9日,其App累计下载量超1.1亿次,周活跃用户近9700万。DeepSeek-R2模型加速开发,或提前发布,有望生成更优代码,支持多语言推理。

印度科技服务商Zensar首席运营官认为,DeepSeek-R2发布或成AI行业关键时刻,将打破少数企业垄断格局。目前,OpenAI、谷歌等企业已相继推出深度推理/思考模型。

(文章来源:中国基金报)