Cointime

Download App
iOS & Android

DeepSeek는 AI 데이터 액세스를 최적화하는 고속 병렬 파일 시스템인 3FS를 오픈 소스화하고 출시합니다.

DeepSeek의 발표에 따르면, 오픈소스 위크 5일째 되는 날, Fire-Flyer 파일 시스템(3FS)이 공식적으로 오픈소스화되었습니다. 고성능 병렬 파일 시스템인 3FS는 최신 SSD와 RDMA 네트워크를 최대한 활용하여 고속 데이터 액세스를 달성하고 AI 모델 훈련 및 추론의 효율성을 개선할 수 있습니다. 3FS 핵심 성과 지표: 180개 노드 클러스터에서 총 읽기 처리량이 6.6TiB/s, 25개 노드 GraySort 벤치마크에서 처리량이 3.66TiB/분, 단일 노드 KVCache 쿼리 최대 처리량이 40GiB/s를 초과합니다. 3FS는 분리된 아키텍처를 채택하고, 데이터 전처리, 데이터 세트 로딩, 체크포인트 저장/복구, 내장된 벡터 검색 및 추론 KVCache 쿼리를 지원하며 강력한 일관성 의미 체계를 갖추고 있습니다. DeepSeek은 동시에 Smallpond 데이터 처리 프레임워크를 출시하여 3FS 데이터 관리 기능을 더욱 최적화했습니다.

댓글

모든 댓글

Recommended for you