OPEN SOURCE / INFERENCE ENGINE

ds4-dfm-rs

A Rust host for specialized large-model inference. Native execution, explicit model contracts, and measured releases.

대규모 모델 특화 추론을 위한 Rust 호스트. 네이티브 실행, 명시적 모델 지원 조건, 측정에 근거한 릴리즈.

A focused engine, with a clear boundary.

명확한 경계를 둔 모델 특화 추론 엔진.

ds4-dfm-rs is the independent Rust-host continuation of DwarfStar’s DFM line. I led the host migration and model-family extensions with coding agents, building on the antirez → Entrpi → Baekpica lineage.

ds4-dfm-rs는 DwarfStar DFM 계열을 이어가는 독립 Rust 호스트 프로젝트입니다. antirez → Entrpi → Baekpica의 작업을 바탕으로 코딩 에이전트와 함께 호스트 마이그레이션과 모델 패밀리 확장을 이끌었습니다.

Rust owns HTTP serving, scheduling, model and session lifetimes, KV policy, distributed orchestration, and profiling tools. The existing C/CUDA/Metal backend retains the hardware-specific execution.

Rust는 HTTP 서빙, 스케줄링, 모델·세션 수명, KV 정책, 분산 실행과 프로파일링 도구를 담당합니다. 기존 C/CUDA/Metal 백엔드는 하드웨어별 실행을 계속 담당합니다.

RUST HOSTAPIs · Lifecycle · Policy

OPAQUE ABINative C / CUDA / Metal

What shipped in v0.1.0

v0.1.0에 포함된 내용

Released September 7, 2026, with a stable host/runtime boundary, restored Qwen Session disk-KV support, and a native performance-observability workflow.

2026년 9월 7일 정식 릴리즈했습니다. 호스트·런타임 경계 안정화, Qwen 세션의 디스크 KV 복원, 네이티브 성능 관측 워크플로를 포함합니다.

OpenAI-compatible Chat, Completions, and Responses; Anthropic Messages; a native coding agent.
OpenAI 호환 Chat·Completions·Responses, Anthropic Messages, 네이티브 코딩 에이전트.
Explicit support contracts for eight families, including Qwen, K-EXAONE, Solar Open2, Motif-3, dots3, DeepSeek V4, GLM 5.3 Flash, and K2-Horizon.
Qwen, K-EXAONE, Solar Open2, Motif-3, dots3, DeepSeek V4, GLM 5.3 Flash, K2-Horizon의 8개 모델 패밀리에 대한 명시적 지원 조건.
ds4-perf doctor and scout: Nsight collection, prefill/decode attribution, and preserved raw evidence. Optional instrumentation uses NVIDIA’s official Rust NVTX SDK.
ds4-perf doctor·scout: Nsight 수집, prefill/decode 분석, 원본 근거 보존. 선택적 계측에는 NVIDIA 공식 Rust NVTX SDK를 사용합니다.

How I validated the work

작업 검증 방식

I defined bounded implementation tasks and acceptance criteria, directed single-change experiments, and reviewed repeated measurements and regression results. The C implementation remained an oracle for host behavior; release decisions used real model artifacts on DGX Spark / GB10.

구현 범위와 검증 기준을 정하고 단일 변경 실험을 이끌며 반복 측정과 회귀 결과를 검토했습니다. 호스트 동작은 C 구현을 기준으로 비교하고, DGX Spark / GB10의 실제 모델 아티팩트로 릴리즈를 판단했습니다.

The v0.1.0 ledger records C/Rust selected-token parity, numerical checks, model-family live tests, memory lifecycles, and profiling checks. Each result has an artifact and workload scope.

v0.1.0 검증 기록에는 C/Rust 선택 토큰 일치, 수치 검사, 모델 패밀리 실기 검증, 메모리 수명, 프로파일링 검사가 포함됩니다. 결과별 아티팩트와 워크로드 범위를 명시했습니다.

Read the release qualification ledger ↗

Supported scope

지원 범위

The published release evidence targets DGX Spark / GB10 with CUDA and specific model layouts. Metal remains an inherited source/build path. Hardware, context, batching, and quantization support vary by family; the repository documents those limits.

공개 릴리즈 검증은 DGX Spark / GB10의 CUDA 경로와 특정 모델 레이아웃을 대상으로 합니다. Metal 소스·빌드 경로는 유지하며, 하드웨어·컨텍스트·배칭·양자화 지원 범위는 모델 패밀리별 문서에서 확인할 수 있습니다.