RTX 4090 vs A100 - Porównanie wydajności GPU

Bezpośrednie porównanie wydajności między RTX 4090 i A100 pochodzących z naszej floty produkcyjnej. Testy pokazują, że RTX 4090 wygrywa 12 z 20 testów (60% współczynnik wygranych), podczas gdy A100 wygrywa 8 testów. Wszystkie 20 wyników testów jest automatycznie zbierane z aktywnych serwerów dzierżawionych, zapewniając dane dotyczące wydajności w realnych warunkach, a nie wyniki testów syntetycznych.

Wydajność wnioskowania LLM: RTX 4090 o 15% szybszy

W testach wnioskowania modeli językowych, na 8 różnych modelach, RTX 4090 jest średnio 15% szybszy od A100. Dla wnioskowania gpt-oss:20b, RTX 4090 osiąga 181 tokenów/s w porównaniu do 149 tokenów/s dla A100, co sprawia, że RTX 4090 jest znacząco szybszy, z przewagą 21%. Ogólnie rzecz biorąc, RTX 4090 wygrywa 7 z 8 testów LLM, z średnią różnicą w wydajności wynoszącą 18%, co czyni go lepszym wyborem dla obciążenia wnioskowania modeli transformatorowych.

Wydajność generowania obrazów: RTX 4090 o 40% wolniejszy

Oceniając generowanie obrazów AI w 12 różnych modelach Stable Diffusion, RTX 4090 jest o 40% wolniejszy niż A100 w tej kategorii. Testując sd3.5-medium, RTX 4090 generuje obrazy w 25 s/obraz, podczas gdy A100 osiąga 6,8 s/obraz, co czyni RTX 4090 znacząco wolniejszym z 72% deficytem. W wszystkich 12 testach generowania obrazów, RTX 4090 wygrywa 5 testów z średnią różnicą w wydajności wynoszącą 40%, co czyni A100 lepszym wyborem dla obciążeń Stable Diffusion, SDXL i Flux.

Informacje o tych testach porównawczych RTX 4090 vs A100

Nasze testy porównawcze są zbierane automatycznie z serwerów posiadających karty graficzne typu RTX 4090 i A100 w naszej flocie, wykorzystując standardowe zestawy testowe:

Inferencja LLM (Ollama i VLLM): Mierzy liczbę tokenów na sekundę dla RTX 4090 w porównaniu do A100 podczas wnioskowania LLM przy użyciu różnych modeli (Llama, Qwen, itp.) zarówno na Ollama, jak i VLLM z kwantyzacją FP8.
Generowanie obrazów: Mierzy liczbę obrazów generowanych na minutę oraz czas generowania pojedynczego obrazu dla generowania obrazów AI na RTX 4090 w porównaniu do A100.
CPU: Liczba operacji jednowątkowych i wielowątkowych na sekundę reprezentująca serwery GPU, które można wynająć z RTX 4090 lub A100
NVMe: Prędkości odczytu i zapisu w MB/s dla wydajności pamięci masowej na serwerach GPU, zazwyczaj wyposażonych w RTX 4090 lub A100

Uwaga: wyniki testów wydajności AI dla RTX 4090 i A100 mogą się różnić w zależności od obciążenia systemu, konfiguracji i konkretnych wersji sprzętowych. Te wartości reprezentują medianę z wielu uruchomień testów RTX 4090 i A100.