Hyperparameter-Budget-Planner

Anleitung zur Benutzung des Hyperparameter-Budget-Planners

Der Hyperparameter-Budget-Planner unterstützt Sie dabei, den Ressourcenbedarf Ihrer Machine-Learning-Experimente realistisch einzuschätzen. Das Tool nutzt hinterlegte FLOP-Formeln, um direkt nach Ihrer Eingabe zentrale Kennzahlen wie den VRAM-Bedarf, die geschätzte Rechenzeit sowie die benötigten FLOPs pro Trainingsdurchlauf zu berechnen.

Schritt-für-Schritt-Anleitung

• 1. Anzahl der Parameter eingeben:
  Tragen Sie im ersten Eingabefeld die Gesamtzahl der zu optimierenden Modellparameter ein.
  
  • Erlaubt sind Werte zwischen 1.000 und 1.000.000.000.
  • Beispiel: 1.000.000 für ein mittelgroßes neuronales Netzwerk-Modell.
• 2. Batch-Größe auswählen:
  Geben Sie im nächsten Feld ein, wie viele Trainingsbeispiele gleichzeitig (pro Batch) verarbeitet werden sollen.
  
  • Gültige Werte: zwischen 1 und 32.768.
  • Beispiel: 32 oder 128, je nachdem wie viel Speicher Ihre Hardware bereitstellt.
• 3. Berechnung starten:
  Klicken Sie auf den Button „Berechnen“. Das Tool prüft automatisch die Korrektheit Ihrer Angaben. Ungültige Eingaben werden markiert, sodass Sie diese korrigieren können.
• 4. Ergebnisse interpretieren:
  Die folgenden Schätzwerte werden sofort angezeigt:
  • VRAM-Bedarf: Erforderlicher Grafikspeicher für Modell, Aktivierungen und Gradienten während des Trainings (Angabe in GB).
  • FLOPs pro Forward/Backward: Rechenaufwand je vollständigem Trainingsschritt (wichtig zur Abschätzung der Hardware-Auslastung).
  • Geschätzte Rechenzeit: Gibt an, wie lange mit 1 TeraFLOP/s das Training einer Epoche mit 10.000 Beispielen dauern würde.

Praktische Hinweise

• Experimentieren Sie mit verschiedenen Werten, um die Auswirkungen auf Speicher- und Zeitbedarf direkt zu sehen. So können Sie die optimale Balance zwischen Geschwindigkeit und Ressourceneinsatz für Ihr Projekt finden.
• Planen Sie mit Sicherheitsreserven: Insbesondere für große Experimente empfiehlt es sich, stets etwas Puffer beim VRAM einzuplanen.
• Überprüfung der Hardware: Stimmen Sie die Schätzwerte mit Ihren tatsächlich verfügbaren Hardware-Ressourcen ab. Wenn der VRAM-Bedarf die verfügbare GPU-Speichermenge übersteigt, wählen Sie kleinere Werte für Batchgröße oder Parameteranzahl.

Probieren Sie verschiedene Konfigurationen aus, um für Ihr Deep-Learning-Vorhaben die optimalen Einstellungen schnell und fundiert zu finden!