AG AI Inference

Die Arbeitsgruppe AG AI-Inference bietet eine Plattform für alle Interessierten, um Erfahrungen beim Bereitstellen und Betreiben von KI-Inferenzdiensten auszutauschen und zu diskutieren.

Mission

Obwohl viele Hochleistungsrechenzentren über ausreichend GPUs verfügen, um die Inferenz auf modernsten KI-Modellen, insbesondere großen Sprachmodellen (LLMs), durchzuführen, ist die Bereitstellung von Zugang für Nutzer erheblich komplexer. Potenzielle Anbieter von KI-Inferenz stehen vor einer Reihe von Herausforderungen, darunter der Schutz des Zugangs, die Benutzerauthentifizierung, Rate Limiting, die Optimierung der Ressourcennutzung sowie die ständige Aktualisierung auf neu veröffentlichte state-of-the-art KI-Modelle.

Um den Austausch von Erfahrungen, bewährten Praktiken und Erfolgsgeschichten zu ermöglichen, fördert diese Arbeitsgruppe offene Diskussionen sowie die gemeinsame Nutzung funktionierender Werkzeuge und Lösungen, insbesondere im HPC Kontext. Ein weiteres langfristiges Ziel ist es, eine Reihe von Werkzeugen und Lösungen zu identifizieren, die funktionieren und als Standardlösung für die Bereitstellung von KI-Inferenz als Dienst gelten können.

Aufgaben

• Förderung des Austauschs zwischen Forschenden, Verwaltungsmitarbeitern und anderen interessierten Gruppen.
• Bereitstellung einer Plattform zum Teilen von Ideen, Diskussion von Ansätzen und zur Unterstützung der Wiederverwendung von Werkzeugen und Lösungen, die von einzelnen Zentren entwickelt wurden.
• Diskussion neuer Technologien und aufkommender Trends im Bereich der KI-Inferenz.