Die Abläufe von Hugging Face on AWS sind laut aws.amazon.com für die beliebtesten Foundation Models im Hugging-Face-Model-Hub verfügbar. Sie sollen die Leistung der Modelle für konkrete Anwendungsfälle verbessern und die Kosten erheblich senken. Hinter den Abläufen stehen die Hugging Face AWS Deep Learning Containers, die eine vollständig verwaltete Umgebung zum Erstellen, Trainieren und Bereitstellen von Foundation Models mit SageMaker bieten.
Die Container ersparen es, Abhängigkeiten selbst zu paketieren und die ML-Workloads auf die Zielhardware abzustimmen, so aws.amazon.com. AWS und Hugging Face arbeiten gemeinsam an der Open-Source-Bibliothek Optimum Neuron, die in den für AWS-KI-Chips gebauten Containern steckt. Sie soll Preis-Leistungs-Vorteile bei minimalem Aufwand bringen.
Das Angebot umfasst vortrainierte Modelle wie Meta Llama 3, Mistral, Falcon 2 und Starcoder. Für Chat-Support und virtuelle Assistenten nennt aws.amazon.com instruction-tuned Meta Llama 3 und Falcon 2. Zur Inhaltsgenerierung kommen Mistral-Modelle hinzu, zur Codegenerierung StarCoder und zur Zusammenfassung Meta Llama 3.
AWS Trainium ist laut aws.amazon.com der Nachfolger von AWS Inferentia und auf leistungsstarke Trainingsworkloads ausgerichtet. Die Dokumentation nennt Einsparungen von bis zu 50 Prozent bei den Trainingskosten gegenüber vergleichbaren GPU-basierten Instanzen. AWS Trainium kann die Trainingskosten um bis zu 50 Prozent senken, AWS Inferentia2 die Inferenzkosten um bis zu 40 Prozent gegenüber vergleichbaren EC2-Instanzen. Trainium wurde für das Training von Modellen der Sprachverarbeitung, Computer Vision und von Recommender-Systemen optimiert.
AWS-Trainium-Instanzen führen PyTorch nativ über das Paket torch-neuronx aus, das das Neuron-Gerät registriert. Der Beschleuniger unterstützt Datentypen wie FP32, TF32, BF16, FP16, UINT8 und konfigurierbares FP8. Neuron kompiliert das Modell für jede Eingabeform in einen oder mehrere Graphen; statische Eingabeformen vermeiden eine Neukompilierung. Dafür müssen alle Beispiele auf dieselbe Länge gekürzt oder aufgefüllt werden.
Das Tutorial von Hugging Face führt in AWS Trainium und Hugging Face Transformers ein. Es behandelt das Einrichten einer Trainium-Instanz, das Laden und Verarbeiten des Datensatzes sowie das Fine-Tuning von BERT mit Transformers und Optimum Neuron. Verwendet wird eine trn1.2xlarge Instanz mit einem Accelerator aus zwei Neuron Cores und dem Hugging Face Neuron Deep Learning AMI. Das Tutorial wurde auf einer trn1.2xlarge AWS EC2 Instance erstellt.
SageMaker bietet laut aws.amazon.com erhöhte Sicherheit, weil Nutzer ihre Virtual Private Cloud verwenden und Foundation Models in Netzwerkisolation bereitstellen können. Modelle lassen sich in Echtzeit oder asynchron bereitstellen; Multi-Model-Endpunkte und weitere Bereitstellungstechniken sollen volle Kontrolle über Kosten und Leistung geben. Hugging Face Text Generation Inference unterstützt NVIDIA-GPUs sowie Inferentia2 auf SageMaker und soll höheren Durchsatz und niedrigere Latenz bei sinkenden Kosten ermöglichen. Laut aws.amazon.com lassen sich Hugging-Face-Modelle mit SageMaker, Trainium und Inferentia innerhalb von Minuten trainieren und bereitstellen.