Hinzufügen von LLM-Modellen zur GitHub-Copilot-App

Sie können die GitHub Copilot app so konfigurieren, dass sie zusätzlich zu den von GitHub bereitgestellten Modellen Modelle eines LLM-Anbieters Ihrer Wahl – mithilfe von Bring Your Own Key (BYOK) – einschließt. Sie können Ihren Modellanbieter beim ersten Öffnen der App oder später in den App-Einstellungen einrichten.

Windows-Benutzer mit einer NVIDIA-GPU und genügend Arbeitsspeicher können die MAI Code 1.1 Flash- und Flint NVFP4-Modelle lokal auf ihrem Gerät direkt aus dem GitHub Copilot app heraus installieren.

Sie müssen sich mit einem GitHub-Konto anmelden, um die App zu nutzen, aber sie benötigen keinen Copilot-Plan, wenn sie ihren eigenen Modellanbieter verwenden. Wenn Sie über einen Copilot Plan verfügen, können Sie Modelle von Ihrem eigenen Modellanbieter und GitHub-bereitgestellten Modellen in derselben App verwenden.

Hinzufügen von Modellen mithilfe von BYOK

Sie können die BYOK-Methode verwenden, um Modelle zu GitHub Copilot app hinzuzufügen.

Unterstützte Anbieter

GitHub Copilot app unterstützt diese BYOK-Modellanbieter:

• OpenAI
• Azure OpenAI
• Microsoft Foundry
• Anthropic
• Ollama
• Gießerei Lokal
• LM Studio
• Jeder openAI-kompatible HTTP-Endpunkt

Voraussetzung

Sie müssen über einen API-Schlüssel verfügen, um einen Modellanbieter hinzuzufügen, der eine Authentifizierung erfordert.

Einrichten eines Modellanbieters

Wenn Sie die App zum ersten Mal einrichten und keinen Plan haben Copilot , können Sie während des Onboardings Ihren eigenen Modellanbieter einrichten.

So fügen Sie später einen Modellanbieter hinzu oder aktualisieren ihn:

1. Klicken Sie , um das Dialogfeld "Einstellungen" zu öffnen.
2. Klicken Sie in der Seitenleiste auf Model providers.
3. Klicken Sie auf "Anbieter hinzufügen".
4. Wählen Sie Ihren Anbieter aus.
5. Geben Sie die Anbieterdetails ein. Dies variiert je nach Anbieter, kann jedoch den Anzeigenamen, die Basis-URL und den API-Schlüssel enthalten.
6. Klicken Sie auf "Anbieter hinzufügen" , um den Anbieter zu speichern.

Nachdem Sie einen Anbieter hinzugefügt haben, werden seine Modelle zusammen mit GitHubgehosteten Modellen in der Modellauswahl angezeigt. Sie können das Modell auswählen und in einer Sitzung verwenden. Weitere Informationen findest du unter Arbeiten mit Agent-Sitzungen in der GitHub-Copilot-App.

Anbieteranmeldeinformationen werden im Systemanmeldeinformationsspeicher gespeichert und werden nie in der Benutzeroberfläche angezeigt.

Installieren eines lokalen Modells aus der Modellauswahl

Wenn Sie Windows verwenden und Ihr Computer die folgenden Voraussetzungen erfüllt, können Sie die folgenden Modelle lokal auf Ihrem Gerät aus den Einstellungen der App herunterladen und installieren:

• MAI Code 1.1 Flash
• Flint NVFP4

Prerequisites

Sie benötigen Folgendes:

• Ein Windows PC

• Eine NVIDIA-GPU (AMD wird nicht unterstützt)

• Minimal verfügbarer kombinierter RAM pro Modell:

  • MAI Code 1.1 Flash:  96 GB
  • Flint NVFP4:  48 GB

• Mindestens verfügbarer Speicher pro Modell:

  • MAI Code 1.1 Flash:  60 GB
  • Flint NVFP4:  23 GB

• llama.cpp v0.7.0 oder höher muss installiert sein und LLAMACPP_SERVER_PATH muss auf seinen Pfad gesetzt sein. Erforderliche Buildversion:

  • MAI Code 1.1 Flash: b11669 oder höher
  • Flint NVFP4: b11803 oder neuer

  Siehe llama.cpp unter Windows installieren.

Vorteile der lokalen Nutzung MAI Code 1.1 Flash

MAI Code 1.1 Flashist ein codierungsoptimiertes Modell, das Sie lokal auf Ihrem Windows PC ausführen können. Mithilfe eines modells, das lokal ausgeführt wird, können Sie Copilot offline verwenden und den Verbrauch von GitHub AI Credits vermeiden.

Nach der MAI Code 1.1 FlashInstallation können Sie es wie jedes andere Modell aus der Modellauswahl auswählen. Das Modell ist auch für die Leistungsstufe von Copilot FusionFusion Standard verfügbar. Wenn Sie die Modellauswahl mit Fusion Standard auf Copilot Fusion festlegen, wird MAI Code 1.1 Flash automatisch für die Arbeit an geeigneten Vorgängen ausgewählt, sodass cloudbasierte Modelle für Vorgänge, die mehr Ressourcen oder eine höhere Leistung erfordern, verbleiben.

Installieren von llama.cpp für Windows

So installieren Sie llama.cpp auf Windows mit dem CUDA-Build:

1. Wechseln Sie in Ihrem Browser zur Seite "Versionen" des llama.cpp Repositorys: https://github.com/ggml-org/llama.cpp/releases.

2. Wählen Sie die Version aus, die Sie installieren möchten, z. B . b11803.

3. Klicken Sie auf die Links, um beide Dateien für den Windows CUDA 13.4 ARM64-Build herunterzuladen:

   • Windows arm64 (CUDA 13)
   • CUDA 13.4 DLLs

4. Öffnen Sie die Eingabeaufforderung, und erstellen Sie den Installationsordner:

   Shell

   mkdir "%LOCALAPPDATA%\Programs\llama.cpp\BUILD-cuda-13.4-arm64"
   

BUILD Ersetzen Sie die die Buildnummer – z. B. b11803.

1. Extrahieren Sie alle Dateien aus beiden ZIP-Dateien direkt in diesen Ordner. Wenn Sie "Alle extrahieren" im Datei-Explorer verwenden, ändern Sie das Ziel in diesen Ordner, da standardmäßig im Datei-Explorer für jede ZIP-Datei ein separater Unterordner erstellt wird. Wenn Sie fertig sind, sollte der Ordner eine große Anzahl von Dateien enthalten, einschließlich llama-server.exe, cublas64_13.dll, cublasLt64_13.dll und cudart64_13.dll, ohne Unterordner.

2. Festlegen der LLAMACPP_SERVER_PATH Umgebungsvariable:

   Shell

   setx LLAMACPP_SERVER_PATH "%LOCALAPPDATA%\Programs\llama.cpp\BUILD-cuda-13.4-arm64\llama-server.exe"
   

BUILD Ersetzen Sie die Buildnummer.

1. Schließen Sie die Eingabeaufforderung, und öffnen Sie ein neues Eingabeaufforderungsfenster. Wenn das Copilot app Oder VS Code bereits geöffnet ist, starten Sie es neu. Wenn Copilot CLI ausgeführt wird, beenden Sie es und starten Sie es erneut aus einem neuen Terminalfenster.

2. Um die Installation zu überprüfen, führen Sie aus:

   Shell

   "%LLAMACPP_SERVER_PATH%" --list-devices
   

Ein lokales Modell innerhalb des Copilot app installieren

1. Klicken Sie auf , um das Dialogfeld „Einstellungen“ zu öffnen.

2. Klicken Sie in der Seitenleiste auf Modellanbieter.

3. Klicken Sie auf "Anbieter hinzufügen".

4. Wählen Sie Windows ML aus.

   Wenn Ihr lokaler Computer die Voraussetzungen erfüllt, werden die unterstützten lokalen Modelle unter "Verfügbare Modelle" aufgeführt.

5. Klicken Sie bei dem Modell, das Sie installieren möchten, auf Herunterladen.

6. Verwenden Sie den Schieberegler Maximal zu verwendender % des Systemspeichers, um die Menge des Systemspeichers zu begrenzen, die von Windows ML-Modellen verwendet werden kann.

7. Aktivieren Sie „Modelle beim Neustart der App neu starten“, um heruntergeladene Windows-ML-Modelle automatisch neu zu starten, wenn Sie die Copilot app neu starten.

8. Ändern Sie die modellspezifischen Einstellungen nach Bedarf.

Verwenden eines heruntergeladenen lokalen Modells

Nach Abschluss des Downloads steht das lokale Modell für die Verwendung in Ihren Sitzungen zur Verfügung.

Sie haben folgende Möglichkeiten:

• Wählen Sie es aus der Modellauswahl aus, genauso wie jedes andere verfügbare Modell. Siehe Auswählen eines Modells in Copilot app.
• MAI Code 1.1 Flash nur: Wählen Sie Copilot Fusion und dann im Modellauswähler die Stufe Fusion Standard aus, und Copilot verwendet dieses Modell bei Bedarf automatisch.
• Weisen Sie es einem custom agent für fokussierte Aufgaben zu. Sie können dann Copilot auffordern, diesen benutzerdefinierten Agenten für einen Teil einer Aufgabe zu verwenden, während Sie Ihre Hauptsitzung auf einem anderen Modell in der Cloud beibehalten. Siehe Erstellen und Verwenden von benutzerdefinierten Agenten für GitHub Copilot CLI.