Der ultimative Guide für KI-Agenten als Home Assistant

Autor: KI Navigator Redaktion

Veröffentlicht:

Aktualisiert:

Kategorie: KI-Technologien und -Tools

Zusammenfassung: Für einen lokalen KI-Agenten in Home Assistant müssen Assist-Pipeline, Ollama, Modell, Netzwerk und klar benannte, begrenzte Entitäten korrekt eingerichtet sein.

Voraussetzungen für KI-Agenten in Home Assistant

Für einen KI-Agenten in Home Assistant brauchst du mehr als nur ein Sprachmodell. Entscheidend ist das Zusammenspiel aus Assist, Sprachverarbeitung, erreichbarer LLM-Instanz und einer klar begrenzten Home-Assistant-Umgebung.

Home Assistant sollte auf einer aktuellen Version laufen. Die beschriebenen Funktionen sind in Home Assistant 2026.9.2 verfügbar. Ältere Versionen können andere Menüs, Integrationen oder Einstellungsnamen zeigen.

Prüfe vor der Einrichtung diese Punkte:

Die Assist-Pipeline und der KI-Agent übernehmen unterschiedliche Aufgaben: Speech-to-Text erkennt deine Worte, der Konversationsagent verarbeitet die Anfrage, Home Assistant führt einen freigegebenen Befehl aus und Text-to-Speech erzeugt anschließend die Sprachantwort. Fehlt eine dieser Stationen, wirkt der Agent schnell kaputt, obwohl nur ein einzelner Baustein nicht richtig arbeitet.

Du kannst zwischen zwei Betriebsarten wählen. Bei einem Cloud-Anbieter brauchst du normalerweise ein Konto, einen API-Schlüssel und eine stabile Internetverbindung. Bei einer lokalen Lösung muss der LLM-Dienst im Heimnetz erreichbar sein. Für Ollama ist häufig der Dienst unter Port 11434 verfügbar. Der genaue Hostname hängt jedoch von deiner Installation ab.

Für ein lokales Modell zählt außerdem die Hardware. Ein kleines Modell mit etwa 4 Milliarden Parametern kann auf geeigneten Mini-PCs oder Rechnern laufen, antwortet aber nicht immer zuverlässig bei komplexen Gerätebefehlen. Größere Modelle benötigen mehr Arbeitsspeicher und liefern oft bessere Ergebnisse, reagieren dafür langsamer. Als grobe Orientierung solltest du für ein 4B-Modell mehrere Gigabyte freien Arbeitsspeicher einplanen. Bei größeren Modellen steigt der Bedarf deutlich.

Bereite auch deine Geräteverwaltung vor. Ein Sprachbefehl wie „Mach das Licht an“ funktioniert zuverlässiger, wenn Entitäten nicht kryptisch heißen, sondern etwa Stehlampe Wohnzimmer. Räume und Geräte sollten korrekt zugeordnet sein. Unklare Namen, doppelte Bezeichnungen und veraltete Entitäten bringen selbst gute Modelle ins Straucheln.

Für die erste Einrichtung reicht ein einzelner Raum mit wenigen Lampen oder Steckdosen. Heizungen, Schlösser, Garagentore und sicherheitsrelevante Geräte solltest du zunächst nicht einbeziehen. So erkennst du leichter, ob die technische Verbindung funktioniert oder nur eine Freigabe fehlt.

Bei einem externen Dienst kommen Kosten und Anbieterbedingungen hinzu. Prüfe vor dem Start, welche Daten übertragen werden, wie lange Anfragen gespeichert bleiben und ob dein Tarif Sprach- oder Werkzeugaufrufe abdeckt. Nach dem EU-KI-Recht können je nach Einsatz zusätzliche Transparenzpflichten gelten. Informiere Nutzer deshalb klar, wenn Antworten von einem KI-System erzeugt werden. Weitere Hinweise zu Datenschutz, Tokens und Zugriffen findest du im Abschnitt Zugriff, Token und Datenschutz absichern.

Eine gute Vorbereitung spart später viel Fehlersuche: erst Assist und Sprache prüfen, dann den Agenten anbinden und erst danach einzelne Geräte freigeben.

Ollama lokal mit Home Assistant verbinden

Ollama verbindet Home Assistant mit einem lokal betriebenen Sprachmodell. Die Kommunikation bleibt dabei im Heimnetz, sofern weder das Modell noch zusätzliche Dienste externe Verbindungen benötigen. Für viele Installationen ist das der sauberste Weg zu einem KI-Agenten ohne laufende Cloud-Anfragen.

Installiere Ollama auf einem Rechner, der dauerhaft erreichbar ist. Geeignet sind zum Beispiel ein Linux-Server, ein leistungsfähiger Mini-PC oder ein Rechner mit Docker-Unterstützung. Der Dienst muss nicht auf demselben Gerät wie Home Assistant laufen. Wichtig ist nur, dass beide Systeme denselben Netzwerkdienst erreichen können.

Prüfe zunächst, ob Ollama lokal antwortet. Nach der Installation sollte ein Modell geladen werden, etwa qwen3:4b. Der Abruf erfolgt in der Shell mit:

ollama pull qwen3:4b

Danach kannst du eine kurze Anfrage senden:

ollama run qwen3:4b

Funktioniert diese Unterhaltung, ist das Modell grundsätzlich einsatzbereit. Die erste Antwort dauert oft länger, weil das Modell zunächst in den Arbeitsspeicher geladen wird. Spätere Anfragen reagieren meist schneller.

Für Home Assistant muss der Ollama-Dienst über das Netzwerk erreichbar sein. Standardmäßig verwendet die Schnittstelle den Port 11434. In der Ollama-Konfiguration kann es nötig sein, die Bind-Adresse von ausschließlich lokal auf eine erreichbare Netzwerkadresse zu ändern. Öffne den Dienst dabei nicht ungeschützt im Internet. Eine lokale Schnittstelle gehört ins lokale Netz, nicht an eine öffentliche IP-Adresse.

Trage anschließend in Home Assistant die Adresse der Ollama-Instanz ein. Je nach Netzwerk lautet sie beispielsweise:

http://192.168.1.50:11434

Verwendest du Docker, kann statt der IP-Adresse auch ein Container- oder Servicename funktionieren. Das hängt vom verwendeten Netzwerk ab. Ein häufiger Fehler ist hier die Adresse localhost: Sie verweist aus dem Home-Assistant-Container auf eben diesen Container und nicht automatisch auf den Rechner, auf dem Ollama läuft.

Die Integration findest du unter Einstellungen → Geräte & Dienste → Integration hinzufügen. Suche nach Ollama und hinterlege die Adresse des Dienstes. Anschließend sollte Home Assistant die verfügbaren Modelle einlesen. Taucht das zuvor geladene Modell nicht auf, liegt meist ein Erreichbarkeitsproblem vor oder der Dienst wurde mit einem anderen Benutzer installiert.

Wähle für den ersten Durchlauf ein kleines Modell. Ein Modell mit rund vier Milliarden Parametern ist für einfache Gespräche und grundlegende Gerätebefehle oft ein brauchbarer Start. Es ist aber kein Garant für zuverlässige Werkzeugaufrufe. Gerade bei mehrdeutigen Sätzen kann ein größeres Modell sinnvoller sein. Der Engpass ist häufig nicht Home Assistant, sondern die Kombination aus Modellgröße, Arbeitsspeicher und Verarbeitungstempo.

Ollama liefert den Text und verarbeitet die Anfrage. Die eigentliche Geräteaktion muss weiterhin von Home Assistant ausgeführt werden. Das Modell entscheidet nicht direkt über elektrische Schaltungen, sondern schlägt eine passende Aktion vor, die Home Assistant anhand seiner freigegebenen Funktionen verarbeitet.

Wenn die Verbindung steht, lege in der Ollama-Integration einen Konversationsagenten an und ordne ihm das geladene Modell zu. Erst danach lohnt sich die Feinabstimmung von Kontextgröße, Systemanweisung und Antwortverhalten. So lässt sich klar erkennen, ob ein Fehler aus dem Netzwerk, aus dem Modell oder aus der Agentenkonfiguration stammt.

Voraussetzungen und Optionen für KI-Agenten in Home Assistant

Bereich Empfehlung Vorteile Wichtige Hinweise
Home-Assistant-Version Aktuelle Version, insbesondere ab 2026.9.2 Aktuelle Menüs, Integrationen und Funktionen Ältere Versionen können andere Einstellungsnamen verwenden
Assist-Pipeline Speech-to-Text, Konversationsagent und Text-to-Speech vollständig einrichten Ermöglicht Sprachsteuerung mit Ein- und Ausgabe Fehlt ein Baustein, wirkt der Agent möglicherweise funktionslos
Lokales Modell mit Ollama Ollama im Heimnetz installieren und ein Modell wie qwen3:4b laden Mehr Kontrolle und weniger externe Datenübertragung Ollama muss erreichbar sein; der Standardport ist häufig 11434
Cloud-Anbieter Konto, API-Schlüssel und erreichbare Internetverbindung verwenden Oft leistungsfähigere Modelle und einfache Einrichtung Kosten, Datenschutz und Anbieterbedingungen prüfen
Modellgröße Für den Einstieg ein kleines Modell mit etwa 4 Milliarden Parametern Geringerer Speicherbedarf und oft schnellere Antworten Komplexe Gerätebefehle werden möglicherweise weniger zuverlässig verarbeitet
Systemanweisung Rolle, Sprache, Antwortlänge und Sicherheitsgrenzen konkret festlegen Planbareres Verhalten und einheitliche Antworten Keine Zugangsdaten oder sensiblen Informationen im Prompt speichern
Gerätefreigaben Zunächst nur Lampen, Steckdosen und Testgeräte freigeben Kleinere Fehlerfläche und einfachere Fehlersuche Schlösser, Tore, Heizungen und Alarmanlagen zunächst ausschließen
Gerätenamen Klare Namen wie „Stehlampe Wohnzimmer“ verwenden Bessere Erkennung durch Assist und das Sprachmodell Kryptische, doppelte oder veraltete Namen vermeiden
Verarbeitungsmodus Lokale Verarbeitung für Standardbefehle, KI-Agent für freie Dialoge Schnelle Steuerung und trotzdem flexible Gespräche Bei vollständiger KI-Verarbeitung können Antworten länger dauern
Kontextfenster 2048 Tokens für kurze Befehle, 4096 bis 8192 für längere Dialoge Ausreichender Gesprächskontext ohne unnötige Belastung Größere Fenster erhöhen Speicherbedarf und Antwortzeit
Tests Eindeutige Befehle, Anschlussfragen und absichtlich unklare Anfragen prüfen Zeigt Erkennung, Kontextverarbeitung und Sicherheitsverhalten Auch Protokolle und tatsächliche Dienstaufrufe kontrollieren
MCP und OpenCode Für Entwürfe, Analysen und Automationen mit begrenzten Rechten einsetzen Live-Kontext aus Home Assistant und weniger manuelle YAML-Arbeit Erzeugte Konfiguration vor der Aktivierung validieren und testen
Datenschutz Eigener Benutzer, begrenzte Tokens und kein offener Internetzugriff Bessere Kontrolle über Daten und Aktionen Cloud-Speicherung, Audioverarbeitung und Token-Zugriffe regelmäßig prüfen

KI-Konversationsagent und Modell einrichten

Öffne in der Ollama-Integration die Einrichtung eines neuen Konversationsagenten. Vergib einen eindeutigen Namen, etwa Assist Lokal. Ein klarer Name hilft später, wenn du mehrere Agenten für unterschiedliche Aufgaben anlegst.

Wähle anschließend das installierte Modell aus. Für den Einstieg eignet sich qwen3:4b, weil es vergleichsweise wenig Ressourcen benötigt und einfache Dialoge sowie grundlegende Steuerbefehle verarbeiten kann. Bei anspruchsvolleren Aufgaben zählt nicht nur die Modellgröße. Entscheidend ist auch, ob das Modell Werkzeugaufrufe und strukturierte Home-Assistant-Aktionen zuverlässig erkennt.

Lege für jeden Agenten einen klaren Zweck fest. Ein Modell für kurze Sprachbefehle braucht eine andere Konfiguration als ein Agent für längere Gespräche. Vermische beides nicht gleich am Anfang. Das macht die Auswertung unnötig schwammig.

Die individuelle Systemanweisung bestimmt das Verhalten des Agenten. Sie sollte Rolle, Sprache, Antwortlänge und Grenzen konkret beschreiben. Eine brauchbare Vorlage kann so aussehen:

Du bist der lokale Sprachassistent für dieses Zuhause. Antworte auf Deutsch, kurz und sachlich. Führe nur angeforderte Home-Assistant-Aktionen aus. Wenn ein Gerät oder Raum nicht eindeutig ist, frage nach. Erfinde keine Zustände und behaupte keine ausgeführte Aktion, wenn du sie nicht sicher bestätigen kannst.

Vermeide widersprüchliche Vorgaben. „Antworte immer ausführlich“ und „nutze höchstens einen Satz“ kann ein Modell nicht zuverlässig gleichzeitig erfüllen. Auch Humor, Rollenspiel und präzise Steuerung passen nicht immer gut zusammen. Bei einer Lampe ist eine klare Bestätigung hilfreicher als ein kleiner Gag.

Stelle das Kontextfenster passend zur Aufgabe ein. Werte zwischen 2048 und 8192 Token sind für diesen Einsatz üblich. Ein kleiner Wert genügt bei einzelnen Befehlen. Ein größerer Wert hilft bei längeren Dialogen, erhöht aber den Speicherbedarf und kann die Antwort verzögern. Mehr Kontext bedeutet außerdem nicht automatisch mehr Verständnis. Weitere Hinweise zur Abstimmung von Kontextfenster, Denkmodus und Modellleistung folgen im gleichnamigen Abschnitt.

Die Option Vor Antwort nachdenken kann bei komplexen Fragen helfen. Für eine alltägliche Lichtsteuerung ist sie meist unnötig. Aktiviere sie daher nur, wenn du einen erkennbaren Qualitätsgewinn feststellst. Sonst wartet man am Ende auf eine Antwort, die kaum besser ist.

Ob der Agent Home Assistant steuern darf, legst du während der Konfiguration fest. Für reine Gespräche bleibt diese Berechtigung deaktiviert. Erst wenn Antworten und Modellverhalten stabil wirken, kannst du die Steuerfunktion für einen begrenzten Bereich einschalten.

Speichere danach die Konfiguration und prüfe, ob das Modell im Agenten korrekt angezeigt wird. Ein sinnvoller Funktionstest besteht aus drei unterschiedlichen Anfragen:

Beobachte dabei nicht nur die Antwort. Prüfe auch, ob der richtige Dienst angesprochen wurde, ob die Rückmeldung zum tatsächlichen Gerätezustand passt und wie sich das Modell bei fehlenden Informationen verhält. Genau an diesen Stellen trennt sich ein netter Chatbot von einem brauchbaren Home-Assistant-Agenten.

Persönlichkeit mit Systemanweisungen festlegen

Eine gute Persönlichkeit entsteht nicht durch möglichst viele Adjektive. Sie entsteht durch klare Regeln für Rolle, Ton, Prioritäten und Grenzen. Die Systemanweisung ist dabei der feste Rahmen des KI-Agenten. Sie beeinflusst jede Antwort, sollte aber keine Aufgaben übernehmen, die besser durch Home Assistant selbst geregelt werden.

Beginne mit der Rolle. Beschreibe knapp, wer der Agent ist und wem er hilft. Danach folgen Sprache, Stil und Antwortlänge. Erst am Ende kommen Sonderfälle. Diese Reihenfolge macht den Prompt für viele Modelle leichter verarbeitbar.

Eine robuste Grundstruktur sieht so aus:

Formuliere Regeln möglichst als konkrete Handlungen. „Sei hilfreich“ ist zu vage. „Nenne bei einer erfolgreichen Aktion zuerst das betroffene Gerät und danach den neuen Zustand“ liefert dem Modell eine deutlich bessere Orientierung.

Ein möglicher Prompt lautet:

Du bist der freundliche Hausassistent. Sprich Deutsch und antworte kurz, natürlich und ohne unnötige Fachbegriffe. Nenne bei Geräteaktionen das Gerät und den ausgeführten Zustand. Wenn mehrere Geräte oder Räume gemeint sein können, frage gezielt nach. Behaupte niemals, eine Aktion sei erfolgreich gewesen, wenn kein passender Home-Assistant-Aufruf erfolgt ist. Bei allgemeinen Fragen darfst du knapp erklären. Beende Antworten nicht mit einer unnötigen Rückfrage.

Für eine Figur oder ein Rollenspiel kannst du zusätzliche Stilregeln ergänzen. Beschreibe dann nicht nur den Charakter, sondern auch dessen Grenzen. Ein humorvoller Assistent darf freundlich scherzen, sollte aber bei Alarmen, offenen Türen oder sicherheitsrelevanten Meldungen sachlich bleiben. Genau dieser Wechsel ist wichtiger als eine lange Hintergrundgeschichte.

Vermeide geschützte oder missverständliche Rollen, wenn der Agent dadurch wie eine echte Person oder offizielle Stelle wirkt. Schreibe außerdem keine geheimen Zugangsdaten, privaten Informationen oder dauerhaften Zustände in den Prompt. Die Systemanweisung ist kein sicherer Speicher und kein Ersatz für Berechtigungen.

Teile lange Vorgaben in kurze Abschnitte. Ein Modell verarbeitet klare Prioritäten besser als einen Textblock mit vielen Ausnahmen. Nutze etwa diese Reihenfolge: Identität, Sprache, Verhalten, Gerätekommunikation, Umgang mit Unsicherheit und verbotene Behauptungen.

Ändere immer nur eine Regel und vergleiche danach mehrere typische Antworten. So erkennst du, ob eine Anpassung wirklich hilft oder bloß an einer Stelle einen neuen Fehler erzeugt. Ein guter Prompt fühlt sich im Alltag unspektakulär an: Der Agent bleibt freundlich, versteht kurze Sätze und macht aus einer simplen Lampenaktion kein Theater.

Assist für die Sprachsteuerung konfigurieren

Öffne Einstellungen → Sprachassistenten und wähle den Assistenten aus, der später auf deinen Sprachgeräten laufen soll. Im Feld Konversationsagent ordnest du den zuvor angelegten Agenten zu. Speichere die Auswahl, bevor du weitere Optionen änderst.

Prüfe danach die Reihenfolge der Verarbeitung. Home Assistant kann einfache Befehle zuerst selbst auswerten oder jede Anfrage an den KI-Agenten weiterleiten. Für Licht, Szenen und kurze Gerätesteuerungen ist die lokale Verarbeitung meist die praktischere Wahl. Freie Fragen landen weiterhin beim Konversationsagenten, sofern die Pipeline diese Übergabe unterstützt.

Die Einstellung Lokale Verarbeitung bevorzugen ist besonders nützlich, wenn schnelle Reaktionen wichtiger sind als eine durchgehend einheitliche Persönlichkeit. Ein Befehl wie „Schalte die Küchenlampe ein“ braucht keinen langen Dialog. Die Antwort kommt dann oft schneller und belastet das Sprachmodell weniger.

Wenn der Agent bei jedem Satz denselben Charakter zeigen soll, wählst du stattdessen die Verarbeitung über den KI-Agenten. Das passt zu Rollen wie einem humorvollen Butler oder einer festen Hausstimme. Der Nachteil: Auch sehr einfache Befehle können länger dauern, weil sie erst durch das Modell laufen.

Lege anschließend fest, welche Geräte Assist grundsätzlich verwenden darf. Öffne dazu die Freigabeeinstellungen der jeweiligen Entitäten und entferne alles, was nicht per Sprache erreichbar sein soll. Eine kleine Auswahl ist übersichtlicher als ein kompletter Gerätebestand. Besonders vorsichtig solltest du bei Schlössern, Toren, Heizungen und Alarmfunktionen sein. Die detaillierte Auswahlstrategie steht im Abschnitt Geräte sicher für den KI-Agenten freigeben.

Für eine stabile Spracherkennung helfen kurze, natürliche Namen. Vermeide Bezeichnungen wie light_wohnzimmer_01. Besser sind „Wohnzimmerlicht“ oder „Stehlampe“. Gleiche Namen in verschiedenen Räumen brauchen einen klaren Raumbezug, sonst muss der Agent raten.

Öffne zum ersten Funktionstest Sprachassistenten → Drei-Punkte-Menü → Unterhaltung starten. Sprich zuerst einen einfachen Befehl. Danach folgt eine Nachfrage zum Zustand eines Geräts und schließlich eine allgemeine Frage. So erkennst du, ob die Sprachpipeline, die Geräteauflösung und die Übergabe an den Agenten jeweils funktionieren.

Nutze mehrere Formulierungen für denselben Befehl: „Mach das Licht an“, „Schalte die Lampe im Wohnzimmer ein“ und „Wohnzimmerlicht auf 100 Prozent“. Reagiert Assist nur auf eine Variante, liegt das oft an unklaren Namen oder einer zu engen Gerätezuordnung.

Für Sprachgeräte wie eine ESP32-S3-BOX, einen ATOM Echo oder ein Smartphone muss dieselbe Assist-Konfiguration ausgewählt werden. Prüfe zusätzlich Mikrofonberechtigung, Lautsprecherausgabe und das verwendete Aktivierungswort. Ein Agent kann korrekt eingerichtet sein und trotzdem stumm bleiben, wenn das Endgerät die Pipeline nicht verwendet.

Geräte sicher für den KI-Agenten freigeben

Freigaben bestimmen, welche Geräte der KI-Agent tatsächlich verwenden kann. Behandle diese Auswahl wie eine kleine Berechtigungsliste, nicht wie eine vollständige Inventarliste deines Smart Homes. Je weniger Entitäten sichtbar sind, desto kleiner bleibt auch die Fehlerfläche.

Beginne mit ungefährlichen Geräten. Lampen, einfache Steckdosen oder eine Testszene eignen sich besser als Türschlösser, Tore oder Heizungen. Prüfe anschließend, ob jede freigegebene Entität einen verständlichen Namen, den richtigen Bereich und einen aktuellen Zustand besitzt.

Besonders sensibel sind:

Solche Geräte sollten entweder nicht freigegeben oder nur über eine zusätzliche Automationslogik erreichbar sein. Eine sicherere Lösung ist eine vorbereitete Szene mit festen Bedingungen. Der Agent darf dann nur diese Szene auslösen, statt beliebige Parameter an das Gerät zu übergeben.

Trenne Lesen und Schreiben gedanklich. Eine Temperaturabfrage ist weniger kritisch als das Ändern eines Heizplans. Auch ein Sensor kann private Informationen liefern. Anwesenheit, Schlafenszeiten oder Kamerabilder gehören nicht automatisch in den sichtbaren Bereich eines Sprachagenten.

Prüfe die Berechtigungen mit konkreten Fragen:

Ein Agent sollte bei kritischen Aktionen nicht raten. Formuliere deshalb im Verhalten eine Bestätigungsregel, etwa: Fordere vor dem Öffnen eines Tors oder dem Entriegeln einer Tür eine eindeutige Bestätigung an. Diese Vorgabe ersetzt keine echte Zugriffskontrolle, sie bildet aber eine zusätzliche Schutzschicht.

Kontrolliere nach jeder Änderung die freigegebenen Entitäten erneut. Integrationen legen manchmal neue Geräte an oder ändern Namen. Eine kurze Prüfung verhindert, dass plötzlich eine unerwartete Steckdose oder ein privater Sensor im Sprachzugriff auftaucht.

Für komplexe Installationen lohnt sich eine eigene Testgruppe. Nutze dafür einige harmlose Lampen und eine Szene. Erst wenn Auswahl, Zustände und Aktionen zuverlässig zusammenpassen, erweiterst du den Bereich. Das ist kein übervorsichtiger Umweg, sondern schlicht gutes Berechtigungsmanagement.

Schnelle Befehle oder durchgehende KI-Rolle wählen

Bei der Verarbeitung von Assist-Anfragen hast du zwei sinnvolle Strategien: Home Assistant erledigt bekannte Befehle direkt oder der KI-Agent bearbeitet jede Anfrage. Die Wahl verändert vor allem Antwortzeit, Sprachstil und Verhalten bei unklaren Formulierungen.

Home Assistant zuerst passt zu einem Zuhause, in dem Geräte schnell reagieren sollen. Befehle wie „Schalte die Flurlampe ein“ werden lokal als festes Intent erkannt. Das Modell muss den Satz nicht erst interpretieren. Dadurch sinkt die Wartezeit, und ein kurzer Sprachbefehl bleibt meist zuverlässig.

Diese Betriebsart eignet sich besonders für:

Der Nachteil ist stilistisch: Eine solche Antwort stammt nicht zwingend vom KI-Agenten. Deine definierte Figur kann bei diesen Befehlen also kurz verschwinden. Wer einen durchgehend rollenspielenden Assistenten möchte, bemerkt diesen Wechsel sofort.

Der KI-Agent für jede Anfrage erzeugt ein einheitlicheres Gespräch. Auch ein einfacher Lichtbefehl durchläuft dann die Modelllogik. Das ermöglicht Antworten im gewünschten Charakter und erleichtert Anschlussfragen wie „Und jetzt im Schlafzimmer?“ Allerdings steigt die Reaktionszeit. Bei einem lokalen Modell kann das deutlich spürbar sein.

Diese Variante ist sinnvoll, wenn:

Eine gute Praxis ist ein hybrider Betrieb. Lass Home Assistant Standardbefehle direkt verarbeiten und leite offene Fragen, längere Dialoge oder ungewöhnliche Formulierungen an den Agenten weiter. So entsteht eine klare Arbeitsteilung: feste Abläufe bleiben flott, freie Sprache bekommt mehr Spielraum.

Vergleiche beide Varianten mit denselben fünf Sätzen. Miss dabei nicht nur die Zeit bis zur Antwort, sondern auch Fehlinterpretationen und unnötige Rückfragen. Ein Unterschied von zwei Sekunden kann im Alltag wichtiger sein als eine besonders charmante Formulierung. Bei einem morgendlichen Lichtbefehl zählt Tempo; bei einer Frage zum Energieverbrauch eher die ausführliche Erklärung.

Beachte außerdem Anschlussbefehle. Eine lokale Intent-Verarbeitung erkennt einzelne Aktionen meist sehr gut, hält aber nicht automatisch denselben Gesprächsfaden. Der KI-Agent kann den Zusammenhang besser aufnehmen, sofern sein Kontext noch vorhanden ist. Genau hier zeigt sich, welche Betriebsart zu deinem Alltag passt.

Kontextfenster, Denkmodus und Modellleistung optimieren

Die Leistung eines KI-Agenten hängt nicht nur vom Modellnamen ab. Entscheidend ist das Zusammenspiel aus Kontextlänge, Antwortbudget, Hardware und Modellverhalten. Eine größere Einstellung wirkt deshalb nicht automatisch besser. Sie kann den Agenten sogar unnötig träge machen.

Das Kontextfenster bestimmt, wie viele Tokens eine Anfrage samt Systemanweisung, Gesprächsverlauf und verfügbaren Home-Assistant-Informationen aufnehmen kann. Bei kurzen Sprachbefehlen reichen meist 2048 Tokens. Für Anschlussfragen und längere Dialoge sind 4096 bis 8192 Tokens sinnvoll. Wird das Fenster zu klein, verschwinden ältere Gesprächsteile. Der Agent kennt dann den vorherigen Raum oder das betroffene Gerät nicht mehr.

Ein großes Fenster hat aber einen Haken: Jede zusätzliche Information muss verarbeitet werden. Das erhöht Speicherbedarf und Latenz. Beschränke deshalb den übergebenen Kontext auf tatsächlich benötigte Entitäten. Eine Anlage mit mehreren tausend Geräten profitiert besonders von einer schlanken Auswahl statt von einem kompletten Inventar.

Unterscheide außerdem zwischen Kontextfenster und Ausgabelimit. Das Kontextfenster beschreibt den gesamten verfügbaren Platz. Das Ausgabelimit begrenzt, wie lang die Antwort werden darf. Für Sprachsteuerung genügt meist eine kurze Ausgabe. Ein niedriger Wert verhindert ausufernde Erklärungen und spart Rechenzeit.

Der Denkmodus kann bei mehrstufigen Aufgaben nützlich sein, etwa bei einer komplexen Abfrage mit mehreren Bedingungen. Für einen einzelnen Schaltbefehl bringt er oft keinen praktischen Vorteil. Aktiviere ihn daher gezielt und vergleiche die Ergebnisse. Eine längere interne Verarbeitung bedeutet nicht automatisch eine korrektere Geräteaktion.

Auch die Modellparameter beeinflussen das Verhalten. Eine niedrigere Temperatur führt meist zu gleichmäßigeren Antworten. Das ist für wiederkehrende Sprachbefehle hilfreich. Höhere Werte erzeugen mehr Abwechslung, können aber bei Entitätsnamen oder Dienstaufrufen zu unnötigen Varianten führen. Bei einem Home-Assistant-Agenten ist Vorhersagbarkeit wichtiger als kreative Wortwahl.

Miss die Leistung nicht nur anhand einer gefühlten Geschwindigkeit. Notiere die Zeit bis zum ersten Text, die vollständige Antwortdauer und die Erfolgsquote bei Werkzeugaufrufen. Drei bis fünf Wiederholungen pro Anfrage liefern ein realistischeres Bild als ein einzelner Testlauf, weil das Modell beim ersten Start häufig länger braucht.

Beobachte während lokaler Tests die Auslastung. Läuft der Arbeitsspeicher voll, beginnt das System auszulagern; die Antwortzeit steigt dann stark. Eine hohe Prozessorlast kann ebenfalls bremsen. Mit einer unterstützten GPU oder einem passenden Beschleuniger sinkt die Latenz oft deutlich, doch Treiber und Modellformat müssen zusammenpassen.

Wähle letztlich das kleinste Modell, das deine konkreten Aufgaben zuverlässig erfüllt. Für einfache Befehle kann ein kleines Modell genügen. Bei mehrdeutigen Formulierungen, vielen Geräten oder längeren Dialogen lohnt ein leistungsfähigeres Modell. Entscheidend ist nicht die beeindruckende Modellgröße, sondern die stabile Ausführung im Alltag.

KI-Agent über Assist und Sprachgeräte testen

Teste den KI-Agenten zuerst in der Home-Assistant-Oberfläche, bevor du ihn auf einem Sprachgerät im Alltag einsetzt. Öffne dazu Sprachassistenten → Drei-Punkte-Menü → Unterhaltung starten. Diese Ansicht eignet sich für reproduzierbare Tests, weil du jeden Satz bewusst eingeben und die Antwort direkt vergleichen kannst.

Arbeite mit einem festen Testsatz. So erkennst du, ob eine Änderung am Modell, Prompt oder Routing tatsächlich etwas verbessert:

Der letzte Satz prüft den Gesprächskontext. Versteht der Agent „dort“ und „das Licht“ korrekt, verarbeitet er den bisherigen Dialog. Antwortet er ausweichend oder nennt er ein falsches Gerät, solltest du den Test nicht als bestanden werten. Gerade kurze Anschlussbefehle zeigen, ob ein Agent im Alltag wirklich taugt.

Prüfe außerdem absichtlich schwierige Fälle. Verwende ein unbekanntes Gerät, einen nicht vorhandenen Raum und eine mehrdeutige Formulierung. Ein gutes Ergebnis ist nicht immer eine ausgeführte Aktion. Bei fehlenden Angaben sollte der Agent sauber nachfragen, statt selbstbewusst zu raten.

Beobachte bei jeder Anfrage vier Punkte:

Danach folgt der Praxistest über ein Sprachgerät. Nutze dafür zunächst dasselbe Assist-Profil wie in der Oberfläche. Sprich aus normaler Entfernung und mit typischer Lautstärke. Ein Test am Schreibtisch zeigt nur, dass das Mikrofon dich unter Idealbedingungen versteht. Im Flur, bei laufender Musik oder aus dem Nebenzimmer sieht die Sache schon anders aus.

Prüfe die gesamte Kette: Aktivierungswort, Mikrofon, Speech-to-Text, Assist-Pipeline, Agent, Geräteaktion und Sprachausgabe. Eine kurze Pause an einer Stelle kann wie ein Modellfehler wirken. Deshalb hilft es, denselben Satz einmal direkt in Assist und danach über die Hardware zu verwenden.

Nutze zunächst ein Sprachgerät ohne kritische Funktionen in der Umgebung. Führe mehrere Befehle nacheinander aus und achte auf Verzögerungen. Bei lokalen Modellen kann die erste Antwort nach dem Start deutlich länger dauern. Das ist nicht zwingend ein Fehler, sondern oft ein Zeichen dafür, dass das Modell erst geladen wird.

Bei Problemen lohnt sich ein Blick in die Home-Assistant-Protokolle. Suche dort nach fehlgeschlagenen Dienstaufrufen, unbekannten Entitäten, Zeitüberschreitungen und Fehlern der Sprachpipeline. Eine unklare Antwort des Agenten und ein fehlgeschlagener Dienstaufruf sind zwei verschiedene Fehlerbilder. Diese Trennung spart Zeit.

Erst wenn Einzelbefehle, Anschlussfragen und Rückfragen zuverlässig funktionieren, solltest du den Agenten auf mehrere Sprachgeräte verteilen. So bleibt nachvollziehbar, welche Änderung welchen Effekt hatte. Ein kleines Testprotokoll mit Anfrage, Reaktionszeit und Ergebnis reicht dafür völlig aus.

Automationen mit OpenCode und MCP per Sprache erstellen

OpenCode kann als Arbeitsoberfläche dienen, während ein Home-Assistant-MCP-Server den Zugriff auf Geräte, Entitäten, Dienste und bestehende Automationen vermittelt. Dadurch beschreibst du eine Aufgabe in Alltagssprache, statt jede YAML-Struktur von Hand zu entwerfen. Das Modell liest den verfügbaren Kontext, schlägt eine Lösung vor und kann passende Konfigurationen vorbereiten.

Für gute Ergebnisse muss der Auftrag konkret sein. „Erstelle eine Automation für das Licht“ lässt zu viele Fragen offen. Besser sind Angaben zu Auslöser, Bedingungen, Aktion, Zeitfenster und Ausnahmefällen:

Erstelle eine Automation für das Flurlicht. Nutze den Bewegungsmelder im Flur als Auslöser. Schalte das Licht nur zwischen Sonnenuntergang und 23 Uhr ein. Nach drei Minuten ohne Bewegung soll es ausgehen. Gib zuerst eine kurze Erklärung und danach eine validierbare YAML-Konfiguration aus.

Der MCP-Server stellt dem Modell Informationen bereit, die in einem statischen Prompt fehlen. Dazu gehören Entitätsnamen, Bereiche, Zustände und verfügbare Dienste. Bei einer großen Installation ist dieser Live-Kontext besonders wertvoll. Ein Modell muss dann nicht raten, ob eine Entität binary_sensor.flur_bewegung oder anders heißt.

Arbeite bei neuen Automationen in klaren Phasen:

Bitte das Modell nicht nur um eine fertige Datei. Lass es auch begründen, welche Entität als Auslöser dient und was bei mehreren gleichzeitigen Ereignissen passiert. So erkennst du versteckte Fehler, etwa eine Automation, die bei jeder Statusänderung erneut startet oder nachts unerwartet aktiv bleibt.

Besonders nützlich ist die Analyse bestehender Automationen. Ein passender Auftrag lautet etwa: Untersuche diese Automation auf doppelte Auslöser, unnötige Wartezeiten und mögliche Neustarts. Verändere noch nichts. Liste zuerst die Risiken und schlage danach eine überarbeitete Fassung vor. Dieser zweiteilige Ablauf hält Analyse und Änderung auseinander.

Für die Fehlersuche kann der Agent Protokolle, Zustände und Ausführungsverläufe miteinander vergleichen. Frage nicht nur „Warum läuft die Automation nicht?“, sondern nenne den Zeitpunkt, den erwarteten Ablauf und das beobachtete Ergebnis. Je genauer der Ausgangspunkt, desto weniger muss das Modell im Nebel stochern.

Ein MCP-Zugriff sollte auf die nötigen Funktionen begrenzt sein. Trenne, wenn möglich, das Lesen von Zuständen, das Bearbeiten von Automationen und das Ausführen von Diensten. Verwende für Entwicklungsaufgaben außerdem einen eigenen Home-Assistant-Benutzer mit begrenzten Rechten. Die Absicherung von Benutzern, Tokens und Netzwerkzugängen wird im Abschnitt Zugriff, Token und Datenschutz absichern beschrieben.

Prüfe jede erzeugte YAML-Datei in Home Assistant, bevor du sie aktivierst. Achte besonders auf Einrückungen, Dienstnamen, Variablen, Zeitbedingungen und die gewählte Ausführungsart. KI kann eine formal plausible Konfiguration erzeugen, die logisch trotzdem nicht zu deinem Haus passt. Der MCP verbessert den Kontext, ersetzt aber keine technische Abnahme.

Bei umfangreichen Installationen mit mehr als 2.000 Entitäten lohnt sich eine feste Prompt-Vorlage. Sie sollte Raum, Ziel, relevante Entitäten, Sicherheitsgrenzen, gewünschtes Ausgabeformat und Testfall abfragen. Damit werden Automationswünsche vergleichbar, und OpenCode liefert weniger zufällige Ergebnisse.

Zugriff, Token und Datenschutz absichern

Ein KI-Agent darf nur so viele Zugriffsrechte erhalten, wie er für seine Aufgabe braucht. Besonders bei einem MCP-Zugang ist diese Grenze wichtig: Der Server kann Home Assistant-Kontext an ein externes Modell weitergeben und je nach Einrichtung auch Aktionen auslösen.

Erstelle für Integrationen und Automationswerkzeuge einen eigenen Home-Assistant-Benutzer. Verwende dafür kein Administratorkonto. So lassen sich Rechte, Protokolle und Zugänge besser trennen. Ein Long-Lived Access Token gehört ausschließlich zu diesem Benutzer und sollte nur die erforderlichen Funktionen erreichen.

Behandle den Token wie ein Passwort:

Ein Token lässt sich nach der Erstellung meist nicht erneut vollständig anzeigen. Bewahre ihn deshalb beim Anlegen sicher auf. Benenne ihn nachvollziehbar, etwa nach Zweck und System. „MCP-Produktiv“ ist hilfreicher als „Token 1“.

Begrenze den Netzwerkzugriff. Ein MCP-Server und eine lokale Ollama-Instanz sollten nur aus den benötigten internen Netzen erreichbar sein. Verzichte auf eine direkte Portfreigabe am Router. Für Fernzugriff eignet sich ein abgesichertes VPN besser als eine offen erreichbare API.

Aktiviere, sofern möglich, Verschlüsselung zwischen den beteiligten Diensten. Bei einem externen Modell muss zusätzlich klar sein, welche Inhalte übertragen werden. Dazu können Raumzustände, Gerätenamen, Zeitpläne oder Anwesenheitsdaten gehören. Eine lokale Verarbeitung verhindert nicht automatisch jedes Risiko, reduziert aber den Kreis der beteiligten Systeme.

Prüfe die Datenschutzbedingungen des jeweiligen Anbieters. Achte besonders auf Protokollspeicherung, Trainingsnutzung, Aufbewahrungsfristen und den Standort der Verarbeitung. Bei Sprachdaten können neben dem Text auch Audioaufnahmen oder Metadaten anfallen. Informiere weitere Personen im Haushalt transparent über den Einsatz des Systems.

Nach dem europäischen KI-Recht gelten je nach konkreter Nutzung unterschiedliche Pflichten. Für einen privaten Sprachassistenten ist die Lage nicht mit einem beruflichen Hochrisikosystem gleichzusetzen. Eine klare Information, dass Antworten automatisiert erzeugt werden, bleibt dennoch sinnvoll. Bei gewerblicher Nutzung sollten die Anforderungen im Einzelfall rechtlich geprüft werden.

Kontrolliere regelmäßig Protokolle und Zugriffsereignisse. Suche nach ungewöhnlichen Anfragen, unbekannten Quelladressen, vielen fehlgeschlagenen Aufrufen oder Aktionen zu ungewöhnlichen Zeiten. Lege außerdem eine kurze Notfallroutine fest: Dienst stoppen, Token widerrufen, betroffene Passwörter ändern und Logs sichern.

Für produktive Systeme empfiehlt sich eine getrennte Testumgebung. Dort kannst du MCP-Funktionen, neue Modelle und Prompts prüfen, ohne direkt deine wichtigsten Geräte anzusprechen. So bleibt ein Fehler ärgerlich, aber nicht gleich teuer oder gefährlich.

Fazit: Lokal starten, Rechte begrenzen und Modell gezielt testen

Ein KI-Agent für Home Assistant wird dann nützlich, wenn er nicht möglichst viel darf, sondern verlässlich genau das Richtige tut. Der beste Einstieg ist deshalb ein klar begrenztes Einsatzfeld: wenige Räume, einfache Geräte und kurze Aufgaben. Erst wenn dieses Fundament stabil ist, lohnt sich der Ausbau.

Starte lokal, wenn dir geringe Abhängigkeit von externen Diensten wichtig ist. Eine lokale Modellinstanz bietet kurze Wege für Smart-Home-Daten und bleibt auch bei einer gestörten Internetverbindung grundsätzlich nutzbar. Rechne dennoch mit Grenzen bei Geschwindigkeit, Modellgröße und Antwortqualität. Lokal bedeutet nicht automatisch perfekt; es bedeutet vor allem mehr Kontrolle über die Verarbeitung.

Bewerte das Modell anhand echter Alltagssituationen. Eine flüssige Antwort auf eine Wissensfrage sagt wenig über die Qualität der Gerätesteuerung aus. Aussagekräftiger sind mehrdeutige Raumangaben, Anschlussfragen, fehlende Geräte und widersprüchliche Zustände. Dokumentiere, welche Aufgaben zuverlässig funktionieren und wo der Agent scheitert.

Für eine belastbare Entscheidung zählt ein kleines Bewertungsraster:

Ein Wechsel des Modells sollte immer mit demselben Testsatz erfolgen. Nur so erkennst du, ob ein Fortschritt wirklich vom Modell stammt und nicht bloß von einer veränderten Formulierung. Ein einfaches Protokoll mit Datum, Modell, Anfrage und Ergebnis reicht aus.

Rechte sollten mit dem Anwendungsfall wachsen. Beginne mit ungefährlichen Lesefunktionen und einfachen Lichtaktionen. Erst danach kommen komplexere Szenen oder weitere Räume hinzu. Kritische Geräte bleiben besser außerhalb des direkten KI-Zugriffs oder werden durch feste Abläufe mit zusätzlichen Bedingungen geschützt.

Für Automationen gilt ein ähnlicher Grundsatz: Lass dir von einem KI-Werkzeug zunächst einen Entwurf und die zugrunde liegende Logik erklären. Übernimm keine Konfiguration blind in den produktiven Betrieb. Gerade bei Zeitbedingungen, Wiederholungen und parallelen Aktionen können kleine Fehler große Folgen haben.

Der dauerhaft beste Aufbau ist nicht zwingend der technisch umfangreichste. Ein kleiner, nachvollziehbarer Agent mit stabilen Aufgaben schlägt meist ein überladenes System, das gelegentlich überraschende Aktionen ausführt. Plane deshalb regelmäßige Überprüfungen ein, entferne ungenutzte Modelle und passe die Konfiguration an Veränderungen in deinem Smart Home an.

So entsteht Schritt für Schritt ein brauchbarer KI-Agent: lokal, wo es sinnvoll ist, mit überschaubarem Zugriff und einem Modell, das sich an realen Aufgaben bewährt hat. Nicht die spektakulärste Demo entscheidet, sondern der stille Alltagstest am Dienstagmorgen.