Allgemeine Informationen zum Channel Review Guard
Mit der Version 29.0 integriert Scheer IMC eine KI-basierte Kommentarmoderation in die imc Learning Suite. Die Funktion ist als Teil der Channels-Funktion verfügbar und unterstützt Administratoren dabei, Kommentare zu identifizieren, die möglicherweise gegen die Netiquette-Regeln verstoßen.
Informationen zur Konfiguration und Nutzung dieser Funktion finden Sie unter: Channelverwaltung – Review-Manager und Konfigurationsmanager – Channels.
Allgemeine Informationen
Wenn ein Nutzer einen Kommentar in einem Channel absendet, wird dieser zunächst anhand der im Konfigurationsmanager eingerichteten Liste der gesperrten Wörter überprüft. Enthält der Kommentar einen der aufgeführten Begriffe, wird er sofort markiert und nicht weiter verarbeitet. Wird keine Übereinstimmung gefunden, wird der Kommentartext automatisch zur Bewertung an ein KI-Modell gesendet. Das Modell bewertet den Kommentar anhand einer konfigurierbaren Eingabeaufforderung und gibt ein Ergebnis zurück, das angibt, ob der Kommentar akzeptabel ist oder möglicherweise gegen die Netiquette verstösst. Als Verstösse identifizierte Kommentare werden im Review-Manager markiert, damit sie von Administratoren überprüft werden können. Wenn ein Nutzer einen Kommentar in einem Channel absendet, wird dieser zunächst anhand der im Konfigurationsmanager konfigurierten Liste der gesperrten Wörter überprüft. Enthält der Kommentar einen der aufgeführten Begriffe, wird er sofort markiert und es erfolgt keine weitere Verarbeitung. Wird keine Übereinstimmung gefunden, wird der Kommentartext automatisch zur Bewertung an ein KI-Modell gesendet. Das Modell bewertet den Kommentar anhand einer konfigurierbaren Eingabeaufforderung und gibt ein Ergebnis zurück, das angibt, ob der Kommentar akzeptabel ist oder möglicherweise gegen die Netiquette verstösst. Als Verstösse identifizierte Kommentare werden im Review Manager markiert, damit sie von den Administratoren überprüft werden können.
Die Überprüfung auf gesperrte Wörter dient als schnelles und zuverlässiges Sicherheitsnetz für eindeutige Fälle wie Obszönitäten oder Beleidigungen, während die KI differenziertere Situationen bewältigt, bei denen Kontext und Tonfall berücksichtigt werden müssen – zum Beispiel implizite Beleidigungen, Belästigungen oder Verstösse gegen plattformspezifische Richtlinien, die über das Feld «Guardrails» konfiguriert wurden.
In beiden Fällen wird kein Kommentar automatisch ausgeblendet oder entfernt. Administratoren prüfen markierte Kommentare stets im Review Manager und entscheiden, ob sie diese ausblenden.
Die Überprüfung auf «Blockierte Wörter» dient als schnelles und zuverlässiges Sicherheitsnetz für eindeutige Fälle wie Obszönitäten oder Beleidigungen, während die KI differenziertere Situationen bewältigt, bei denen Kontext und Tonfall berücksichtigt werden müssen – zum Beispiel implizite Beleidigungen, Belästigungen oder Verstösse gegen plattformspezifische Richtlinien, die über das Feld «Guardrails» konfiguriert wurden.
In beiden Fällen wird kein Kommentar automatisch ausgeblendet oder entfernt. Administratoren prüfen markierte Kommentare stets im Review Manager und entscheiden, ob sie ausgeblendet werden sollen.
Verwendete KI-Dienste
Zur Moderation von Kommentaren wird der folgende KI-Dienst genutzt:
-
Ollama: ein Open-Source-Tool zum lokalen Ausführen großer Sprachmodelle (LLMs), das hier dazu dient, den Inhalt von Kommentaren anhand der konfigurierten Moderationsregeln zu überprüfen.
Ollama ist der einzige KI-Dienst, der für diese Funktion unterstützt wird. Es ist nicht möglich, ein benutzerdefiniertes KI-Modell oder ein KI-Modell eines Drittanbieters anzubinden.
Hosting
Der für die Moderation von Kommentaren mittels KI genutzte Ollama-Dienst wird von Scheer IMC gehostet und betrieben. Alle an das KI-Modell übermittelten Inhalte der Kommentare werden ausschließlich innerhalb der von Scheer IMC verwalteten Infrastruktur bearbeitet und verlassen die Umgebung von Scheer IMC nicht.
Scheer IMC entwickelt keine eigenen KI-Modelle. Das auf der Ollama-Instanz ausgeführte KI-Modell ist ein Open-Source-Modell, das ausschließlich innerhalb der eigenen Infrastruktur von Scheer IMC betrieben wird.
Die Funktion steht allen Kunden unabhängig vom Hosting-Modell zur Verfügung. Für Installationen vor Ort werden dieselben allgemeinen Voraussetzungen angewendet, wie für alle anderen Scheer IMC-Dienste.
Aktivierung und Deaktivierung
Aktivierung
Für die Moderation von Kommentaren mittels KI muss zunächst eine Bereitstellungskonfiguration durch Scheer IMC eingerichtet werden, bevor diese Funktion genutzt werden kann. Dazu sind folgende Schritte notwendig:
-
Die Bereitstellung des Ollama-Dienstes muss über den Scheer imc Service Desk beantragt.
-
Sobald der Dienst bereitgestellt wurde, kann die Funktion pro Channel im ”Konfigurationsmanager - Channels”
-
Der geplante Job „ChannelMediaAiCommentModeration“ muss so konfiguriert werden, dass er regelmäßig – standardmäßig jede Nacht – ausgeführt wird, um neu eingereichte Kommentare in der Verarbeitung zu bearbeiten. ChannelMediaAiCommentModeration
Deaktivierung
Die Funktion kann jederzeit deaktiviert werden, indem man die KI-gestützte Reviewmoderation Einstellung in der Konfiguration des Configuration Manager. Sollte die Ollama-Dienstbereitstellung ebenfalls entfernt werden sollen, kann dies über den Scheer imc Service Desk beantragt werden.
Datenschutz
Um die KI-gestützte Kommentarmoderation zu ermöglichen, werden die von den Nutzern eingereichten Kommentartexte zur Auswertung von der imc Learning Suite an den Ollama-Dienst übermittelt.
Verarbeitete Daten
Für jeden Kommentar, der in einem Channel abgegeben wird, in dem die KI-Moderation aktiviert ist, werden die folgenden Daten an das KI-Modell übermittelt:
-
Der Inhalt des Kommentars
Die Anfrage an das KI-Modell enthält keine Benutzerkennungen, Namen oder sonstigen personenbezogenen Daten.
In Verarbeitung und Speicherung
Kommentare werden nicht sofort nach dem Absenden verarbeitet. Der geplante Job „ChannelMediaAiCommentModeration“ muss ausgeführt werden, um die Moderationsprüfung auszulösen – standardmäßig ist dieser Job so konfiguriert, dass er jede Nacht ausgeführt wird. Solange der Job nicht ausgeführt wird, werden neu eingereichte Kommentare in der Verarbeitung gestellt und bleiben ungeprüft.
Während der Verarbeitung wird der Kommentartext zur Überprüfung an den Ollama-Dienst übermittelt und über die Dauer der jeweiligen Anfrage hinaus weder gespeichert noch aufbewahrt. Lediglich das Moderationsergebnis – also die Information, ob der Kommentar als potenzieller Verstoß identifiziert wurde – wird in der imc Learning Suite gespeichert. Es werden keine Metriken oder Nutzungsdaten erfasst oder protokolliert.
Nicht für das Modelltraining geeignet
Der Inhalt von Kommentaren wird nicht zum Training, Feinabstimmen oder anderweitigen Entwickeln von Modellen des maschinellen Lernens verwendet.
Infrastruktur
Die gesamte Datenverarbeitung erfolgt innerhalb der von Scheer IMC verwalteten Umgebung. Es werden keine Kommentar-Inhalte an externe Dienste oder Dritte übermittelt.
Rechtsgrundlage
Die Verarbeitung des Inhalts von Kommentaren zu Moderationszwecken erfolgt:
-
gemäß Art. 6 Abs. 1 Buchstabe b DSGVO (Erfüllung eines Vertrags), soweit die Verarbeitung für die Bereitstellung der vereinbarten Moderationsfunktionen erforderlich ist;
-
gemäß Art. 6 Abs. 1 Buchstabe f DSGVO (berechtigtes Interesse), nämlich zur Aufrechterhaltung eines respektvollen und konstruktiven Umfelds auf der Plattform.
Kunden wird empfohlen, ihre Nutzer darüber zu informieren, dass Kommentare, die in Channels mit aktivierter KI-Moderation abgegeben werden, im Rahmen des Moderationsprozesses von einem KI-Modell ausgewertet werden.
Globale Funktionen und verwandte Themen
Channel Verwaltung | Bewertungen verwalten
Cron Job Manager | ChannelMedienKIKommentarModeration
Konfigurationsmanager – Channels