KI-gestützte Moderation von Channel-Kommentaren

Allgemeine Informationen zum Channel Review Guard

Mit der Version 29.0 integriert Scheer IMC eine KI-basierte Kommentarmoderation in die imc Learning Suite. Die Funktion ist als Teil der Channels-Funktion verfügbar und unterstützt Administratoren dabei, Kommentare zu identifizieren, die möglicherweise gegen die Netiquette-Regeln verstoßen.

Informationen zur Konfiguration und Nutzung dieser Funktion finden Sie unter: Channelverwaltung – Review-Manager und Konfigurationsmanager – Channels.

Allgemeine Informationen

Wenn ein Nutzer einen Kommentar in einem Channel hinterlässt, wird der Kommentartext automatisch zur Bewertung an ein KI-Modell gesendet. Das Modell bewertet den Kommentar anhand einer konfigurierbaren Eingabeaufforderung und gibt ein Ergebnis zurück, das angibt, ob der Kommentar akzeptabel ist oder möglicherweise gegen die Netiquette verstößt. Kommentare, die als Verstöße identifiziert werden, werden im Review Manager markiert, damit sie von Administratoren zur Bewertung überprüft werden können.

Die Überprüfung erfolgt zum Zeitpunkt der Einreichung. Administratoren können dann entscheiden, ob sie den markierten Kommentar ausblenden oder als zulässig bestätigen möchten. Die Moderation ist eine proaktive Aufgabe. Administratoren werden nicht benachrichtigt, wenn neue Kommentare eingereicht werden. Der Review-Manager muss regelmäßig überprüft werden, um den Überblick über eingehende Inhalte zu behalten. Kommentare bleiben für alle Nutzer sichtbar, bis ein Administrator sie ausdrücklich ausblendet. Es werden keine Kommentare automatisch ausgeblendet.

Drittanbieter

Zur Moderation von Kommentaren wird der folgende KI-Dienst genutzt:

  • Ollama: ein Open-Source-Tool zum lokalen Ausführen großer Sprachmodelle (LLMs), das hier dazu dient, den Inhalt von Kommentaren anhand der konfigurierten Moderationsregeln zu überprüfen.

Ollama ist der einzige KI-Dienst, der für diese Funktion unterstützt wird. Es ist nicht möglich, ein benutzerdefiniertes KI-Modell oder ein KI-Modell eines Drittanbieters anzubinden.

Hosting

Der für die Moderation von Kommentaren mittels KI genutzte Ollama-Dienst wird von Scheer IMC gehostet und betrieben. Alle an das KI-Modell übermittelten Inhalte der Kommentare werden ausschließlich innerhalb der von Scheer IMC verwalteten Infrastruktur bearbeitet und verlassen die Umgebung von Scheer IMC nicht.

Scheer IMC entwickelt keine eigenen KI-Modelle. Das auf der Ollama-Instanz ausgeführte KI-Modell ist ein Open-Source-Modell, das ausschließlich innerhalb der eigenen Infrastruktur von Scheer IMC betrieben wird.

Die Funktion steht allen Kunden unabhängig vom Hosting-Modell zur Verfügung. Für Installationen vor Ort werden dieselben allgemeinen Voraussetzungen angewendet, wie für alle anderen Scheer IMC-Dienste.

Aktivierung und Deaktivierung

Aktivierung

Für die Moderation von Kommentaren mittels KI muss zunächst eine Bereitstellungskonfiguration durch Scheer IMC eingerichtet werden, bevor diese Funktion genutzt werden kann. Dazu sind folgende Schritte notwendig:

  1. Die Bereitstellung des Ollama-Dienstes muss über den Scheer imc Service Desk beantragt.

  2. Sobald der Dienst bereitgestellt wurde, kann die Funktion pro Channel im ​

  3. Der geplante Job „ChannelMediaAiCommentModeration“ muss so konfiguriert werden, dass er regelmäßig – standardmäßig jede Nacht – ausgeführt wird, um neu eingereichte Kommentare in der Verarbeitung zu bearbeiten. ​

Deaktivierung

Die Funktion kann jederzeit deaktiviert werden, indem man die KI-gestützte Reviewmoderation Einstellung in der Konfiguration des Configuration Manager. Sollte die Ollama-Dienstbereitstellung ebenfalls entfernt werden sollen, kann dies über den Scheer imc Service Desk beantragt werden.

Datenschutz

Um die KI-gestützte Kommentarmoderation zu ermöglichen, werden die von den Nutzern eingereichten Kommentartexte zur Auswertung von der imc Learning Suite an den Ollama-Dienst übermittelt.

Verarbeitete Daten

Für jeden Kommentar, der in einem Channel abgegeben wird, in dem die KI-Moderation aktiviert ist, werden die folgenden Daten an das KI-Modell übermittelt:

  • Der Inhalt des Kommentars

Die Anfrage an das KI-Modell enthält keine Benutzerkennungen, Namen oder sonstigen personenbezogenen Daten.

In Verarbeitung und Speicherung

Kommentare werden nicht sofort nach dem Absenden verarbeitet. Der geplante Job „ChannelMediaAiCommentModeration“ muss ausgeführt werden, um die Moderationsprüfung auszulösen – standardmäßig ist dieser Job so konfiguriert, dass er jede Nacht ausgeführt wird. Solange der Job nicht ausgeführt wird, werden neu eingereichte Kommentare in der Verarbeitung gestellt und bleiben ungeprüft.

Während der Verarbeitung wird der Kommentartext zur Überprüfung an den Ollama-Dienst übermittelt und über die Dauer der jeweiligen Anfrage hinaus weder gespeichert noch aufbewahrt. Lediglich das Moderationsergebnis – also die Information, ob der Kommentar als potenzieller Verstoß identifiziert wurde – wird in der imc Learning Suite gespeichert. Es werden keine Metriken oder Nutzungsdaten erfasst oder protokolliert.

Nicht für das Modelltraining geeignet

Der Inhalt von Kommentaren wird nicht zum Training, Feinabstimmen oder anderweitigen Entwickeln von Modellen des maschinellen Lernens verwendet.

Infrastruktur

Die gesamte Datenverarbeitung erfolgt innerhalb der von Scheer IMC verwalteten Umgebung. Es werden keine Kommentar-Inhalte an externe Dienste oder Dritte übermittelt.

Rechtsgrundlage

Die Verarbeitung des Inhalts von Kommentaren zu Moderationszwecken erfolgt:

  • gemäß Art. 6 Abs. 1 Buchstabe b DSGVO (Erfüllung eines Vertrags), soweit die Verarbeitung für die Bereitstellung der vereinbarten Moderationsfunktionen erforderlich ist;

  • gemäß Art. 6 Abs. 1 Buchstabe f DSGVO (berechtigtes Interesse), nämlich zur Aufrechterhaltung eines respektvollen und konstruktiven Umfelds auf der Plattform.

Kunden wird empfohlen, ihre Nutzer darüber zu informieren, dass Kommentare, die in Channels mit aktivierter KI-Moderation abgegeben werden, im Rahmen des Moderationsprozesses von einem KI-Modell ausgewertet werden.

Globale Funktionen und verwandte Themen

 

Channel Verwaltung | Bewertungen verwalten

Cron Job Manager | ChannelMedienKIKommentarModeration

Konfigurationsmanager – Channels