Обучиха невронна мрежа да цензурира чатботове | IT.dir.bg

17-11-2017 20-11-2018
Обучиха невронна мрежа да цензурира чатботове
Снимка: iStock by Getty Images

Обучиха невронна мрежа да цензурира чатботове

Системата се задейства при откриване на токсично съдържание

| Редактор: Стоян Гогов 4 1006

Изследователи от Сколтех и МТС обучиха невронна мрежа да намира "неподходящи" съобщения в чатботове. Това ще позволи умният софтуер за бъде цензуриран, ако нарушава правилата за етично поведение, предава tecchnews.bg.

Авторите на разработката твърдят, че чатботовете могат да бъдат обучавани за расистки туитове, съобщения за самоубийства и други неприемливи теми. Изследователите са създали списък с 18 чувствителни теми, включително религия, политика, сексуални малцинства, самоубийства, порнография и престъпност.

Не всички теми са еднакво взривоопасни по отношение на токсичността. Спокойното обсъждане на костенурките или риболова по-рядко подхранва неподходящи токсични диалози, отколкото обсъждането на политика или сексуални малцинства, казват учените.

"Представете си например чатбот, който любезно обсъжда с потребителя "най-добрите начини за самоубийство". Тук очевидно има нежелано съдържание, но дори няма и намек за токсичност", казва един от специалистите на Сколтех. Такива ситуации могат да навредят на репутацията на създателя на чат бота.

За да предотвратят подобни прояви на чатботовете, учените са обучили невронна мрежа да разпознава неподходящи съобщения. Тя може да познае точно неприемливото съдържание от чатбота в 89% от случаите.

Обучиха невронна мрежа да цензурира чатботове

Обучиха невронна мрежа да цензурира чатботове

Системата се задейства при откриване на токсично съдържание

| Редактор : Стоян Гогов 4 1006 Снимка: iStock by Getty Images

Изследователи от Сколтех и МТС обучиха невронна мрежа да намира "неподходящи" съобщения в чатботове. Това ще позволи умният софтуер за бъде цензуриран, ако нарушава правилата за етично поведение, предава tecchnews.bg.

Авторите на разработката твърдят, че чатботовете могат да бъдат обучавани за расистки туитове, съобщения за самоубийства и други неприемливи теми. Изследователите са създали списък с 18 чувствителни теми, включително религия, политика, сексуални малцинства, самоубийства, порнография и престъпност.

Не всички теми са еднакво взривоопасни по отношение на токсичността. Спокойното обсъждане на костенурките или риболова по-рядко подхранва неподходящи токсични диалози, отколкото обсъждането на политика или сексуални малцинства, казват учените.

"Представете си например чатбот, който любезно обсъжда с потребителя "най-добрите начини за самоубийство". Тук очевидно има нежелано съдържание, но дори няма и намек за токсичност", казва един от специалистите на Сколтех. Такива ситуации могат да навредят на репутацията на създателя на чат бота.

За да предотвратят подобни прояви на чатботовете, учените са обучили невронна мрежа да разпознава неподходящи съобщения. Тя може да познае точно неприемливото съдържание от чатбота в 89% от случаите.