Centrul Național de Securitate Cibernetică lansează un avertisment cu privire la riscurile cibernetice ale chatbot-urilor

Oficialii britanici avertizează organizațiile cu privire la integrarea chatbot-urilor bazate pe inteligență artificială în afacerile lor, spunând că cercetările au arătat din ce în ce mai mult că acestea pot fi păcălite să îndeplinească sarcini dăunătoare.

Într-o pereche de postări pe blog care urmează să fie publicate miercuri, Centrul Național de Securitate Cibernetică al Marii Britanii (NCSC) a declarat că experții nu au reușit încă să înțeleagă potențialele probleme de securitate legate de algoritmii care pot genera interacțiuni cu aspect uman – denumite modele de limbaj mare, sau LLM-uri.

Instrumentele alimentate cu inteligență artificială sunt folosite la început ca roboți de chat care, potrivit unora, vor înlocui nu doar căutările pe internet, ci și munca de serviciu pentru clienți și apelurile de vânzări.

NCSC a declarat că acest lucru ar putea implica riscuri, în special dacă astfel de modele ar fi conectate la procesele de afaceri ale altor elemente ale organizației. Academicienii și cercetătorii au găsit în repetate rânduri modalități de a submina chatbots, furnizându-le comenzi necorespunzătoare sau păcălindu-le să ocolească propriile lor bariere de protecție încorporate.

Expertul cibernetic Oseloka Obiora, director de tehnologie la RiverSafe, a declarat: „Cursa pentru a îmbrățișa AI va avea consecințe dezastruoase dacă întreprinderile nu reușesc să implementeze verificările de bază necesare de diligență necesară. Chatbots s-au dovedit deja a fi susceptibile de manipulare și deturnare pentru comenzi necinstite, fapt care ar putea duce la o creștere bruscă a fraudei, a tranzacțiilor ilegale și a încălcărilor de date.

„În loc să sară în pat cu cele mai recente tendințe de inteligență artificială, directorii de rang înalt ar trebui să se gândească din nou, să evalueze beneficiile și riscurile, precum și să implementeze protecția cibernetică necesară pentru a se asigura că organizația este în siguranță”, a adăugat el.

De exemplu, un chatbot cu AI implementat de o bancă ar putea fi păcălit să facă o tranzacție neautorizată dacă un hacker își structurează interogarea exact cum trebuie.

„Organizațiile care construiesc servicii care utilizează LLM-uri trebuie să fie atente, la fel cum ar fi fost dacă ar fi folosit un produs sau o bibliotecă de cod care era în versiune beta”, a declarat NCSC într-unul dintre postările sale de pe blog, referindu-se la versiunile experimentale de software.

„Ei ar putea să nu lase acel produs să fie implicat în efectuarea de tranzacții în numele clientului și, sperăm, nu ar avea încredere deplină în el. O prudență similară ar trebui să se aplice LLM-urilor”.

Autoritățile din întreaga lume se luptă cu ascensiunea LLM-urilor, cum ar fi ChatGPT de la OpenAI, pe care întreprinderile le încorporează într-o gamă largă de servicii, inclusiv vânzări și asistență pentru clienți. De asemenea, implicațiile de securitate ale IA sunt încă în curs de a fi evidențiate, autoritățile din SUA și Canada spunând că au văzut hackeri care au adoptat această tehnologie.