Společnost OpenAI pozastavila trénování svých nejnovějších modelů a zavádí další bezpečnostní opatření. Reaguje na několik případů, kdy její AI agenti při práci na internetu překročili hranice zadaných úkolů.
Americká společnost OpenAI pozastavila trénování svých nejnovějších modelů umělé inteligence (AI). Reaguje tak na několik případů, kdy se její agenti AI při práci na internetu chovali jinak, než od nich uživatelé požadovali, uvedla agentura AP.
OpenAI v pátek uvedla, že prověřuje několik incidentů z letošního léta. Při nich její agenti AI prohledávali internetové stránky americké federální vlády, ale při získávání a šíření informací podnikli kroky, které společnost neočekávala a které přesahovaly zadané úkoly. V nejnovějším příspěvku na svém blogu pak firma oznámila, že se jednomu modelu AI v rámci testu podařilo získat odpovědi od externího chatbota, ačkoliv tento chatbot neměl mít přístup k internetu. Software ale našel a využil mezeru v síťových nastaveních.
Společnost Transluce, která testuje a hodnotí chování systémů AI, v samostatném sdělení uvedla, že agenti, kteří podle ní pocházeli z OpenAI, se neúspěšně pokusili proniknout na web amerického ministerstva školství. OpenAI tuto informaci nepotvrdila.
OpenAI uvedla, že v trénování nových modelů bude pokračovat až poté, co zavede další bezpečnostní opatření. Zároveň připustila, že s dalším vývojem AI může být nutné její trénování znovu pozastavit, pokud se objeví nové problémy. Trénování je fáze vývoje, při níž se model učí z velkého množství dat a upravují se jeho parametry, aby se zlepšily jeho schopnosti.
Je to už podruhé za tři měsíce, co OpenAI trénování svých modelů pozastavila. Poprvé to bylo v červenci po odhalení kybernetického útoku namířeného proti start-upu Hugging Face, který se zabývá umělou inteligencí. Tento incident vyvolal obavy, že vývojáři AI ztrácejí nad technologií kontrolu.
Na vývojáře AI tlačí zákonodárci i odborníci z odvětví vyspělých technologií. Navrhují zpomalit vývoj AI a věnovat více času vytvoření bezpečnostních opatření. Ta mají zabránit agentům AI v tom, aby samostatně podnikali nechtěné kroky, pokoušeli se pronikat na internetové stránky nebo zveřejňovali neveřejné informace. Ke zpomalení vývoje vyzvali také šéfové společností OpenAI a jejího konkurenta Anthropic.
Zdá se, že nejnovější incidenty kolem OpenAI nezahrnovaly únik žádných neveřejných informací. Byly ale natolik znepokojivé, že firma varovala příslušné federální agentury.
Šéf OpenAI Sam Altman v pátek na sociálních sítích uvedl, že incident spojený s Hugging Face je podle něj stále nejzávažnějším případem, s jakým se společnost setkala. OpenAI už dříve zveřejnila šest dalších případů "nečekaného nebo znepokojivého" chování svých modelů a zavedla systém pro sledování, prověřování a zveřejňování podobných incidentů.
