قوانین جدید اینترنت ربات های آموزشی هوش مصنوعی را مسدود می کند

استانداردهای جدیدی برای گسترش پروتکل حذف ربات ها و تگ های متا روبات ها در حال توسعه است و به آن ها اجازه می دهد تمام خزنده های هوش مصنوعی را از استفاده از محتوای وب در دسترس عموم برای اهداف آموزشی مسدود کنند. این پیشنهاد که توسط کریشنا مدهاوان، مدیر محصول اصلی در هوش مصنوعی مایکروسافت، و فابریس کانل، مدیر محصول اصلی در مایکروسافت بینگ تهیه شده است، مسدود کردن همه خزنده‌های اصلی آموزش هوش مصنوعی را با یک قانون ساده که می‌تواند برای هر خزنده جداگانه اعمال شود، آسان می‌کند.

تقریباً همه خزنده‌های قانونی از برچسب‌های Robots.txt و Meta Robots پیروی می‌کنند که این پیشنهاد را برای ناشرانی که نمی‌خواهند محتوایشان برای اهداف آموزشی هوش مصنوعی استفاده شود، به رویایی تبدیل می‌کند.

کارگروه مهندسی اینترنت (IETF)

گروه ویژه مهندسی اینترنت (IETF) یک گروه استانداردسازی بین‌المللی اینترنت است که در سال 1986 تأسیس شد و توسعه و تدوین استانداردهایی را هماهنگ می‌کند که همه می‌توانند داوطلبانه با آن موافقت کنند. به عنوان مثال، پروتکل حذف روبات ها به طور مستقل در سال 1994 ایجاد شد و در سال 2019 گوگل پیشنهاد کرد که IETF آن را به عنوان یک استاندارد رسمی با تعاریف مورد توافق اتخاذ کند. در سال 2022 IETF یک پروتکل رسمی حذف روبات ها را منتشر کرد که آن را تعریف می کند و پروتکل اصلی را گسترش می دهد.

سه راه برای مسدود کردن ربات های آموزشی هوش مصنوعی

پیش نویس پیشنهادی برای مسدود کردن ربات های آموزشی هوش مصنوعی سه راه را برای مسدود کردن ربات ها پیشنهاد می کند:

1. پروتکل های Robots.txt
2. عناصر HTML متا روبات
3. هدر پاسخ لایه برنامه

Robots.Txt برای مسدود کردن ربات های هوش مصنوعی

پیش نویس پیشنهادی به دنبال ایجاد قوانین اضافی است که پروتکل حذف روبات ها (Robots.txt) را به ربات های آموزشی هوش مصنوعی گسترش می دهد. این امر باعث ایجاد نظم می‌شود و به ناشران امکان انتخاب روبات‌هایی را می‌دهد که می‌توانند وب‌سایت‌هایشان را بخزند.

پایبندی به پروتکل Robots.txt داوطلبانه است، اما همه خزنده‌های قانونی تمایل به اطاعت از آن دارند.

پیش نویس هدف قوانین جدید Robots.txt را توضیح می دهد:

در حالی که پروتکل حذف ربات ها به صاحبان سرویس امکان می دهد تا کنترل کنند که چگونه، اگر اصلاً، کلاینت های خودکار شناخته شده به عنوان خزنده می توانند به URI های سرویس های خود دسترسی داشته باشند، همانطور که توسط [RFC8288]، این پروتکل کنترلی در مورد نحوه استفاده از داده های بازگردانده شده توسط سرویس آنها در آموزش مدل های پایه هوش مصنوعی مولد ارائه نمی کند.

از توسعه دهندگان برنامه درخواست می شود که به این برچسب ها احترام بگذارند. با این حال، برچسب‌ها نوعی مجوز دسترسی نیستند.”

یکی از ویژگی‌های مهم قوانین robots.txt جدید و عناصر HTML متا روبات‌ها این است که خزنده‌های آموزشی AI قانونی تمایل دارند به طور داوطلبانه با پیروی از این پروتکل‌ها موافقت کنند، کاری که همه ربات‌های قانونی انجام می‌دهند. این امر مسدود کردن ربات را برای ناشران ساده می کند.

قوانین Robots.txt پیشنهادی به شرح زیر است:

• DisallowAITraining – به تجزیه کننده دستور می دهد که از داده ها برای مدل زبان آموزش هوش مصنوعی استفاده نکند.
• AllowAITraining – به تجزیه کننده دستور می دهد که داده ها را می توان برای مدل زبان آموزش هوش مصنوعی استفاده کرد.

دستورالعمل‌های متا روبات‌های پیشنهادی به شرح زیر است:

کنترل بیشتری را فراهم می کند

شرکت‌های هوش مصنوعی به دلیل استفاده از داده‌های در دسترس عموم به‌طور ناموفق در دادگاه شکایت کرده‌اند. شرکت‌های هوش مصنوعی تاکید کرده‌اند که استفاده منصفانه برای خزیدن در وب‌سایت‌های در دسترس عموم است، درست همانطور که موتورهای جستجو برای چندین دهه انجام داده‌اند.

این پروتکل‌های جدید به ناشران وب امکان کنترل خزنده‌هایی را می‌دهند که هدفشان مصرف داده‌های آموزشی است و این خزنده‌ها را با خزنده‌های جستجو همسو می‌کند.

پیشنهاد را در IETF بخوانید:

برنامه افزودنی پروتکل حذف ربات برای مدیریت استفاده از محتوای هوش مصنوعی

تصویر ویژه توسط Shutterstock/ViDI Studio