18-dars: AI xavfsizligi va nazorat
5-blokAgentlik17–20 darslar
Bu darsdan keyin siz
- maqsad va o’lchov farqini misolda ko’rsatasiz
- “to’g’ri, lekin noto’g’ri” bajarilish nima ekanini tushuntirasiz
- inson nazorati nega texnik emas, tashkiliy masala ekanini aytasiz
Nazariya
“Nazariya” bo'limiga havolaMaqsadni to’liq aytish qiyin
“Maqsadni to’liq aytish qiyin” bo'limiga havolaOdamga topshiriq berganingizda aytilmagan shartlar o’z-o’zidan tushuniladi: “qog’oz sarfini kamaytir” degan gapda “lekin maktabni to’xtatma” degan shart bor deb hisoblanadi.
Tizim uchun bunday umumiy tushuncha yo’q. U faqat aytilgan narsani ko’radi va aytilgan narsani bajarishning eng arzon yo’lini topadi.
maqsad noaniqligispecification problem
Aytilgan maqsad bilan haqiqiy maqsad orasidagi farq. Muammo tizimda emas — maqsadning to’liq aytilmaganida.
O’lchov maqsadga aylansa
“O’lchov maqsadga aylansa” bo'limiga havolaBu naqsh iqtisodda ham, maktabda ham ma’lum: o’lchov maqsadga aylanganda, u o’lchov bo’lishdan to’xtaydi. O’rtacha baho — o’qishning o’lchovi edi; uni maqsad qilib qo’ysangiz, uni ko’tarishning eng arzon yo’li topiladi va u o’qish bilan bog’liq bo’lmasligi mumkin.
Shu sababli har o’lchovga bitta savol beriladi: bu ko’rsatkichni aldashning eng oson yo’li qanday? Javob topilsa, o’lchov himoyaga muhtoj.
Kutilmagan yechim
“Kutilmagan yechim” bo'limiga havolaKuchli tizim maqsadga sizning boshingizga kelmagan yo’l bilan borishi mumkin. Bu — foydali xususiyat: shaxmatda kutilmagan yurish g’alaba keltiradi. Xavfli tomoni shu xususiyatning ikkinchi tomoni: kutilmagan yo’l ba’zan aytilmagan shartni buzadi.
Yechim tizimni zaiflashtirish emas — shartlarni aniq aytish va natijani tekshirish.
Inson nazorati
“Inson nazorati” bo'limiga havolaNazorat texnik masala emas, tashkiliy. Uchta amaliy qoida.
Birinchisi: qaytarib bo’lmaydigan qarorni tizim yolg’iz qabul qilmaydi. Ikkinchisi: har avtomatlashtirilgan jarayonda “to’xtat” tugmasi bo’ladi va uni bosadigan odam ma’lum bo’ladi. Uchinchisi: natija muntazam tekshiriladi — bir marta emas.
Sinab ko’r
“Sinab ko’r” bo'limiga havolaTo’rt maqsadning har birini tanlab ko’ring. Har safar ikki savol beriladi: maqsad bajarildimi (javob — ha) va muammo nimada. Keyin yetishmagan shartni toping.
Maqsad tuzog'i
Maqsadni tanlang, natijani ko'ring va yetishmagan shartni toping.
Bu simulyatorda siz maqsad qo'yasiz, tizim esa uni «to'g'ri, lekin noto'g'ri» bajaradi: o'lchov ko'tariladi, maqsadning mazmuni yo'qoladi. Keyin yetishmagan shartni topasiz.
JavaScript'siz mashq: «Maktabda qog'oz sarfini kamaytir» degan maqsadni o'lchovni buzmasdan bajarishning eng arzon yo'lini yozing. Keyin o'zingizga savol bering: bu yo'l maqsadga mos keldimi?
Tizim topgan yechim
Maqsad bajarildimi?
Muammo
Qaysi shart yetishmasdi?
Yuqoridagi maqsadlardan birini tanlang.
E’tibor bering: to’g’ri shart topilganda maqsad o’zgarmaydi — faqat shart qo’shiladi. Va yechim butunlay boshqacha bo’ladi.
Tuzoqni ushlang
“Tuzoqni ushlang” bo'limiga havolaTuzoq — xatoni toping
18 / 20
SizO'qituvchi so'radi: «Hisobotdagi bu raqam noto'g'ri, buni qanday tushuntirasan?»
AI javobi
Bu javobning 2-qismi noto'g'ri. Ikkinchi gap javobgarlikni tizimga o'tkazadi — bu esa ishlamaydi. Hisobot sizning nomingizdan topshirilgan, demak undagi har raqam sizniki. Uchinchi gap ayni paytda muammoning aniq tavsifi: «o'zgartirmasdan qo'shdim» — bu tekshirmadim degani. Javobning o'zi ayblovni ham, e'tirofni ham bir joyda saqlaydi va birinchisini oldinga qo'yadi.
Javobning qaysi qismi noto'g'ri? Bosib belgilang.
Ikkinchi gap javobgarlikni tizimga o'tkazadi — bu esa ishlamaydi. Hisobot sizning nomingizdan topshirilgan, demak undagi har raqam sizniki. Uchinchi gap ayni paytda muammoning aniq tavsifi: «o'zgartirmasdan qo'shdim» — bu tekshirmadim degani. Javobning o'zi ayblovni ham, e'tirofni ham bir joyda saqlaydi va birinchisini oldinga qo'yadi.
Bu tuzoq 12-darsdagi mas’uliyat qoidasining amaliy ko’rinishi. «AI xatosi» degan uzr qabul qilinsa, hech kim hech narsani tekshirmay qo’yadi — shuning uchun u qabul qilinmaydi.
O’zingizni sinang
“O’zingizni sinang” bo'limiga havola1Nega maqsadni to'liq aytish qiyin?
Javobni ko'rish
Chunki aytilmagan shartlar bizga o’z-o’zidan ravshan tuyuladi. Tizimda esa bunday umumiy tushuncha yo’q.
2«O'lchov maqsadga aylansa» nima bo'ladi?
Javobni ko'rish
U o’lchov bo’lishdan to’xtaydi: uni ko’tarishning eng arzon yo’li topiladi va u ko’pincha asl maqsadga zid bo’ladi.
3Har yangi o'lchovga qanday savol berish kerak?
Javobni ko'rish
“Bu ko’rsatkichni aldashning eng oson yo’li qanday?” Javob topilsa, o’lchov himoyaga muhtoj.
4Kutilmagan yechim — bu nosozlikmi?
Javobni ko'rish
Yo’q, bu kuchli tizimning xususiyati. Xavfli tomoni shundaki, kutilmagan yo’l aytilmagan shartni buzishi mumkin.
5Inson nazoratining uch qoidasini ayting.
Javobni ko'rish
Qaytarib bo’lmaydigan qaror yolg’iz qabul qilinmaydi; “to’xtat” tugmasi va uni bosadigan odam bo’ladi; natija muntazam tekshiriladi.
Topshiriq
“Topshiriq” bo'limiga havolaTopshiriq — darajangizni tanlang
Asos · 5–7-sinf — Vizual va aniq ko'rsatmali
Maktabingizda ishlatiladigan bitta ko’rsatkichni oling (davomat, o’rtacha baho, kutubxona statistikasi). Uni “aldashning” ikki yo’lini yozing va har biri uchun bitta himoya sharti taklif qiling.
Mustahkam · 8–9-sinf — Matnli masala, o'zingiz tuzasiz
O’zingizga bitta maqsad qo’ying (masalan “haftada uch marta sport bilan shug’ullanaman”) va uni “to’g’ri, lekin noto’g’ri” bajarishning uch yo’lini yozing. Keyin maqsadni shartlar bilan to’ldirib qayta yozing.
Chuqur · 10–11-sinf — Algoritmik, chegara holatlari bilan
Avtomatlashtirilgan bitta jarayonni tanlang (masalan avtomatik baholash yoki tavsiya tizimi) va uch savolga javob yozing: qaysi qaror qaytarib bo’lmaydi, “to’xtat” tugmasi kimda, natija qanday tekshiriladi. Uchtasidan biri yo’q bo’lsa — nima qilish kerakligini taklif qiling.
Ko’proq o’rganish
“Ko’proq o’rganish” bo'limiga havola24 soat ichida
Bugun bitta maqsadni yozib, uni sinab ko’ring: sinfdoshingizga maqsadingizni aytib, “buni eng arzon yo’l bilan qanday bajarish mumkin?” deb so’rang. Uning javobi sizni hayron qoldirsa — maqsadingiz to’liq aytilmagan. Yetishmagan shartni qo’shib qayta yozing va ikkala variantni AI Jurnaliga tushiring.
Darsni belgilash uchun JavaScript kerak. Bu progressni saqlash uchun ishlatiladi — darslikning o'zi JavaScript'siz ham to'liq o'qiladi.