Kahalagahan ng Kaligtasan ng AI na Mahusay na Naiilaw Sa gitna ng Mga Pinakabagong Trend na Ipinakita Sa Stanford AI Safety Workshop na Sumasaklaw sa Autonomous System

Ang kaligtasan ng AI ay mahalaga.

Mahihirapan kang tila makipagtalo kung hindi man.

Tulad ng alam ng mga mambabasa ng aking mga column, paulit-ulit kong binibigyang-diin ang kahalagahan ng kaligtasan ng AI, tingnan mo ang link dito. Karaniwan kong inilalabas ang kaligtasan ng AI sa konteksto ng mga autonomous system, tulad ng mga autonomous na sasakyan kabilang ang mga self-driving na kotse, at sa gitna ng iba pang robotic system. Ang paggawa nito ay nagha-highlight sa mga potensyal na epekto ng buhay-o-kamatayan na ibinubunga ng kaligtasan ng AI.

Dahil sa laganap at halos nakakabalisa na bilis ng pag-ampon ng AI sa buong mundo, nahaharap tayo sa isang potensyal na bangungot kung ang angkop na pag-iingat sa kaligtasan ng AI ay hindi matatag na naitatag at regular na isinasabuhay. Sa isang kahulugan, ang lipunan ay isang tunay na nakaupong pato bilang resulta ng mga torrents ng AI ngayon na hindi maayos na nagpapatupad ng kaligtasan ng AI kasama na kung minsan ay tahasan ang pag-alis ng sapat na mga hakbang sa kaligtasan at pasilidad ng AI.

Nakalulungkot, nakakatakot, ang pansin sa kaligtasan ng AI ay hindi kahit saan bilang pinakamahalaga at laganap gaya ng kailangan.

Sa aking saklaw, binigyang-diin ko na mayroong maraming dimensyon na pinagbabatayan ng kaligtasan ng AI. May mga teknolohikal na facet. Mayroong mga aspeto ng negosyo at komersyal. May mga legal at etikal na elemento. At iba pa. Ang lahat ng mga katangiang ito ay magkakaugnay. Kailangang matanto ng mga kumpanya ang halaga ng pamumuhunan sa kaligtasan ng AI. Ang aming mga batas at etikal na kaugalian ay kailangang ipaalam at ipahayag ang mga pagsasaalang-alang sa kaligtasan ng AI. At ang teknolohiya upang tulungan at palakasin ang pag-aampon ng mga alituntunin at kasanayan sa kaligtasan ng AI ay dapat na parehong pinagtibay at higit pang advanced upang makamit ang mas malaki at mas malawak na kakayahan sa kaligtasan ng AI.

Pagdating sa kaligtasan ng AI, walang sandaling magpahinga. Kailangan nating magpatuloy sa pagsulong. Sa katunayan, mangyaring ganap na magkaroon ng kamalayan na ito ay hindi isang isa-at-tapos na pangyayari ngunit sa halip ay isang tuluy-tuloy at palagiang kasalukuyang pagtugis na halos walang katapusan sa palaging naglalayong mapabuti.

Gusto kong ilatag para sa iyo ang kaunting landscape ng kaligtasan ng AI at pagkatapos ay ibahagi sa iyo ang ilang mahahalagang natuklasan at mahahalagang insight na nakuha mula sa isang kamakailang kaganapan na sumasaklaw sa pinakabago sa kaligtasan ng AI. Ito ay isang kaganapan noong nakaraang linggo ng Stanford Center para sa AI Safety at naganap bilang isang buong araw na AI Safety Workshop noong Hulyo 12, 2022, sa campus ng Stanford University. Kudos kay Dr. Anthony Corso, Executive Director ng Stanford Center para sa AI Safety, at ang koponan doon para sa pagsasama-sama ng isang mahusay na kaganapan. Para sa impormasyon tungkol sa Stanford Center for AI Safety, na kilala rin bilang "SAFE", tingnan ang link dito.

Una, bago sumabak sa mga resulta ng Workshop, gawin natin ang isang maikling pangkalahatang-ideya ng landscape.

Upang ilarawan kung paano lalong lumalabas ang kaligtasan ng AI bilang isang mahalagang alalahanin, hayaan mo akong sumipi mula sa isang bagong papel ng patakaran na inilabas noong unang bahagi ng linggong ito ng UK Governmental Office for Artificial Intelligence na pinamagatang Pagtatatag ng Pro-innovation Approach sa Regulating AI na kasama ang mga komentong ito tungkol sa kaligtasan ng AI: “Ang lawak ng paggamit para sa AI ay maaaring magsama ng mga function na may malaking epekto sa kaligtasan – at habang ang panganib na ito ay mas maliwanag sa ilang partikular na sektor gaya ng pangangalaga sa kalusugan o kritikal na imprastraktura, may potensyal para sa hindi inaasahang pagkakataon. mga implikasyon sa kaligtasan upang magkatotoo sa ibang mga lugar. Dahil dito, habang ang kaligtasan ay magiging isang pangunahing pagsasaalang-alang para sa ilang mga regulator, magiging mahalaga para sa lahat ng mga regulator na gumawa ng isang context-based na diskarte sa pagtatasa ng posibilidad na ang AI ay maaaring magdulot ng panganib sa kaligtasan sa kanilang sektor o domain, at kumuha ng proporsyonal diskarte upang pamahalaan ang panganib na ito."

Ang binanggit na papel ng patakaran ay nagpapatuloy sa pagtawag para sa mga bagong paraan ng pag-iisip tungkol sa kaligtasan ng AI at mariing nagsusulong ng mga bagong diskarte para sa kaligtasan ng AI. Kabilang dito ang pagpapalakas ng aming teknolohikal na kahusayan na sumasaklaw sa mga pagsasaalang-alang sa kaligtasan ng AI at embodiment sa kabuuan ng AI devising lifecycle, kasama ng lahat ng yugto ng AI design, development, at deployment efforts. Sa susunod na linggo sa aking mga column ay sasakupin ko ang higit pang mga detalye tungkol sa pinakabagong iminungkahing AI regulatory draft. Para sa aking nauna at patuloy na saklaw ng medyo katulad na mga draft tungkol sa legal na pangangasiwa at pamamahala ng AI, gaya ng USA Algorithmic Accountability Act (AAA) at EU AI Act (AIA), tingnan ang link dito at ang link dito, Halimbawa.

Kapag iniisip nang mabuti ang tungkol sa kaligtasan ng AI, isang pangunahing coinage ang papel ng pagsukat.

Nakikita mo, mayroong isang sikat na generic na kasabihan na maaaring narinig mo sa iba't ibang konteksto, ibig sabihin, hindi mo mapangasiwaan ang hindi mo nasusukat. Ang kaligtasan ng AI ay isang bagay na kailangang sukatin. Kailangan itong masusukat. Nang walang anumang pagkakatulad ng angkop na pagsukat, ang tanong kung ang kaligtasan ng AI ay sinusunod o hindi ay magiging kaunti pa sa isang vacuous na argumento na sasabihin nating hindi mapapatunayang mga pagtatalo.

Umupo para sa susunod na puntong ito.

Lumalabas na kakaunti lang ngayon ang aktibong sumusukat sa kanilang kaligtasan sa AI at kadalasan ay gumagawa ng kaunti pa kaysa sa isang kindat-wink na siyempre, ang kanilang mga AI system ay naglalaman ng mga bahagi ng kaligtasan ng AI. Ang mga malalambot na diskarte ay ginagamit. Laganap ang kahinaan at kahinaan. May napagpasyahan na kakulangan ng pagsasanay sa kaligtasan ng AI. Ang mga tool para sa kaligtasan ng AI ay karaniwang bihira o arcane. Ang pamumuno sa negosyo at gobyerno ay kadalasang hindi alam at hindi pinahahalagahan ang kahalagahan ng kaligtasan ng AI.

Totoo, ang pagkabulag at walang pakialam na atensyon ay nangyayari hanggang sa ang isang sistema ng AI ay naligaw ng husto, katulad ng kapag tumama ang isang lindol at biglang namulat ang mga mata ng mga tao na dapat ay pinaghandaan at nakahandang harapin ang nakakagulat na pangyayari. Sa pagkakataong iyon, sa kaso ng AI na lubhang nasiraan ng loob, madalas na may madcap na pagmamadali upang tumalon sa AI safety bandwagon, ngunit ang lakas at pagsasaalang-alang ay unti-unting nababawasan sa paglipas ng panahon, at tulad ng mga lindol na iyon ay nababagong lamang sa isa pang malaking nakakagulat.

Noong propesor ako sa University of Southern California (USC) at executive director ng isang pioneering AI laboratory sa USC, madalas naming ginagamit ang pagkakatulad ng lindol dahil ang pagkalat ng mga lindol sa California ay lubos na nauunawaan. Ang pagkakatulad ay angkop na ginawa ang on-again-off-again na pag-aampon ng kaligtasan ng AI bilang isang mas madaling natanto na hindi angkop at hiwalay na paraan ng paggawa ng mga bagay. Ngayon, naglilingkod ako bilang isang Stanford Fellow at bukod pa rito ay naglilingkod sa AI standards at AI governance committee para sa mga internasyonal at pambansang entity gaya ng WEF, UN, IEEE, NIST, at iba pa. Sa labas ng mga aktibidad na iyon, nagsilbi ako kamakailan bilang isang nangungunang ehekutibo sa isang pangunahing kumpanya ng Venture Capital (VC) at ngayon ay nagsisilbing isang tagapayo sa mga AI startup at bilang isang pitch judge sa AI startup competitions. Binanggit ko ang mga aspetong ito bilang background kung bakit ako ay lubos na nasasabik tungkol sa mahalagang kalikasan ng kaligtasan ng AI at ang papel ng kaligtasan ng AI sa hinaharap ng AI at lipunan, kasama ang pangangailangan na makakita ng mas maraming pamumuhunan sa mga startup na nauugnay sa kaligtasan ng AI at nauugnay mga pagsisikap sa pananaliksik.

Sinabi ng lahat, para masulit ang kaligtasan ng AI, kailangan ng mga kumpanya at iba pang entity gaya ng mga gobyerno na yakapin ang kaligtasan ng AI at pagkatapos ay patuloy na manatili sa kurso. Patatagin ang barko. At panatilihin ang barko sa tuktok na hugis ng barko.

Pagaanin natin ang mood at isaalang-alang ang aking mga paboritong punto sa pakikipag-usap na ginagamit ko kapag sinusubukang ihatid ang katayuan ng kaligtasan ng AI sa kontemporaryong panahon.

Mayroon akong sariling set ng kaligtasan ng AI antas ng pag-aampon na gusto kong gamitin paminsan-minsan. Ang ideya ay upang madaling makilala ang antas o magnitude ng kaligtasan ng AI na sinusunod o marahil ay tinatakpan ng isang partikular na AI system, lalo na ng isang autonomous system. Ito ay isa lamang mabilis na paraan upang kilalanin at lagyan ng label ang kaseryosohan at pangakong ginagawa sa kaligtasan ng AI sa isang partikular na pagkakataon ng interes.

Sasaklawin ko sandali ang aking mga antas ng kaligtasan ng AI sa pag-aampon at pagkatapos ay magiging handa kaming lumipat sa pagtuklas sa kamakailang Workshop at sa mga nauugnay na insight nito.

Ang aking sukat ay mula sa pinakamataas o pinakamataas sa kaligtasan ng AI at pagkatapos ay bumababa sa pinakamababa o pinakamasama sa karamihan ng kaligtasan ng AI. Nakikita kong madaling bilangin ang mga antas at dahil dito ang pinakamataas ay itinuturing na na-rate na 1st, habang ang pinakamababa ay niraranggo bilang huli o ika-7. Hindi mo dapat ipagpalagay na mayroong isang linear na steady na distansya sa pagitan ng bawat isa sa mga antas kaya tandaan na ang pagsisikap at antas ng kaligtasan ng AI ay madalas na mas malaki o mas maliit depende sa kung saan sa sukat na iyong hinahanap.

Narito ang aking sukat ng mga antas ng pag-aampon patungkol sa kaligtasan ng AI:

1) Tunay na Matatag na Kaligtasan ng AI (mahigpit na napapatunayan, pormal, katigasan, ngayon ito ay bihira)

2) Malambot na Matatag AI Safety (bahagyang napatunayan, semi-pormal, umuusad tungo sa ganap)

3) Kaligtasan ng Ad Hoc AI (walang pagsasaalang-alang para sa provability, impormal na diskarte, lubos na laganap ngayon)

4) Kaligtasan ng AI sa Lip-Service (smattering, general hollow, marginal, uncaring overall)

5) Kaligtasan ng Kasinungalingan AI (ang hitsura ay sinadya upang linlangin, mapanganib na pagkukunwari)

6) Ganap na Inalis ang Kaligtasan ng AI (ganap na napabayaan, walang pansin, mataas ang panganib sa panganib)

7) Hindi Ligtas na Kaligtasan ng AI (pagbabalik ng tungkulin, kaligtasan ng AI na talagang mapanganib, mapanlinlang)

Ang mga mananaliksik ay karaniwang nakatuon sa pinakamataas na bahagi ng iskala. Naghahanap sila ng mathematically at computationally na makabuo ng mga paraan upang makabuo at matiyak ang mapapatunayang kaligtasan ng AI. Sa mga trenches ng pang-araw-araw na kasanayan ng AI, ikinalulungkot Kaligtasan ng Ad Hoc AI ay karaniwang karaniwan. Sana, sa paglipas ng panahon at sa pamamagitan ng pagganyak mula sa lahat ng mga nabanggit na dimensyon (hal., teknolohikal, negosyo, legal, etikal, at iba pa), maaari nating ilipat ang karayom ​​palapit sa higpit at pormalidad na dapat na nakaugat sa mga sistema ng AI.

Maaaring medyo nabigla ka sa mga kategorya o antas na nasa ilalim ng Kaligtasan ng Ad Hoc AI antas.

Oo, ang mga bagay ay maaaring maging medyo pangit sa kaligtasan ng AI.

Ang ilang AI system ay ginawa gamit ang isang uri ng lip-service approach sa kaligtasan ng AI. May mga elemento ng kaligtasan ng AI na ibinubuhos dito o doon sa AI na naglalayong nagbibigay ng mga probisyon sa kaligtasan ng AI, kahit na ang lahat ng ito ay kalat-kalat, sa pangkalahatan ay guwang, marginal, at nagpapakita ng medyo hindi nagmamalasakit na saloobin. Hindi ko nais na mag-iwan ng impresyon na ang mga developer ng AI o mga inhinyero ng AI ang tanging may kasalanan sa pagiging responsable para sa lip-service landing. Ang mga pinuno ng negosyo o pamahalaan na namamahala at nangangasiwa sa mga pagsisikap ng AI ay maaaring madaling kunin ang anumang enerhiya o pagkahilig sa mga potensyal na gastos at pagkonsumo ng mapagkukunan na kinakailangan para sa pagsasakatuparan ng kaligtasan ng AI.

Sa madaling salita, kung ang mga nasa timon ay hindi payag o hindi alam ang kahalagahan ng kaligtasan ng AI, ito ang tunay na halik ng kamatayan para sa sinumang iba pang nagnanais na makuha ang kaligtasan ng AI sa laro.

Hindi ko nais na magmukhang isang downer ngunit mayroon kaming mas masahol na mga antas sa ilalim ng lip-service classification. Sa ilang mga AI system, ang kaligtasan ng AI ay inilalagay bilang isang anyo ng kasinungalingan, sadyang sinadya upang linlangin ang iba sa paniniwalang ang AI safety embodiments ay itinanim at aktibong gumagana. Gaya ng maaari mong asahan, ito ay laganap para sa mga mapanganib na resulta dahil ang iba ay tiyak na ipagpalagay na ang kaligtasan ng AI ay umiiral kapag ito sa katunayan ay wala. Ang malalaking legal at etikal na mga epekto ay parang isang ticking time bomb sa mga pagkakataong ito.

Marahil halos pantay na nakakabagabag ay ang buong kakulangan ng kaligtasan ng AI na sinabi, ang Ganap na Inalis ang Kaligtasan ng AI kategorya. Mahirap sabihin kung alin ang mas masahol pa, ang kasinungalingan na kaligtasan ng AI na maaaring nagbibigay ng kaunting kaligtasan ng AI sa kabila na ito sa pangkalahatan ay maling kumakatawan sa kaligtasan ng AI o ang ganap na kahungkagan ng kaligtasan ng AI sa kabuuan. Maaari mong ituring na ito ang labanan sa pagitan ng mas maliit sa dalawang kasamaan.

Ang huli sa mga kategorya ay talagang nakakagigil, sa pag-aakalang wala ka pa sa pinakailalim ng kailaliman ng AI safety chilliness. Sa kategoryang ito nakaupo ang hindi ligtas kaligtasan ng AI. Iyon ay parang isang oxymoron, ngunit ito ay may isang prangka na kahulugan. Medyo maiisip na ang isang pagbaligtad ng tungkulin ay maaaring mangyari na ang isang embodiment sa isang AI system na nilayon para sa mga layunin ng kaligtasan ng AI ay lumalabas na balintuna at mapanganib na mag-embed ng isang ganap na hindi ligtas na elemento sa AI. Maaari itong mangyari lalo na sa mga AI system na kilala bilang dual-use AI, tingnan ang aking saklaw sa ang link dito.

Tandaan na laging sumunod sa Latin na panata ng primum non nocere, na partikular na naglalagay ng klasikong Hippocratic na panunumpa upang matiyak na una, huwag makapinsala.

May mga naglalagay sa kaligtasan ng AI na marahil ay may pinakamalakas na intensyon, ngunit binabaril ang kanilang paa at pinapanghina ang AI sa pamamagitan ng pagsasama ng isang bagay na hindi ligtas at mapanganib (na, sa metaporikal, ay pumapatol sa mga paa ng lahat ng iba pang stakeholder at end-user masyadong). Siyempre, maaaring tahakin din ng mga gumagawa ng masama ang landas na ito, at samakatuwid, sa alinmang paraan, kailangan nating magkaroon ng angkop na paraan upang matukoy at ma-verify ang kaligtasan o hindi ligtas na pagkahilig ng anumang AI — kabilang ang mga bahaging sinasabing nakatuon sa kaligtasan ng AI.

Ito ay ang Trojan Horse ng kaligtasan ng AI na kung minsan sa pagkukunwari ng kaligtasan ng AI ang pagsasama ng kaligtasan ng AI ay ginagawa ang AI sa isang nakakatakot na basket na puno ng hindi ligtas na AI.

Hindi maganda.

Okay, nagtitiwala ako na ang nabanggit na pangkalahatang-ideya ng ilang mga trend at insight tungkol sa landscape ng kaligtasan ng AI ay nakapukaw ng iyong gana. Handa na kaming magpatuloy sa pangunahing pagkain.

Recap At Mga Kaisipan Tungkol sa Stanford Workshop Sa AI Safety

Nagbibigay ako ng susunod na maikling recap kasama ang sarili kong pagsusuri sa iba't ibang pagsisikap sa pananaliksik na ipinakita sa kamakailang workshop sa AI Safety na isinagawa ng Stanford Center para sa AI Safety.

Mahigpit kang hinihimok na basahin ang mga kaugnay na papel o panoorin ang mga video kapag available na ang mga ito (tingnan ang link na nauna kong inilista para sa website ng Center, at nagbigay ako ng ilang karagdagang link sa aking recap sa ibaba).

Hinihiling ko rin na ang mga mananaliksik at nagtatanghal ng Workshop ay mangyaring mapagtanto na hinahangad ko lamang na pukawin ang gana ng mga mambabasa o manonood sa recap na ito at hindi ko saklaw ang kabuuan ng ipinarating. Bilang karagdagan, ipinapahayag ko ang aking mga partikular na pananaw tungkol sa gawaing ipinakita at pinipiling dagdagan o magbigay ng karagdagang pampalasa sa materyal bilang naaayon sa aking kasalukuyang istilo o panache ng aking column, kumpara sa mahigpit na pag-transcribe o pagdedetalye nang eksakto kung ano ang natukoy sa bawat pahayag. Salamat sa iyong pag-unawa sa bagay na ito.

Magpapatuloy ako ngayon sa parehong pagkakasunud-sunod ng mga pagtatanghal na isinagawa sa panahon ng Workshop. Inililista ko ang pamagat ng session, at ang (mga) nagtatanghal, at pagkatapos ay ibinabahagi ko ang sarili kong mga saloobin na parehong nagtatangkang mag-recap o i-encapsulate ang esensya ng bagay na tinalakay at magbigay ng kaunting kaalaman sa sarili kong mga insight.

• Pamagat ng Session: "Run-time na Pagsubaybay para sa Ligtas na Robot Autonomy"

Pagtatanghal ni Dr. Marco Pavone

Si Dr. Marco Pavone ay isang Associate Professor ng Aeronautics at Astronautics sa Stanford University, at Direktor ng Autonomous Vehicle Research sa NVIDIA, kasama ang Direktor ng Stanford Autonomous Systems Laboratory at Co-Director ng Center for Automotive Research sa Stanford

Narito ang aking maikling pagbabalik-tanaw at mga dating iniisip tungkol sa pag-uusap na ito.

Ang isang mabigat na problema sa kontemporaryong Machine Learning (ML) at Deep Learning (DL) na mga system ay nangangailangan ng pagharap sa mga out-of-distribution (OOD) na mga pangyayari, lalo na sa kaso ng mga autonomous system tulad ng mga self-driving na sasakyan at iba pang self-driving na sasakyan. Kapag ang isang autonomous na sasakyan ay gumagalaw at nakatagpo ng isang OOD instance, ang mga tumutugon na pagkilos na isasagawa ay maaaring baybayin ang pagkakaiba sa pagitan ng mga resulta ng buhay-o-kamatayan.

Malawakan kong sinaklaw sa aking column ang mga pangyayari kung saan kailangang harapin ang napakaraming bagay na mabilis na lumilitaw na maaaring mapuspos o malito ang isang AI driving system, tingnan ang link dito at ang link dito, Halimbawa. Sa isang kahulugan, ang ML/DL ay maaaring makitid na hinango at maaaring mabigo na makilala ang isang OOD na pangyayari o marahil ay mas masahol pa na tratuhin ang OOD na parang nasa loob ito ng kumbensyonal na inside-distribution na mga pangyayari kung saan ang AI ay sinanay. Ito ang klasikong dilemma ng pagtrato sa isang bagay bilang isang maling positibo o isang maling negatibo at dahil dito ang AI ay walang aksyon kapag kailangan nitong kumilos o gumawa ng matapat na aksyon na mali sa ilalim ng mga pangyayari.

Sa insightful na presentasyong ito tungkol sa ligtas na awtonomiya ng robot, ang isang pangunahing diin ay nangangailangan ng matinding pangangailangan upang matiyak na ang angkop at sapat na run-time na pagsubaybay ay nagaganap ng AI driving system upang matukoy ang mga magagalitin at madalas na nagbabanta sa mga out-of-distribution na mga pagkakataon. Nakikita mo, kung ang pagsubaybay sa run-time ay wala sa OOD detection, lahat ano ba ay potensyal na maluwag dahil ang mga pagkakataon ay ang paunang pagsasanay ng ML/DL ay hindi sapat na naihanda ang AI para sa pagharap sa mga pangyayari sa OOD. Kung mahina o hindi sapat ang pagsubaybay sa run-time pagdating sa OOD detection, ang AI ay maaaring bulag o naka-cross-eyed kumbaga, hindi tinitiyak na may boundary breaker sa gitna nito.

Ang isang mahalagang unang hakbang ay nagsasangkot sa kabuuan ng pangunahing tanong ng kakayahang tukuyin kung ano ang bumubuo sa pagiging out-of-distribution. Maniwala ka man o hindi, hindi ito kasing dali ng inaakala mo.

Isipin na ang isang self-driving na kotse ay nakatagpo ng isang bagay o kaganapan na sa computationally ay kinakalkula bilang medyo malapit sa orihinal na set ng pagsasanay ngunit hindi masyadong pare-pareho. Ito ba ay isang nakatagpo na anomalya o ito ay marahil sa malayong pag-abot ng inaasahang hanay?

Ang pananaliksik na ito ay naglalarawan ng isang modelo na maaaring magamit para sa OOD detection, na tinatawag na Sketching Curvature para sa OOD Detection o SCOD. Ang pangkalahatang ideya ay upang bigyan ang pre-training ng ML ng isang malusog na dosis ng epistemic na kawalan ng katiyakan. Sa esensya, gusto naming maingat na isaalang-alang ang tradeoff sa pagitan ng bahagi ng out-of-distribution na wastong na-flag bilang OOD (tinukoy bilang TPR, True Positive Rate), kumpara sa fraction ng in-distribution na hindi wastong na-flag bilang pagiging OOD kapag ito ay hindi, sa katunayan, OOD (tinukoy bilang FPR, False Positive Rate).

Kasama sa nagpapatuloy at hinaharap na pananaliksik ang pag-uuri sa kalubhaan ng mga anomalya ng OOD, mga paliwanag na sanhi na maaaring maiugnay sa mga anomalya, mga pag-optimize ng run-time na monitor upang labanan ang mga pagkakataon ng OOD, atbp., at ang paggamit ng SCOD sa mga karagdagang setting.

paggamit ang link na ito dito para sa impormasyon tungkol sa Stanford Autonomous Systems Lab (ASL).

paggamit ang link na ito dito para sa impormasyon tungkol sa Stanford Center for Automotive Research (CARS).

Para sa ilan sa aking naunang saklaw na tinatalakay ang Stanford Center for Automotive Research, tingnan ang link dito.

• Pamagat ng Session: "Pag-reimagining ng Robot Autonomy na may Neural Environment Representations"

Pagtatanghal ni Dr. Mac Schwager

Si Dr. Mac Schwager ay isang Associate Professor ng Aeronautics at Astronautics sa Stanford University at Direktor ng Stanford Multi-Robot Systems Lab (MSL)

Narito ang aking maikling pagbabalik-tanaw at mga dating iniisip tungkol sa pag-uusap na ito.

Mayroong iba't ibang paraan ng pagtatatag ng geometric na representasyon ng mga eksena o larawan. Gumagamit ang ilang developer ng mga point cloud, voxel grids, meshes, at iba pa. Kapag gumagawa ng isang autonomous system tulad ng isang autonomous na sasakyan o iba pang autonomous na mga robot, mas mabuting pumili ka nang matalino dahil kung hindi, ang buong kit at kaboodle ay maaaring ihinto. Gusto mo ng isang representasyon na angkop na kukuha ng mga nuances ng koleksyon ng imahe, at iyon ay mabilis, maaasahan, flexible, at nagbibigay ng iba pang kapansin-pansing mga pakinabang.

Ang paggamit ng mga artificial neural network (ANNs) ay nakakuha ng maraming traksyon bilang isang paraan ng geometric na representasyon. Ang isang partikular na promising na diskarte sa paggamit ng mga ANN ay kilala bilang isang neural radiance field o NeRF method.

Tingnan natin ang isang madaling gamitin na pinagmulang kahulugan ng kung ano ang binubuo ng NeRF: "Ang aming pamamaraan ay nag-o-optimize ng malalim na ganap na konektadong neural network nang walang anumang convolutional layer (madalas na tinutukoy bilang isang multilayer perceptron o MLP) upang kumatawan sa function na ito sa pamamagitan ng pag-urong mula sa isang solong 5D coordinate sa isang solong density ng volume at kulay ng RGB na umaasa sa view. Upang i-render ang neural radiance field (NeRF) na ito mula sa isang partikular na viewpoint, kami ay: 1) nagmamartsa ng mga ray ng camera sa eksena upang makabuo ng isang sample na hanay ng mga 3D point, 2) gamitin ang mga puntong iyon at ang kanilang kaukulang 2D na mga direksyon sa pagtingin bilang input sa neural network upang gumawa ng output set ng mga kulay at densidad, at 3) gumamit ng classical volume rendering techniques para maipon ang mga kulay at densidad na iyon sa isang 2D na larawan. Dahil ang prosesong ito ay natural na naiba-iba, maaari naming gamitin ang gradient descent upang i-optimize ang modelong ito sa pamamagitan ng pagliit ng error sa pagitan ng bawat naobserbahang larawan at ng mga katumbas na view na nai-render mula sa aming representasyon (tulad ng nakasaad sa Agosto 2020 na papel na pinamagatang NeRF: Kinakatawan ang Mga Eksena bilang Mga Neural Radiance Field para sa View Synthesis ng mga kapwa may-akda na sina Ben Mildenhall, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, at Ren Ng).

Sa kamangha-manghang pag-uusap na ito tungkol sa NeRF at pagpapaunlad ng mga pagsulong sa robotic autonomy, mayroong dalawang tanong na direktang ibinibigay:

• Maaari ba nating gamitin ang NeRF density bilang representasyon ng geometry para sa robotic na pagpaplano at simulation?
• Maaari ba nating gamitin ang NeRF photo rendering bilang isang tool para sa pagtatantya ng robot at object poses?

Ang mga ipinakitang sagot ay oo, batay sa mga paunang pagsisikap sa pananaliksik, lumalabas na talagang magagamit ang NeRF para sa mga iminungkahing gamit na iyon.

Kasama sa mga halimbawang ipinakita ang mga gamit sa pag-navigate gaya ng mga pagsisikap ng mga aerial drone, pag-unawa sa mga paggamit sa pagpaplano gaya ng robotic na kamay na sumusubok na humawak ng coffee mug, at mga ginagamit na differentiable simulation kabilang ang isang dynamics-augmented neural object (DANO) formulation. Ang iba't ibang miyembro ng pangkat na lumahok sa pananaliksik na ito ay nakalista din at kinilala para sa kani-kanilang kontribusyon sa mga patuloy na pagsisikap na ito.

paggamit ang link na ito dito para sa impormasyon tungkol sa Stanford Multi-Robot Systems Lab (MSL).

• Pamagat ng Session: “Tungo sa Certified Robustness Laban sa Mga Pagbabago sa Pamamahagi ng Tunay na Daigdig”

Pagtatanghal ni Dr. Clark Barrett, Propesor (Pananaliksik) ng Computer Science, Stanford University

Narito ang aking maikling recap at mga dating saloobin tungkol sa pananaliksik na ito.

Kapag gumagamit ng Machine Learning (ML) at Deep Learning (DL), isang mahalagang pagsasaalang-alang ay ang lahat-lahat na katatagan ng nagreresultang ML/DL system. Maaaring hindi sinasadyang gumawa ng mga pagpapalagay ang mga developer ng AI tungkol sa dataset ng pagsasanay na sa huli ay masisira kapag ginamit ang AI sa totoong mundo.

Halimbawa, ang isang demonstrative distributional shift ay maaaring mangyari sa run-time na nakakakuha ng AI off-guard. Ang isang simpleng kaso ng paggamit ay maaaring isang larawan na nagsusuri ng AI ML/DL system na kahit na orihinal na sinanay sa mga malinaw na larawan sa kalaunan ay nalilito kapag nakatagpo ng mga larawan sa run-time na malabo, mahinang ilaw, at naglalaman ng iba pang mga pagbabago sa pamamahagi na hindi kasama sa paunang dataset.

Ang mahalaga sa paggawa ng wastong pag-verify ng computational para sa ML/DL ay binubuo ng pagbuo ng mga pagtutukoy na angkop na gagana tungkol sa gawi ng ML/DL sa makatotohanang mga setting ng deployment. Ang pagkakaroon ng mga pagtutukoy na marahil ay tamad na madali para sa mga layuning pang-eksperimento ng ML/DL ay mas mababa sa mas mahigpit at higit na hinihingi na mga pangangailangan para sa AI na ipapakalat sa ating mga daanan sa pamamagitan ng mga autonomous na sasakyan at mga self-driving na sasakyan, nagmamaneho sa kahabaan ng mga lansangan ng lungsod at may tungkulin sa buhay-o -mga desisyon sa computational ng kamatayan.

Ang mga pangunahing natuklasan at kontribusyon ng gawaing ito ayon sa mga pahayag ng mananaliksik ay:

• Pagpapakilala ng isang bagong framework para sa pag-verify ng mga DNN (deep neural network) laban sa mga pagbabago sa pamamahagi sa totoong mundo
• Ang pagiging unang nagsama ng malalim na generative na mga modelo na kumukuha ng mga pagbabago sa pamamahagi, hal, mga pagbabago sa lagay ng panahon o pag-iilaw sa mga gawain sa pag-unawa—sa mga detalye ng pag-verify
• Panukala ng isang nobelang abstraction-refinement strategy para sa transcendental activation functions
• Pagpapakita na ang mga diskarte sa pag-verify ay mas tumpak kaysa sa mga kasalukuyang diskarte sa isang hanay ng mga mapaghamong pagbabago sa pamamahagi sa totoong mundo sa MNIST at CIFAR-10.

Para sa karagdagang mga detalye, tingnan ang nauugnay na papel na pinamagatang Patungo sa Certified Robustness Laban sa Mga Paglipat sa Pamamahagi ng Tunay na Mundo, Hunyo 2022, ng mga kapwa may-akda na sina Haoze Wu, Teruhiro Tagomori, Alexandar Robey, Fengjun Yang, Nikolai Matni, George Pappas, Hamed Hassani, Corina Pasareanu, at Clark Barrett.

• Pamagat ng Session: “AI Index 2022”

Pagtatanghal ni Daniel Zhang, Policy Research Manager, Stanford Institute for Human-Centered Artificial Intelligence (HAI), Stanford University

Narito ang aking maikling recap at mga dating saloobin tungkol sa pananaliksik na ito.

Bawat taon, ang kilalang Stanford Institute para sa Human-Centered AI (HAI) sa Stanford University ay naghahanda at naglalabas ng malawakang binabasa at sabik na hinihintay na "taunang ulat" tungkol sa pandaigdigang katayuan ng AI, na kilala bilang AI Index. Ang pinakabagong AI Index ay ang ikalimang edisyon at inihayag noong mas maaga sa taong ito, kaya't tinukoy bilang AI Index 2022.

Gaya ng opisyal na sinabi: "Ang taunang ulat ay sumusubaybay, nagko-collate, nag-distill, at nag-visualize ng data na may kaugnayan sa artificial intelligence, na nagbibigay-daan sa mga gumagawa ng desisyon na gumawa ng makabuluhang aksyon upang isulong ang AI nang responsable at etikal na nasa isip ng mga tao. Sinusukat at sinusuri ng ulat ng 2022 AI Index ang mabilis na rate ng pagsulong ng AI mula sa pananaliksik at pag-unlad hanggang sa teknikal na pagganap at etika, ekonomiya at edukasyon, patakaran at pamamahala ng AI, at higit pa. Kasama sa pinakahuling edisyon ang data mula sa malawak na hanay ng mga organisasyong pang-akademiko, pribado, at non-profit pati na rin ang mas maraming nakolektang data at orihinal na pagsusuri kaysa sa anumang nakaraang mga edisyon” (ayon sa website ng HAI; tandaan na ang AI Index 2022 ay available bilang isang mada-download na libreng PDF sa ang link dito).

Ang mga nakalistang nangungunang takeaway ay binubuo ng:

• Ang pribadong pamumuhunan sa AI ay tumaas habang ang konsentrasyon ng pamumuhunan ay tumindi
• Pinamunuan ng US at China ang cross-country collaborations sa AI
• Ang mga modelo ng wika ay mas may kakayahan kaysa dati, ngunit mas bias din
• Ang pagtaas ng etika ng AI sa lahat ng dako
• Ang AI ay nagiging mas abot-kaya at mas mahusay na gumaganap
• Data, datos, datos
• Higit pang pandaigdigang batas sa AI kaysa dati
• Ang mga robotic arm ay nagiging mas mura

Mayroong humigit-kumulang 230 na pahina ng jampacked na impormasyon at mga insight sa AI Index 2022 na sumasaklaw sa katayuan ng AI ngayon at kung saan ito maaaring patungo. Ang mga kilalang media ng balita at iba pang mga mapagkukunan ay madalas na sumipi sa mga ibinigay na istatistika o iba pang mga kapansin-pansing katotohanan at numero na nilalaman sa taunang AI Index ng HAI ng Stanford.

• Pamagat ng Session: "Mga Pagkakataon para sa Pag-align sa Mga Malaking Modelo ng Wika"

Pagtatanghal ni Dr. Jan Leike, Pinuno ng Alignment, OpenAI

Narito ang aking maikling pagbabalik-tanaw at mga dating iniisip tungkol sa pag-uusap na ito.

Ang Large Language Models (LLM) tulad ng GPT-3 ay lumitaw bilang mahalagang mga tagapagpahiwatig ng pag-unlad sa AI, ngunit sila rin ay nag-udyok ng debate at kung minsan ay nagpainit ng kontrobersya sa kung hanggang saan ang kanilang mararating at kung maaari tayong mapanlinlang o maling naniniwala na magagawa nila. higit pa sa kanilang makakaya. Tingnan ang aking patuloy at malawak na saklaw sa mga naturang usapin at partikular sa konteksto ng AI Ethics sa ang link dito at ang link dito, Lamang upang pangalanan ang ilang.

Sa pang-unawang pahayag na ito, may tatlong pangunahing puntong tinalakay:

• Ang mga LLM ay may malinaw na mga problema sa pagkakahanay
• Makakatulong ang mga LLM sa pangangasiwa ng tao
• Maaaring mapabilis ng mga LLM ang pagsasaliksik sa pagkakahanay

Bilang isang madaling gamiting halimbawa ng isang madaling maliwanag na problema sa pagkakahanay, isaalang-alang ang pagbibigay sa GPT-3 ng gawain ng pagsulat ng isang recipe na gumagamit ng mga sangkap na binubuo ng mga avocado, sibuyas, at kalamansi. Kung ibinigay mo ang parehong gawain sa isang tao, malamang na makakakuha ka ng isang makatwirang makatwirang sagot, sa pag-aakala na ang tao ay may mabuting pag-iisip at handang gawin ang gawain nang seryoso.

Alinsunod sa presentasyong ito tungkol sa mga limitasyon ng LLM, ang hanay ng mga tugon na ipinakita sa pamamagitan ng paggamit ng GPT-3 ay nag-iiba-iba batay sa mga maliliit na variant kung paano itinanong ang tanong. Sa isang tugon, tila iniiwasan ng GPT-3 ang tanong sa pamamagitan ng pagsasabi na may available na recipe ngunit maaaring hindi ito maganda. Ang isa pang tugon ng GPT-3 ay nagbigay ng ilang quasi-babble gaya ng "Easy bibimbap of spring chrysanthemum greens." Sa pamamagitan ng InstructGPT isang tugon ay tila halos nasa target, na nagbibigay ng isang listahan ng mga tagubilin tulad ng "Sa isang medium na mangkok, pagsamahin ang diced avocado, pulang sibuyas, at katas ng kalamansi" at pagkatapos ay nagpatuloy na magrekomenda ng mga karagdagang hakbang sa pagluluto na isasagawa.

Ang pinakabuod dito ay ang mga pagsasaalang-alang sa pagkakahanay.

Paano naaayon o nabigo ang LLM sa nakasaad na kahilingan ng isang taong gumagawa ng isang pagtatanong?

Kung seryosong naghahanap ng makatwirang sagot ang tao, dapat subukan ng LLM na magbigay ng makatwirang sagot. Napagtanto na ang isang tao na sumasagot sa tanong ng recipe ay maaari ring bumubulalas ng daldal, kahit na maaari naming asahan na ipaalam sa amin ng tao na hindi niya talaga alam ang sagot at nagkukumahog lamang na tumugon. Kami ay natural na maaaring umasa o umaasa na ang isang LLM ay gagawin din, ibig sabihin, alertuhan kami na ang sagot ay hindi sigurado o isang mishmash o ganap na haka-haka.

Gaya ng itinuro ko nang maraming beses sa aking kolum, ang isang LLM ay nararapat na "alam ang mga limitasyon nito" (panghihiram ng sikat o kasumpa-sumpa na catchphrase).

Ang pagsisikap na itulak ang mga LLM pasulong tungo sa mas mahusay na pagkakahanay ng tao ay hindi magiging madali. Ang mga developer ng AI at mga mananaliksik ng AI ay nagsusunog ng langis sa gabi upang gumawa ng progreso sa tiyak na mahirap na problemang ito. Ayon sa usapan, isang mahalagang realisasyon ay ang mga LLM ay maaaring gamitin upang mapabilis ang AI at human alignment aspiration. Magagamit natin ang mga LLM bilang tool para sa mga pagsisikap na ito. Ang pananaliksik ay nagbalangkas ng isang iminungkahing diskarte na binubuo ng mga pangunahing hakbang na ito: (1) Pagperpekto sa RL o Reinforcement Learning mula sa feedback ng tao, (2) AI-assisted human feedback, at (3) Automating alignment research.

• Pamagat ng Session: "Mga Hamon sa kaligtasan ng AI: Isang Pananaw mula sa isang Autonomous Driving Company"

Pagtatanghal ni James "Jerry" Lopez, Autonomy Safety and Safety Research Leader, Motional

Narito ang aking maikling pagbabalik-tanaw at mga dating iniisip tungkol sa pag-uusap na ito.

Dahil alam na alam ng mga masugid na tagasunod ng aking saklaw tungkol sa mga autonomous na sasakyan at self-driving na sasakyan, ako ay isang maingay na tagapagtaguyod para sa paglalapat ng mga alituntunin at pamamaraan sa kaligtasan ng AI sa disenyo, pag-develop, at pag-deploy ng mga sasakyang hinimok ng AI. Tingnan ang halimbawa ang link dito at ang link dito ng aking matibay na pangaral at pagsusuri.

Dapat nating panatilihin ang kaligtasan ng AI sa pinakamataas na priyoridad at pinakamataas sa isip.

Ang pag-uusap na ito ay sumasaklaw sa isang malawak na hanay ng mahahalagang punto tungkol sa kaligtasan ng AI, lalo na sa isang self-driving na konteksto ng kotse (ang kumpanya, Motional, ay kilala sa industriya at binubuo ng isang joint venture sa pagitan ng Hyundai Motor Group at Aptiv, kung saan ang Ang pangalan ng firm ay sinasabing isang mashup ng mga salitang "motion" at "emosyonal" na nagsisilbing pinaghalong nagsasama-sama ng automotive na paggalaw at pagpapahalaga sa paggalang ng tao).

Binanggit sa pagtatanghal ang ilang pangunahing paghihirap sa AI ngayon sa pangkalahatan at gayundin partikular sa mga self-driving na kotse, tulad ng:

• Ang AI ay malutong
• Ang AI ay malabo
• Ang AI ay maaaring malito sa pamamagitan ng isang mahirap na lugar ng estado

Ang isa pang pagsasaalang-alang ay ang pagsasama ng kawalan ng katiyakan at probabilistikong mga kondisyon. Ang iginiit na "apat na mangangabayo" ng kawalan ng katiyakan ay inilarawan: (1) Kawalang-katiyakan sa pag-uuri, (2) Kawalang-katiyakan sa pagsubaybay, (3) Kawalang-katiyakan sa pagkakaroon, at (4) Kawalang-katiyakan ng maraming-modal.

Ang isa sa mga pinakanakakatakot na hamon sa kaligtasan ng AI para sa mga autonomous na sasakyan ay binubuo ng pagsubok na gumawa ng mga MRM (Minimal Risk Maneuvers). Ang mga driver ng tao ay humaharap dito sa lahat ng oras habang nasa likod ng gulong ng isang gumagalaw na kotse. Nandiyan ka, nagmamaneho, at bigla na lang lumitaw ang isang emergency sa kalsada o iba pang potensyal na kalamidad. Paano ka tumugon? Inaasahan naming mananatiling kalmado ang mga tao, mag-isip nang may pag-iisip tungkol sa problemang kinakaharap, at gumawa ng isang matalinong pagpili kung paano pangasiwaan ang sasakyan at maaaring maiwasan ang isang napipintong pagbangga ng sasakyan o subukang bawasan ang masamang resulta.

Ang pagkuha ng AI na gawin ang pareho ay mahirap gawin.

Kailangang matukoy muna ng isang AI driving system na may namumuong mapanganib na sitwasyon. Maaari itong maging isang hamon sa sarili nito. Sa sandaling natuklasan ang sitwasyon, ang iba't ibang mga maniobra ng "paglutas" ay dapat kalkulahin. Sa mga iyon, kailangang gumawa ng computational na pagpapasiya tungkol sa "pinakamahusay" na seleksyon na ipapatupad sa kasalukuyang panahon. Ang lahat ng ito ay puno ng mga kawalan ng katiyakan, kasama ang mga potensyal na hindi alam na malubha kung aling aksyon ang dapat gawin.

Ang kaligtasan ng AI sa ilang konteksto ay maaaring medyo simple at pangkaraniwan, habang sa kaso ng mga self-driving na sasakyan at mga autonomous na sasakyan, mayroong tiyak na buhay-o-kamatayan ang pinakamahalagang sigla para sa pagtiyak na ang kaligtasan ng AI ay ganap na nahahati sa mga sistema ng pagmamaneho ng AI.

• Pamagat ng Session: "Mga Pagsasaalang-alang sa Kaligtasan at Mas Malawak na Implikasyon para sa Mga Paggamit ng Pamahalaan ng AI"

Pagtatanghal ni Peter Henderson, JD/Ph.D. Kandidato sa Stanford University

Narito ang aking maikling pagbabalik-tanaw at mga dating iniisip tungkol sa pag-uusap na ito.

Ang mga mambabasa ng aking mga column ay pamilyar sa aking patuloy na sigaw na ang AI at ang batas ay mahalagang kasosyo sa sayaw. Tulad ng paulit-ulit kong nabanggit, mayroong dalawang panig na barya na nag-uugnay sa AI at sa batas. Maaaring ilapat ang AI sa batas, ang paggawa nito sana ay para sa kapakanan ng lipunan ang lahat ay sinabi. Samantala, sa kabilang panig ng barya, ang batas ay lalong inilalapat sa AI, tulad ng iminungkahing EU AI Act (AIA) at ang draft ng USA Algorithmic Accountability Act (AAA). Para sa aking malawak na saklaw ng AI at batas, tingnan ang link dito at ang link dito, Halimbawa.

Sa pag-uusap na ito, isinasagawa ang isang katulad na dual-focus, partikular na may kinalaman sa kaligtasan ng AI.

Nakikita mo, dapat tayong maging matalinong isasaalang-alang kung paano natin maipapatupad ang mga alituntunin at kakayahan sa kaligtasan ng AI sa paggamit ng pamahalaan ng mga aplikasyon ng AI. Ang pagpayag sa mga pamahalaan na kusang-loob na magpatibay ng AI at pagkatapos ay magtiwala o ipagpalagay na ito ay gagawin sa isang ligtas at makatwirang paraan ay hindi isang napakapusong pagpapalagay (tingnan ang aking saklaw sa ang link dito). Sa katunayan, maaari itong maging isang nakapipinsalang palagay. Kasabay nito, dapat nating hikayatin ang mga mambabatas na maisagawa ang mga batas tungkol sa AI na magsasama at magsisiguro ng ilang makatwirang pagkakatulad ng kaligtasan ng AI, na ginagawa ito bilang isang matigas na inaasahan ayon sa batas para sa mga gumagawa at nagde-deploy ng AI.

Kasama sa dalawang postulated rules of thumb na ginalugad sa presentasyon ang:

• Ito ay hindi sapat para sa mga tao na maging sa loop lamang, sila ay may sa aktwal na magagawang upang igiit ang kanilang paghuhusga. At kapag hindi nila ginawa, kailangan mo ng fallback system na mahusay.
• Ang transparency at pagiging bukas ay susi sa paglaban sa katiwalian at pagtiyak ng kaligtasan. Ngunit kailangan mong maghanap ng mga paraan upang balansehin iyon laban sa mga interes sa privacy sa isang lubos na kontekstwal na paraan.

Bilang isang pangwakas na komento na sulit na bigyang-diin nang paulit-ulit, sinabi ng usapan na kailangan nating tanggapin nang husto ang parehong teknikal at isang regulasyong pag-iisip ng batas upang maging maayos ang AI Safety.

• Pamagat ng Session: “Research Update mula sa Stanford Intelligent Systems Laboratory”

Pagtatanghal ni Dr. Mykel Kochenderfer, Associate Professor ng Aeronautics at Astronautics sa Stanford University at Direktor ng Stanford Intelligent Systems Laboratory (SISL)

Narito ang aking maikling pagbabalik-tanaw at mga dating iniisip tungkol sa pag-uusap na ito.

Itinampok ng pahayag na ito ang ilan sa pinakabagong pananaliksik na isinasagawa ng Stanford Intelligent Systems Laboratory (SISL), isang groundbreaking at pambihirang makabagong pangkat ng pananaliksik na nangunguna sa pagtuklas ng mga advanced na algorithm at analytical na pamamaraan para sa disenyo ng matatag na mga sistema ng paggawa ng desisyon. Maaari kong lubos na inirerekumenda na isaalang-alang mo ang pagdalo sa kanilang mga seminar at basahin ang kanilang mga papel sa pananaliksik, isang mahusay na kapaki-pakinabang na nakapagtuturo at nakakaengganyo na paraan upang magkaroon ng kamalayan sa makabagong mga sistema ng matalinong (masugid kong ginagawa ito).

paggamit ang link na ito dito para sa opisyal na impormasyon tungkol sa SISL.

Ang mga partikular na lugar ng interes sa SISL ay binubuo ng mga matatalinong sistema para sa mga kaharian gaya ng Air Traffic Control (ATC), uncrewed aircraft, at iba pang aerospace application kung saan ang mga pagpapasya ay dapat gawin sa masalimuot at hindi tiyak, dynamic na mga kapaligiran, habang naghahangad na mapanatili ang sapat na kaligtasan at mabisa kahusayan. Sa madaling sabi, ang matatag na pamamaraan ng pagkalkula para sa pagkuha ng pinakamainam na mga diskarte sa pagpapasya mula sa mataas na dimensyon, probabilistikong mga representasyon ng problema ay nasa ubod ng kanilang mga pagsusumikap.

Sa pagbubukas ng pagtatanghal, tatlong pangunahing kanais-nais na katangian na nauugnay sa mga kritikal na kaligtasan na mga autonomous system ay inilarawan:

• Tumpak na Pagmomodelo – sumasaklaw sa mga makatotohanang hula, pagmomodelo ng pag-uugali ng tao, pag-generalize sa mga bagong gawain at kapaligiran
• Pagtatasa sa Sarili – nabibigyang-kahulugan na kamalayan sa sitwasyon, mga disenyong may kamalayan sa panganib
• Pagpapatunay at Pagpapatunay - kahusayan, katumpakan

Sa kategorya ng Tumpak na Pagmomodelo, ang mga pagsisikap sa pananaliksik na ito ay maikling binalangkas (nakalista dito sa pamagat ng mga pagsisikap):

• LOPR: Hula ng Latent Occupancy gamit ang Generative Models
• Walang katiyakan-aware na Online Merge Planning sa Natutunang Gawi ng Driver
• Autonomous Navigation na may Human Internal State Inference at Spatio-Temporal Modeling
• Filter ng Karanasan: Paglilipat ng Mga Nakaraang Karanasan sa Mga Hindi Nakikitang Gawain o Kapaligiran

Sa kategorya ng Self-Assessment, ang mga pagsisikap sa pananaliksik na ito ay maikling binalangkas (nakalista dito sa pamagat ng mga pagsisikap):

• Nabibigyang-kahulugan ang Self-Aware Neural Networks para sa Matatag na Trajectory Prediction
• Pagpapaliwanag ng Kahalagahan ng Bagay sa Mga Eksena sa Pagmamaneho
• Disenyo ng Mga Sistemang Pang-unawa na Batay sa Panganib

Sa kategorya ng Pagpapatunay at Pagpapatunay, ang mga pagsisikap sa pananaliksik na ito ay maikling binalangkas (nakalista dito ayon sa pamagat ng mga pagsisikap):

• Mahusay na Autonomous Vehicle Risk Assessment at Validation
• Model-Based Validation bilang Probabilistic Inference
• Pag-verify ng Inverse Model Neural Networks

Bilang karagdagan, isang maikling pagtingin sa mga nilalaman ng kahanga-hangang libro Algorithm Para sa Paggawa ng Desisyon ni Mykel Kochenderfer, Tim Wheeler, at Kyle Wray ay ginalugad (para sa higit pang impormasyon tungkol sa libro at isang libreng electronic na PDF download, tingnan ang link dito).

Ang mga proyekto sa hinaharap na pananaliksik na isinasagawa man o inaakala ay kinabibilangan ng mga pagsisikap sa explainability o XAI (explainable AI), out-of-distribution (OOD) analysis, higit pang hybridization ng sampling-based at pormal na pamamaraan para sa validation, malakihang pagpaplano, AI at lipunan, at iba pang mga proyekto kabilang ang pakikipagtulungan sa iba pang mga unibersidad at mga kasosyo sa industriya.

• Pamagat ng Session: "Pag-aaral mula sa Mga Pakikipag-ugnayan para sa Mga Tulong na Robotics"

Pagtatanghal ni Dr. Dorsa Sadigh, Assistant Professor ng Computer Science at ng Electrical Engineering sa Stanford University

Narito ang aking maikling recap at mga dating saloobin tungkol sa pananaliksik na ito.

Magsimula tayo sa isang madaling gamitin na senaryo tungkol sa mga paghihirap na maaaring lumitaw kapag nagde-device at gumagamit ng AI.

Isaalang-alang ang gawain ng pagsasalansan ng mga tasa. Ang nakakalito na bahagi ay hindi mo itinatambak ang mga tasa nang mag-isa. Isang robot ang gagana sa iyo sa gawaing ito. Ikaw at ang robot ay dapat na magtulungan bilang isang koponan.

Kung ang AI na pinagbabatayan ng robot ay hindi mahusay na ginawa, malamang na makatagpo ka ng lahat ng uri ng mga problema sa kung ano ang tila napakadaling gawain. Ilalagay mo ang isang tasa sa ibabaw ng isa pa at pagkatapos ay bigyan ang robot ng pagkakataong maglagay ng isa pang tasa sa ibabaw ng dalawang tasang iyon. Ang AI ay pumipili ng magagamit na tasa at maingat na sinusubukang ilagay ito sa ibabaw ng dalawa pa. Nakalulungkot, ang napiling tasa ay masyadong mabigat (masamang pagpipilian) at nagiging sanhi ng pagbagsak ng buong stack sa sahig.

Isipin ang iyong pagkabalisa.

Ang robot ay hindi masyadong nakakatulong.

Maaaring matukso kang pagbawalan ang robot na magpatuloy sa pagsasalansan ng mga tasa sa iyo. Ngunit, ipagpalagay na sa huli ay kailangan mong gamitin ang robot. Ang tanong ay lumitaw kung ang AI ay magagawang malaman ang proseso ng pag-stack ng tasa, na ginagawa ito nang bahagya sa pamamagitan ng pagsubok at pagkakamali ngunit bilang isang paraan din ng pag-unawa kung ano ang iyong ginagawa kapag nakasalansan ang mga tasa. Ang AI ay maaaring potensyal na "matuto" mula sa paraan kung saan isinasagawa ang gawain at kung paano ginagawa ng tao ang gawain. Higit pa rito, posibleng matiyak ng AI na may mga pangkalahatang paraan ng pagsasalansan ng mga tasa, kung saan ikaw ang tao dito ay pumili ng isang partikular na paraan para gawin ito. Sa kasong iyon, ang AI ay maaaring maghangad na iangkop ang mga pagsusumikap sa pag-stack ng tasa sa iyong partikular na mga kagustuhan at istilo (hindi ba lahat tayo ay may sariling mga predilections sa pag-stack ng tasa).

Maaari mong sabihin na ito ay isang gawain na kinasasangkutan ng isang pantulong na robot.

Nagaganap ang mga pakikipag-ugnayan sa pagitan ng tao at ng pantulong na robot. Ang layunin dito ay upang makabuo ng AI upang ito ay mahalagang matuto mula sa gawain, matuto mula sa tao, at matutunan kung paano gawin ang gawain sa isang maayos na paraan ng tulong. Tulad ng gusto naming tiyakin na ang tao ay nagtrabaho kasama ang robot, hindi namin nais na ang robot ay kahit papaano ay makarating sa isang computational posture na simpleng iiwas sa tao at gagawin ang cup stacking sa sarili nitong. Dapat silang magtulungan.

Ang pagsasaliksik na nagaganap ay kilala bilang ILIAD initiative at may ganitong pangkalahatang nakasaad na misyon: "Ang aming misyon ay bumuo ng mga teoretikal na pundasyon para sa pakikipag-ugnayan ng tao-robot at tao-AI. Nakatuon ang aming grupo sa: 1) Pag-formalize ng pakikipag-ugnayan at pagbuo ng mga bagong algorithm sa pag-aaral at pagkontrol para sa mga interactive na system na inspirasyon ng mga tool at diskarte mula sa teorya ng laro, cognitive science, optimization, at pag-aaral ng representasyon, at 2) Pagbuo ng mga praktikal na robotics algorithm na nagbibigay-daan sa mga robot na ligtas. at walang putol na pakikipag-ugnayan, pakikipagtulungan, pakikipagkumpitensya, o pag-impluwensya sa mga tao (ayon sa website ng Stanford ILIAD sa ang link dito).

Ang ilan sa mga pangunahing tanong na hinahabol bilang bahagi ng pagtuon sa pag-aaral mula sa mga pakikipag-ugnayan (may iba pang mga lugar na pinagtutuunan din ng pansin) ay kinabibilangan ng:

• Paano tayo aktibo at mahusay na makakakolekta ng data sa isang mababang setting ng rehimen ng data tulad ng sa interactive na robotics?
• Paano tayo makakagamit ng iba't ibang mapagkukunan at modalidad —- perpekto at hindi perpektong mga demonstrasyon, paghahambing at mga query sa pagraranggo, pisikal na feedback, mga tagubilin sa wika, mga video —- upang matuto ng isang epektibong modelo ng tao o patakaran ng robot?
• Anong mga inductive bias at priors ang makakatulong sa epektibong pag-aaral mula sa data ng tao/interaksyon?

Konklusyon

Nadala ka na ngayon sa kaunting paglalakbay patungo sa larangan ng kaligtasan ng AI.

Ang lahat ng mga stakeholder kabilang ang mga developer ng AI, mga pinuno ng negosyo at pamahalaan, mga mananaliksik, mga etika, mga mambabatas, at iba pa ay may demonstrative stake sa direksyon at pagtanggap sa kaligtasan ng AI. Ang mas maraming AI na nahuhulog sa lipunan, lalo tayong nagkakaroon ng mas mataas na mga panganib dahil sa umiiral na kawalan ng kamalayan tungkol sa kaligtasan ng AI at ang mga pambihirang paraan at kung minsan ay pabalik-balik na mga paraan kung saan ang kaligtasan ng AI ay ginagawa sa kontemporaryong laganap na AI.

Isang salawikain na ang ilan ay bakas sa nobelistang si Samuel Lover sa isa sa kanyang mga aklat na inilathala noong 1837, at na magpakailanman ay naging isang indelible presence kahit ngayon, ay nagsisilbing isang angkop na huling komento sa ngayon.

Ano ang sikat na linyang iyon?

Mas mahusay na maging ligtas kaysa humihingi ng paumanhin.

Sapat na ang sinabi, sa ngayon.