Ang dalubhasa sa seguridad na si Bar Lanyado ay nagsagawa ng ilang pananaliksik kamakailan tungkol sa kung paano hindi sinasadyang nag-aambag ang mga generative na modelo ng AI sa malalaking potensyal na banta sa seguridad sa mundo ng pagbuo ng software. Ang nasabing pananaliksik ni Lanyado ay nakahanap ng isang nakababahala na kalakaran: Ang AI ay nagmumungkahi ng mga pakete ng haka-haka na software, at ang mga developer, nang hindi man lang nalalaman, ay isama ito sa kanilang mga codebase.
Inihayag ang Isyu
Ngayon, ang problema ay ang nabuong solusyon ay isang kathang-isip na pangalan—isang bagay na tipikal ng AI. Gayunpaman, ang mga gawa-gawang pangalan ng package na ito ay kumpiyansa na iminumungkahi sa mga developer na nahihirapang mag-program gamit ang mga modelong AI. Sa katunayan, ang ilang naimbentong pangalan ng package ay bahagyang nakabatay sa mga tao—tulad ng Lanyado—at ang ilan ay nagpatuloy at ginawang tunay na mga pakete. Ito naman ay humantong sa hindi sinasadyang pagsasama ng potensyal na nakakahamak na code sa loob ng tunay at lehitimong mga proyekto ng software.
Isa sa mga negosyong nahulog sa epektong ito ay ang Alibaba, isa sa mga pangunahing manlalaro sa industriya ng tech. Sa loob ng kanilang mga tagubilin sa pag-install para sa GraphTranslator, nalaman ni Lanyado na ang Alibaba ay may kasamang package na tinatawag na "huggingface-cli" na peke. Sa katunayan, mayroong isang tunay na pakete na may parehong pangalan na naka-host sa Python Package Index (PyPI), ngunit tinukoy ng gabay ng Alibaba ang isa na ginawa ni Lanyado.
Pagsubok sa pagtitiyaga
Ang pananaliksik ni Lanyado ay naglalayong suriin ang kahabaan ng buhay at potensyal na pagsasamantala ng mga pangalan ng package na binuo ng AI na ito. Sa ganitong kahulugan, nagsagawa ang LQuery ng mga natatanging modelo ng AI tungkol sa mga hamon sa programming at sa pagitan ng mga wika sa proseso ng pag-unawa kung, sa epektibong paraan, sa isang sistematikong paraan, ang mga gawa-gawang pangalang iyon ay inirerekomenda. Malinaw sa eksperimentong ito na may panganib na maaaring abusuhin ng mga mapaminsalang entity ang mga pangalan ng package na binuo ng AI para sa pamamahagi ng malisyosong software.
Ang mga resultang ito ay may malalim na implikasyon. Maaaring samantalahin ng masasamang aktor ang bulag na tiwala na inilagay ng mga developer sa mga natanggap na rekomendasyon sa paraang maaari silang magsimulang mag-publish ng mga mapaminsalang pakete sa ilalim ng maling pagkakakilanlan. Sa mga modelo ng AI, tumataas ang panganib sa mga pare-parehong rekomendasyon ng AI na ginagawa para sa mga naimbentong pangalan ng package, na isasama bilang malware ng mga hindi alam na developer. **Ang Daan Pasulong**
Samakatuwid, habang ang AI ay higit na isinama sa pagbuo ng software, ang pangangailangang ayusin ang mga kahinaan ay maaaring lumitaw kung konektado sa mga rekomendasyong binuo ng AI. Sa ganitong mga kaso, dapat isagawa ang angkop na pagsusumikap upang ang mga pakete ng software na iminungkahi para sa pagsasama ay lehitimo. Higit pa rito, ito ay dapat na nasa lugar para sa platform na nagho-host ng repositoryo ng software upang ma-verify at maging sapat na malakas na walang code ng masamang kalidad ang dapat ipamahagi.
Ang intersection ng artificial intelligence at software development ay nag-unveil ng tungkol sa banta sa seguridad. Gayundin, ang modelo ng AI ay maaaring humantong sa hindi sinasadyang rekomendasyon ng mga pekeng software package, na nagdudulot ng malaking panganib sa integridad ng mga proyekto ng software. Ang katotohanan na sa kanyang mga tagubilin, isinama ni Alibaba ang isang kahon na hindi kailanman dapat naroroon ay isang patunay kung paano aktwal na maaaring mangyari ang mga posibilidad kapag sinusunod ng mga tao ang mga rekomendasyon.
ibinigay ng AI. Sa hinaharap, ang pagbabantay ay kailangang gawin sa mga aktibong hakbang upang ang maling paggamit ng AI para sa pagbuo ng software ay mabantayan laban.
Pinagmulan: https://www.cryptopolitan.com/ai-generated-software-packages-threats/