Di GTC Taipei dan Computex hari ini, NVIDIA Corp. mendedahkan beberapa kemahiran dan alatan AI fizikal-sumber terbuka untuk membantu pembangun robotik, kenderaan autonomi, AI visual dan kembar digital industri. Syarikat itu mendakwa bahawa mereka boleh membantu mengurangkan kos, masa dan kerumitan membina aliran kerja AI fizikal pada skala.
Tersedia sebagai sebahagian daripadaKit Alat Ejen NVIDIA, kemahiran baharu itu akan membolehkan ejen AI mempercepatkan penjanaan data, simulasi, latihan, penilaian dan saluran paip penggunaan di sebalik robot, kenderaan autonomi (AV), kilang dan makmal, kata syarikat itu.
"Ejen AI merevolusikan pembangunan perisian, dan peralihan itu kini datang kepada AI fizikal, meluas ke dalam sistem yang akan mengubah pengangkutan, pembuatan, penjagaan kesihatan dan robotik," kata Jensen Huang, pengasas dan Ketua Pegawai Eksekutif NVIDIA, di GTC Taipei. "Apabila ejen boleh secara langsung menggunakan perpustakaan, model dan rangka kerja NVIDIA, pembangunan AI fizikal akan bergerak lebih pantas, membolehkan pembangun membina robot, kenderaan autonomi dan sistem perindustrian masa depan pada kadar yang luar biasa."
"AI fizikal memerlukan sejumlah besar data latihan dalam persekitaran yang pelbagai," kata Rev Lebaredian, naib presiden untuk simulasi AI fizikal di NVIDIA. "Data teleoperasi, simulasi dan Internet-menuju kepada model asas dunia untuk kepelbagaian kes penggunaan yang tidak terhingga."
NVIDIA menjadikan ejen tindanan AI fizikal-bersedia
NVIDIA berkata ia sedang mengoptimumkan keseluruhan tindanan AI fizikalnya untuk ejen dengan menukar perpustakaan, model dan rangka kerja menjadi alat-ejen yang boleh dipanggil. Ini termasuk:
NVIDIA Cosmos3 model asas dunia untuk penaakulan dan penjanaan dunia fizikal
NVIDIA Omniverseperpustakaan untuk simulasi dan kembar digital
NVIDIA Isaacuntuk simulasi robotik dan pembelajaran robot
NVIDIA Metropolisuntuk AI penglihatan
NVIDIA Alpamayountukpemanduan autonomi
NVIDIA Jetsonplatform untuk pembangunan AI tepi
"Cosmos 3 ialah model asas sempadan untuk AI fizikal," kata Lebaredian. "Ia memahami video dan teks serta boleh membenderakan perkara yang penting. Cosmos ialah simulasi yang tepat secara fizikal dan mampu meramalkan perkara yang berlaku seterusnya dan menjana tindakan."
Untuk membantu menggunakan alatan ini, NVIDIA sedang melancarkankemahiran baruuntuk menukar proses pembangunan AI fizikal kepada arahan berulang yang boleh diikuti oleh ejen pengekodan. Ini termasuk alatan yang hendak dipanggil, output yang perlu dihasilkan dan cara pembangun boleh mengesahkan hasil.
Pembangun juga boleh membina dan menggunakan ejen autonomi dengan selamat menggunakan kemahiran ini denganNVIDIA NemoClawpelan tindakan danNVIDIA OpenShellmasa jalan, yang menyediakan-dasar keselamatan dan tadbir urus privasi pada perkakasan tempatan atau awan. Ejen-ejen akan berjalan di pinggir di Jetson dan telah menunjukkan peningkatan dalam masa operasi, kata Lebaredian.
NVIDIA berkata kemahiran dan alatan AI fizikalnya mempercepatkan pembangunan agen merentasi:
Robotik dan AI tepi:Pembangun robot boleh menggunakan kemahiran untuk mempercepatkan keseluruhan saluran pembangunan robotik, daripada menjana persepsi dan data latihan mobiliti kepada simulasi, mengautomasikan latihan navigasi, memajukan pembelajaran robot dan menala sistem tepi berasaskan Jetson-untuk penggunaan.
Kenderaan autonomi:Untuk pembangun AV, kemahiran boleh mengarahkan ejen untuk membina semula data yang ditangkap oleh armada ke dalam persekitaran simulasi, menjana senario pemanduan fotorealistik pada skala dan menjalankan-pembelajaran pengukuhan gelung tertutup untuk mengembangkan liputan latihan dan penilaian.
Ejen AI penglihatan masa nyata-:Untuk pemeriksaan automatik dan perisikan video, NVIDIA berkata kemahiran ejennya boleh membantu pasukan menjana data latihan sintetik, -memperhalusi model, mengautomasikan pelabelan dan membina ejen AI video yang mencari, meringkaskan dan menganalisis video secara langsung atau rakaman.
AI Perindustrian:Pembangun perisian industri boleh menggunakan kemahiran ini untuk menukar data kejuruteraan kepada aset-reka bentuk bantuan (CAD) komputer untuk simulasi berkembar digital, mengoptimumkan adegan OpenUSD yang besar dengan kurang persediaan manual.
Penjagaan kesihatan:Sebelum menggunakan automasi dalam persekitaran klinikal, pasukan penjagaan kesihatan boleh membimbing ejen melalui penciptaan kembar digital persekitaran hospital, sim-kepada-penjanaan data sebenar dan perisian-dalam--ujian dasar gelung.
Kemahiran itu boleh digabungkan dan disepadukan ke dalam sistem agen yang lebih besar, menurut NVIDIA. Ini membolehkan pembangun mengatur dan mengautomasikan aliran kerja yang kompleks seperti penjanaan data, simulasi, pengoptimuman, penalaan inferens, penilaian berterusan dan banyak lagi.
Pembangun robotik mengambil timbunan AI fizikal
1X Technologies, Agile Robots, Agility, FieldAI, Hexagon Robotics, NEURA Robotics, Skild AI dan Universal Robots adalah antara syarikat robotik yang sudah menggunakan ejen NVIDIA-tindanan AI fizikal sedia.
"Dengan kemas kini tindanan dalam NVIDIA Isaac GR00T, aliran kerja hujung-ke-baru boleh disediakan dalam beberapa jam berbanding minggu," kata Lebaredian. "'Omni-modal' bermaksud ia berfungsi dengan mod - video, penderia, teks dan bunyi yang berbeza untuk input dan output tindakan."
Selain itu, Foxconn dan Compal menggunakan NVIDIA Isaac for Healthcare untuk mempercepatkan robotik hospital. Compal sedang memajukan proses pembangunan robot PolyMedXnya ke arah-platform orkestrasi luas hospital, menyepadukan simulasi, AI dan-operasi dunia sebenar.
Foxconn menskalakan Nurabot merentasi beberapa hospital dan-persekitaran penjagaan jangka panjang, membawa robotik dikuasakan AI-kepada penjagaan pesakit, serta memperkenalkan Robot Kerjasama Jururawat Scrub baharunya untuk membantu mengoptimumkan aliran kerja bilik operasi.
Pemimpin industri membina dengan teknologi NVIDIA
Rakan kongsi NVIDIA dan pelanggan merentasi perisian pembuatan, pengangkutan, penjagaan kesihatan dan industri menggunakan perpustakaan AI fizikalnya untuk memajukan pembangunan sistem autonomi dan AI industri.
Apabila perpustakaan ini menjadi ejen-sedia, pembangun boleh menggunakan kemahiran NVIDIA untuk membantu ejen mengautomasikan persediaan, pelaksanaan dan lelaran merentas aliran kerja AI fizikal yang kompleks.
Dalam pembuatan elektronik, TSMC dan Pegatron memperhalusi-model pemeriksaan visual. Pegatron dilaporkan mengurangkan latihan model dan masa penggunaan sebanyak 67% menggunakan data sintetik yang dijana daripada kemahiran Penjanaan Imej Kecacatan.
Delta Electronics menjana data kecacatan sintetik dan menggunakan kemahiran untuk menangkap lebihan pematerian pada bar bas logam, meningkatkan kadar pengesanan sebanyak 17%. Inventec membangunkan saluran paip pemeriksaan visual Agen Pemerhatiannya dengan menyepadukan kemahiran Penjanaan Imej Cacat, mengurangkan usaha pengumpulan data kecacatan untuk pembuatan casis komputer riba sebanyak 30%.
Foxconn, bekerja dengan DeepHow, menggunakan kemahiran itu untuk meningkatkan kecekapan pembuatan dengan menangkap ralat awal, meningkatkan hasil hantaran pertama sebanyak kira-kira 3%.
Dalam AI industri, Cadence, Dassault Systèmes, Siemens dan Synopsys menggunakan perpustakaan dan kemahiran NVIDIA Omniverse untuk pemeriksaan data kejuruteraan, simulasi dan kembar digital interaktif. PTC, MetAI dan Lightwheel sedang mengetik rangka kerja NVIDIA Isaac Sim dan aliran kerja berasaskan OpenUSD-untuk mengubah data CAD kepada simulasi-aset dan persekitaran sedia.
Sebagai sebahagian daripada pelan hala tuju "Autonomous Fab 2030", SK hynix sedang melaksanakan kembar digital fab semikonduktor menggunakan NVIDIA Omniverse. Pembuat cip juga bekerjasama dengan NVIDIA dan SK Telecom untuk mengesahkan NVIDIA Agent Toolkit untuk pembuatan-AI fizikal khusus.
Pembangun-sendiri, Li Auto, Afari dan DeepRoute.ai menggunakan model NVIDIA Omniverse NuRec untuk pembinaan semula adegan saraf dan pemaparan. Mereka telah menghasilkan lebih daripada 1,000 pembinaan semula dan lebih daripada 300,000 paparan dan simulasi setiap hari.
Di samping itu, syarikat AV menggunakan repositori kemahiran ejen baharu untuk mempercepat dan meningkatkan pembangunan sistem pemanduan autonomi yang lebih selamat dan berkebolehan. Foxconn, VinFast, Uber dan HUMAIN telah menyertai ekosistem NVIDIA DRIVE Hyperion untuk membangunkan dan menggunakan robotaxis SAE Level 4.
Alpamayo 2 Super telah pun dimuat turun lebih 500,000 kali dan dinamakan "Teknologi Terbaik" di Computex, kata Spencer Huang, pengarah produk untuk robotik di NVIDIA.
Alat ejen AI fizikal kini tersedia
NVIDIA berkata alat dan kemahiran ejen AI fizikalnya tersedia melaluiGitHubdankemahiran.shuntuk digunakan dengan mana-mana ejen pengekodan.
Kemahiran dan alatan ejen untuk penjanaan data sintetik -Pembinaan Semula Neural, Pembesaran Video, Penjanaan Imej Kecacatan- juga tersedia pada NVIDIA Brev sebagaiPelancaran AI Fizikal, persekitaran prakonfigurasi yang menggabungkan kemahiran dan alatan ejen untuk penjanaan dan penilaian data sintetik yang lebih pantas.
Microsoft,CoreWeave, danNebiussedang menyepadukan kemahiran dan alatan ejen ini dengan perkhidmatan awan mereka untuk membolehkan pembangun menyelaras dan menskalakan penjanaan dan penggunaan data sintetik.
Unitree humanoid rujukan untuk NVIDIA Isaac GR00T
NVIDIA turut mengumumkan NVIDIA Isaac GR00T Reference Humanoid Robot, reka bentuk rujukan robot humanoid terbuka yang dibina pada NVIDIA Jetson Thor dan platform pembangunan NVIDIA Isaac GR00T. Syarikat itu berkata ini akan membantu mendemokrasikan akses kepada perkakasan dan perisian canggih tanpa memerlukan platform proprietari yang mahal sebagai minat dalamhumanoid-tujuan ambertambah.
NVIDIA menggabungkan-badan robot bersaiz penuh dengan manipulasi, penderiaan, kawalan dan pengiraan AI onboard yang cekap:
Casis humanoid Unitree H2,berdiri hampir 6 kaki (1.8 m) tinggi dan berat 150 lb. (68 kg), dengan 31 darjah kebebasan untuk ujian-skala manusia.
DwiGelombang Sharpasentuhan lima-jari tangan,membolehkan manipulasi cekap dengan 22 darjah kebebasan dan membawa robot kepada 75 darjah kebebasan merentasi badan dan tangan.
Penderiaan berbilang{0}}pandangan,termasuk-kamera stereo yang dipasang di kepala dengan medan pandangan yang luas (140 darjah mendatar, 102 darjah menegak), kamera pergelangan tangan untuk-manipulasi jarak dekat dan unit ukuran inersia untuk penjejakan gerakan.
Kawalan seluruh-badan,dengan tork lengan sehingga 120 Newton-meter, tork kaki sehingga 360 Newton-meter, muatan lengan berkadar 7 kg (15.4 lb.) dan muatan puncak 15 kg (33 lb.), membuka kunci pengangkatan dan jangkauan yang lebih berkebolehan.
Pengiraan atas kapal NVIDIA Jetson AGX Thor T5000,menampilkan GPU NVIDIA Blackwell dengan 2,070 teraflop FP4 prestasi AI, CPU Lengan 14-teras, 128GB memori bersatu dan julat kuasa 40 hingga 130 watt yang boleh dikonfigurasikan untuk pemprosesan sensor masa nyata dan inferens robot.
Ketersambunganmerentas Ethernet, Wi-Fi 6, Bluetooth 5.2, USB dan pelbagai mikrofon serta pembesar suara untuk interaksi suara.
Bateri untuk operasi lanjutan,dengan kapasiti 15Ah, 0.972kWh dan kira-kira tiga jam hayat.
Pada-hentian kecemasan jauhberfungsi untuk melepaskan robot dengan cepat dengan selamat.
Platform Isaac GR00T termasuk:
NVIDIA Isaac Teleopuntuk menangkap-data demonstrasi robot berkualiti tinggi untuk latihan dan pembangunan dasar.
Model asas terbuka NVIDIA Isaac GR00Tuntuk menyokong penaakulan humanoid, pembelajaran dan tingkah laku berbilang tugas.
NVIDIA Isaac Sim danMakmal Isaacuntuk mensimulasikan, melatih, menguji dan menilai dasar robot sebelum-penyerahan dunia sebenar.
Perisian tengah NVIDIA Isaac ROS dipercepatkanuntuk memindahkan dasar terlatih ke robot.
NVIDIA Jetson Thoruntuk menjalankan-masa sebenar, pada-inferens dan kawalan robot.
Sistem ini direka bentuk untuk menjadi modular, jadi pasukan robotik boleh menggunakan platform penuh atau menyepadukan keupayaan terpilih ke dalam saluran paip pembangunan sedia ada, membantu mereka menskalakan pembangunan humanoid tanpa membina semula infrastruktur yang sama untuk setiap robot atau tugas.
Institusi penyelidikan terkemuka termasuk Ai2, ETH Zurich, Pusat Robotik Stanford dan Makmal Robotik dan Kawalan Lanjutan UC San Diego merancang untuk menggunakan reka bentuk rujukan ini untuk memajukan penyelidikan robotik humanoid.
"Untuk membuat kemajuan ke arah robot-tujuan am, penyelidik memerlukan platform yang mampu dan boleh diakses secara meluas," kata Deepak Pathak,-pengasas bersama dan Ketua Pegawai Eksekutif Skild AI. "Reka bentuk rujukan membolehkan lebih ramai penyelidik mengambil bahagian dalam penyelidikan humanoid sempadan dan beralih daripada idea kepada eksperimen dengan lebih pantas. Ini membantu mendorong keseluruhan ekosistem penyelidikan robotik ke hadapan."