Biến ý tưởng mô phỏng thành một ứng dụng hoạt động có nghĩa là tập hợp các nội dung, kết nối vật lý và kết xuất, đồng thời kiểm tra xem cảnh có hoạt động như dự định hay không. Các nhà phát triển đang kết hợp các mô hình AI tiên tiến với thư viện NVIDIA Omniverse để giúp thực hiện công việc đó — xây dựng các ứng dụng để khám phá các tình huống, điều tra lỗi và cải tiến thiết kế. Các nhà phát triển chỉ đạo các tác nhân AI thông qua các hướng dẫn bằng ngôn ngữ tự nhiên, xem xét kết quả và hướng dẫn các thay đổi. Thư viện Omniverse cung cấp khả năng mô phỏng cảm biến, kết xuất và vật lý được tăng tốc GPU. Khám phá các dự án bên dưới để xem các mô hình AI hàng đầu như GPT-6 Astra đang hoạt động và kiểm tra lại các ví dụ mới từ các nhóm và nhà phát triển NVIDIA trên toàn hệ sinh thái.

Tạo mô hình tòa nhà có thể chỉnh sửa từ bản quét trang web

Lập kế hoạch tự động hóa kho hàng yêu cầu phải có mô hình của chính tòa nhà, nhưng giá đỡ và máy móc có thể che khuất cấu trúc của nó khi quét địa điểm. Omniverse tập hợp các công cụ thực tế và kỹ năng của tác nhân để giúp các nhà phát triển biến các ảnh chụp trong thế giới thực thành môi trường khởi đầu có thể chỉnh sửa để mô phỏng AI vật lý. David Wehr, từ nhóm công nghệ mô phỏng của NVIDIA, đã xây dựng dựa trên công trình đó bằng cách sử dụng Astra để phát triển quy trình làm việc nhằm tái tạo kỹ thuật số một tòa nhà mà không có nội dung bên trong. Mục tiêu là một mô hình xây dựng sẵn sàng cho mô phỏng, có thể chỉnh sửa, trong đó các nhà phát triển có thể thêm hoặc đặt lại vị trí giá đỡ và máy móc để đánh giá bố cục kho và kế hoạch tự động hóa trước khi thực hiện các thay đổi vật lý. Wehr đã hướng dẫn Astra diễn giải các bức ảnh toàn cảnh, tạo hình học của tòa nhà và căn chỉnh nó với các phép đo đám mây điểm. OpenUSD lưu trữ các mô hình, trong khi thư viện ovrtx của Omniverse hiển thị kết quả để kiểm tra. Khám phá các kỹ năng của tổng đài viên NVIDIA Omniverse để giúp các tổng đài viên xây dựng bằng thư viện Omniverse.

Thử nghiệm các kịch bản vận hành tuabin khí với bộ đôi kỹ thuật số

Trước khi thay đổi cách thức hoạt động của thiết bị công nghiệp, các kỹ sư cần tìm cách tìm hiểu hậu quả. Pradeep Kaushik, thành viên của nhóm quan hệ nhà phát triển NVIDIA Omniverse, đã chỉ đạo Astra xây dựng một ứng dụng phân tích điều gì sẽ xảy ra xung quanh một máy phát điện và tuabin khí mô phỏng. Ứng dụng cho phép người dùng điều chỉnh các điều kiện như tải, nhiệt độ môi trường và thành phần nhiên liệu, sau đó so sánh công suất, hiệu suất, mức tiêu thụ nhiên liệu và phản hồi của thiết bị. Sáu quy trình kiểm tra khám phá các tình huống bao gồm thay đổi tải, van nhiên liệu bị kẹt và lỗi cảm biến khí thải. Nguyên mẫu cung cấp cho các kỹ sư một cách tương tác để điều tra xem các thay đổi và lỗi vận hành có thể ảnh hưởng như thế nào đến hoạt động của thiết bị, hỗ trợ các quyết định về kịch bản nào cần thử nghiệm thêm. Astra đã sử dụng các công cụ như Cantera cho nhiệt hóa học và SciPy cho động lực học thiết bị. Ứng dụng này ánh xạ các kết quả của bộ giải sang hoạt ảnh rôto và các chỉ báo nhiệt độ, áp suất và vận tốc dòng chảy được mã hóa màu trong tuabin 3D. Thư viện NVIDIA Omniverse cập nhật cảnh (ovstage), kết xuất nó bằng RTX (ovrtx) và truyền chế độ xem tới trình duyệt (ovstream). Các kỹ sư có thể xoay và thu phóng phần cắt, chuyển đổi giữa các chỉ báo và tạm dừng hoặc xem qua phản hồi mô phỏng cùng với các biểu đồ và công cụ ảo.

Xây dựng cảnh mô phỏng bằng tài sản SimReady mã nguồn mở

Với Thư viện trung tâm SimReady, được công bố tại GTC Berlin, các nhà phát triển có thể truy cập hơn 2.000 tài sản USD sẵn sàng cho mô phỏng từ các nhà sản xuất thiết bị và nhà cung cấp tài sản cho mô phỏng robot và quy trình song sinh kỹ thuật số của nhà máy AI. Paul Kind, thành viên nhóm tài liệu Omniverse của NVIDIA, đã chỉ một đặc vụ AI đến thư viện và hướng dẫn lắp ráp cảnh thông qua cuộc trò chuyện. Khung cảnh nhà bếp của anh bao gồm 180 vị trí được vẽ từ 63 tài sản thư viện độc đáo, cùng với 18 mảnh hình học tùy chỉnh. Kind đã xem xét các kết xuất được sản xuất bởi Isaac Sim và hướng dẫn các điều chỉnh tiếp theo. Đối với quy trình làm việc trong nhà máy và robot, nhà phát triển có thể chọn nội dung SimReady có các thuộc tính mô phỏng được nhúng để phù hợp với nhiệm vụ được yêu cầu, sau đó thử nghiệm trong môi trường đã lắp ráp. Tìm nội dung trong Thư viện trung tâm SimReady và tìm hiểu cách đóng góp.

Kiểm tra căng thẳng mô phỏng kho hàng ở quy mô lớn

Mô phỏng nhà kho cần tiếp tục chạy trơn tru khi có nhiều cánh tay robot, băng tải và hộp lấp đầy hiện trường. Khi nó chậm lại, các nhà phát triển cần xác định điều gì đang cản trở nó. Bhavik Sanganee, kỹ sư chính tại NVIDIA, đã sử dụng Astra với các thư viện NVIDIA Omniverse để xây dựng mô phỏng kho hàng, tăng độ phức tạp và điều tra tình trạng chậm lại. Hiệu suất lần đầu tiên giảm xuống dưới mục tiêu khi kích thước cảnh tăng gấp đôi. Việc chạy các phép tính vật lý, kết xuất hình ảnh và chuẩn bị video đồng thời khôi phục hiệu suất và cho phép mở rộng quy mô hơn nữa. Với 80 băng tải, 40 cánh tay và 800 hộp, mô phỏng duy trì tốc độ 30 khung hình/giây ở độ phân giải HD đầy đủ trong thời gian thử nghiệm kéo dài hai phút. Cánh tay đã hoàn thành 640 lần đặt hộp thành công. Tăng gấp đôi cảnh một lần nữa làm giảm hiệu suất. Thử nghiệm cho thấy sự chậm lại đối với quy trình vật lý và điều khiển robot, giúp Sanganee có một lĩnh vực cụ thể cần cải thiện. Bắt đầu xây dựng với thư viện NVIDIA Omniverse.

Kiểm tra khả năng điều khiển robot để định tuyến cáp linh hoạt

Trong lắp ráp thiết bị điện tử, robot có thể cần đặt một dây cáp mềm xung quanh các bộ phận trước khi cắm nó vào cổng. Cáp uốn cong khi robot di chuyển và đầu nối phải thẳng hàng chính xác để vừa khít. Oyindamola Omotuyi, giám đốc tiếp thị kỹ thuật robot tại NVIDIA, đã chỉ đạo Astra xây dựng mô phỏng robot bằng cách sử dụng Phòng thí nghiệm NVIDIA Isaac, vật lý Newton và kết xuất Omniverse với bộ kẹp Robotiq xử lý cáp. Astra cũng đã phát triển một hệ thống học tăng cường kết hợp các chuyển động định tuyến cáp đã học với phản hồi về vị trí và hướng cũng như các điều chỉnh khắc phục khi cắm USB-C. Mô phỏng này giúp Omotuyi kiểm tra khả năng xử lý cáp và căn chỉnh đầu nối trước khi chuyển sang thử nghiệm robot vật lý. Bộ điều khiển sử dụng thông tin được cung cấp trực tiếp bởi mô phỏng. Các bước tiếp theo bao gồm kiểm tra khả năng cầm nắm bằng ma sát và sử dụng thông tin mà robot vật lý có thể thu được từ máy ảnh và cảm biến. Bắt đầu với việc học robot trong Phòng thí nghiệm NVIDIA Isaac.

Biến thiết kế có sự hỗ trợ của máy tính Robot thành tài sản SimReady Trước khi kiểm tra xem robot có thể nhấc và di chuyển một chiếc hộp hay không, các nhà phát triển cần một mô hình mô phỏng với các khớp di chuyển chính xác và có tay cầm có thể giữ vật thể. Mô hình thiết kế có sự hỗ trợ của máy tính (CAD) cung cấp hình dạng của robot, nhưng nó vẫn cần các đặc tính vật lý để thực hiện nhiệm vụ. Bằng cách sử dụng rô-bốt YuMi của ABB Robotics, các nhà phát triển đã chỉ đạo Astra sử dụng thư viện nội dung NVIDIA Omniverse để chuyển đổi các tệp CAD thành OpenUSD, khớp hình thức của rô-bốt với hình ảnh tham chiếu cũng như định cấu hình các mối nối và hình học va chạm. Họ đã kiểm tra nội dung theo yêu cầu của SimReady Foundation trước khi thử nghiệm nó trong NVIDIA Isaac Sim. Cả cánh tay và dụng cụ kẹp đều hoàn thành bốn chu trình chọn và đặt khối lập phương, sử dụng mô phỏng tiếp xúc và ma sát ngón tay. Các thử nghiệm này đã thể hiện hành vi trong các điều kiện mô phỏng - các đặc tính vật lý ước tính không được hiệu chỉnh theo robot thật.

Làm theo hướng dẫn SimReady gồm năm bước.

Xây dựng Trình mô phỏng hình người cho môi trường nhà kho

Khám phá cách điều khiển robot hình người dựa trên vật lý, được ứng dụng trò chơi ở góc nhìn thứ nhất và thứ ba. Trước khi tự động hóa các nhiệm vụ kho, nhà phát triển cần một môi trường mô phỏng tương tác để khám phá hành vi của nhiệm vụ và đánh giá cách thực hiện công việc. Frank DeLise, giám đốc sản phẩm Omniverse tại NVIDIA, đã sử dụng Astra để biến nhà kho SimReady và robot hình người thành một trình mô phỏng tương tác với góc nhìn thứ nhất và thứ ba. DeLise đã chỉ đạo Astra kết nối các thư viện NVIDIA Omniverse cho vật lý (ovphysx), cập nhật cảnh (ovstage), kết xuất (ovrtx) và giao diện người dùng (ovui). Anh ấy cũng sử dụng Astra với SimReady (nền tảng simready) để tạo cảnh vật lý trong mô phỏng. Sau đó, Astra tạo hoạt ảnh và mã ứng dụng để kết hợp các khả năng đó lại với nhau. Tìm hiểu cách chuẩn bị và xác thực tài sản robot SimReady bằng các mô hình AI hàng đầu và thư viện NVIDIA Omniverse.

Kết nối quy trình kiểm tra lái xe tự động

Việc thay đổi cảnh, cảm biến hoặc mô hình lái xe có thể ảnh hưởng đáng kể đến việc mô phỏng xe tự hành. Doyub Kim, người quản lý nhóm công nghệ mô phỏng tại NVIDIA, đã yêu cầu Astra xây dựng Zero to Alpamayo - một môi trường mô phỏng có thể tái sử dụng dựa trên Market Street của San Francisco. Kim đã chỉ đạo Astra vạch ra quy trình làm việc, sau đó kết nối việc tạo nội dung, lưu lượng truy cập, mô phỏng cảm biến Omniverse RTX và lái xe Alpamayo theo từng giai đoạn, kiểm tra từng hoạt động tích hợp. Nguyên mẫu thu được là nơi thử nghiệm để so sánh các mô hình và theo dõi sự thay đổi của cảnh hoặc cảm biến ảnh hưởng như thế nào đến hành vi lái xe xuôi dòng. Một thử nghiệm Cosmos3-Nano riêng biệt đã thay đổi thời tiết và ánh sáng trong các video mô phỏng được ghi lại, cho phép Kim so sánh phản ứng của mô hình lái xe với cùng một tình huống trong các điều kiện khác nhau.

Sử dụng sự khác biệt về cảm biến để tạo và cải thiện bản song sinh kỹ thuật số

Việc so sánh đầu ra của máy ảnh và lidar được ghi lại và mô phỏng sẽ cung cấp cho nhà phát triển phản hồi chính dựa trên chỉ báo hiệu suất để tinh chỉnh cảnh. Để thử nghiệm robot và xe tự hành, các nhà phát triển cần biết các cảm biến được mô phỏng chặt chẽ như thế nào với cảm biến thật. Ashley Reid, người làm việc về xác thực cảm biến RTX tại NVIDIA, đã chỉ đạo các đặc vụ Astra và Claude Fable 5 so sánh đầu ra máy ảnh ovrtx và LiDAR thô với dữ liệu đã ghi. Các đặc vụ đã tạo ra hai bản sao kỹ thuật số ngay từ đầu và cải tiến hai bản sao hiện có.

Trong khoảng ba ngày, Reid đã hướng dẫn một quy trình làm việc lặp đi lặp lại trong đó các tác nhân đo lường sự khác biệt, tạo hoặc sửa đổi các cảnh OpenUSD và kiểm tra kết quả. Các thay đổi giải quyết các đối tượng, hình học và vật liệu bị thiếu, với mức độ chấp nhận tùy thuộc vào số liệu của máy ảnh và LiDAR. Điều này cung cấp cho các nhà phát triển một cách để sử dụng những khác biệt được đo lường để hướng dẫn việc tạo và cải thiện cảnh. Bắt đầu bằng cách hiển thị cảnh OpenUSD bằng ví dụ Python tối thiểu ovrtx, sau đó xác định thước đo cảm biến để so sánh với dữ liệu đã ghi.

Thế vận hội Robot: Kiểm tra kỹ năng của Robot bằng mô phỏng Dạy cho robot những chuyển động mới có nghĩa là kiểm tra xem những hành động đó có hoạt động dưới những ràng buộc về thể chất hay không. Tae Kim, người đứng đầu bộ phận kỹ thuật và sản phẩm NVIDIA Omniverse, đã sử dụng các video thể thao và hướng dẫn bằng ngôn ngữ tự nhiên để hướng dẫn Astra xây dựng Robo Olympic, một dự án thử nghiệm kiểm tra mô phỏng hình người Unitree G1 thực hiện các chuyển động thể thao. Dưới sự chỉ đạo của Kim, Astra đã chế tạo bộ điều khiển và cải tiến chúng thông qua các thử nghiệm vật lý. Công cụ Vật lý Newton mô phỏng hành vi, khung công tác NVIDIA Warp mã nguồn mở đã tăng tốc các phép tính và kết xuất cảnh ovrtx cũng như hình ảnh camera ảo. Trong một thử nghiệm, robot đã vượt qua một rào cản duy nhất ở 64 trên 100 thử nghiệm mô phỏng. Các cuộc thử nghiệm đã mang lại cho Kim phản hồi về việc cải thiện thời gian và khả năng kiểm soát của robot. Xem Kim khám phá các mô phỏng xây dựng bằng thư viện Astra và NVIDIA Omniverse.

Kiểm tra khả năng tháo rời của robot bằng thiết kế và mô phỏng có sự hỗ trợ của máy tính Trước khi robot có thể tháo rời một sản phẩm, nhà phát triển cần biết liệu các công cụ của nó có thể tiếp cận và tháo rời các bộ phận hay không. Jens Jebens, giám đốc sản phẩm cấp cao của OpenUSD tại NVIDIA, đã chỉ đạo Astra tạo mô hình hệ thống treo ô tô trong PTC Onshape và định cấu hình nó trong NVIDIA Isaac Sim. Với Astra, Jebens đã khám phá các bản sửa đổi công cụ và thiết kế có sự hỗ trợ của máy tính dành cho robot được thông tin bằng mô phỏng. Người đại diện đã đo không gian có sẵn và thiết kế một cờ lê mà robot có thể sử dụng để tiếp cận các bu lông của hệ thống treo. Jebens đã báo cáo việc loại bỏ thành công bộ phận treo trong mô phỏng. Điều này kết nối các quyết định về thiết kế và công cụ với kết quả tháo gỡ, mang lại điểm khởi đầu cho việc đào tạo chính sách về robot. Khám phá hướng dẫn nhập Onshape.

Đưa Trạm vũ trụ quốc tế vào trình duyệt Biến mô hình 3D thành ứng dụng yêu cầu kết nối nội dung, dữ liệu trực tiếp và giao diện. Nic Johns, giám đốc kỹ thuật tại NVIDIA, đã thúc giục Astra lắp ráp các tài sản của NASA thành mô hình Trạm vũ trụ quốc tế OpenUSD bằng phép đo từ xa. Johns đã xây dựng ứng dụng chỉ với một lời nhắc duy nhất, sau đó sử dụng lời nhắc tiếp theo để chuyển cảnh sang phía ban ngày của Trái đất để có thể nhìn thấy hành tinh này. Quy trình làm việc đã sử dụng Blender để chuẩn bị nội dung và các thư viện Omniverse để kết xuất (ovrtx), thời gian chạy cảnh (ovstage) và phát trực tuyến (ovstream). Ứng dụng này đưa các mô hình 3D và dữ liệu vận hành vào trình duyệt, với sự hướng dẫn của Johns trong quá trình phát triển ứng dụng thông qua các lời nhắc và chỉnh sửa. Hãy thử kỹ năng Trình xem thời gian thực Omniverse.

Biến các phòng đã thu thập thành môi trường thử nghiệm Phòng được tái tạo bằng kỹ thuật số cần có các đối tượng có thể chỉnh sửa và hành vi vật lý chính xác trước khi các nhà phát triển có thể thử nghiệm các tương tác. Chirag Majithia, từ nhóm ứng dụng kỹ thuật Isaac tại NVIDIA, đã chỉ đạo Astra biến các ảnh chụp bằng camera âm thanh nổi thành một studio OpenUSD có thể chỉnh sửa. Quy trình làm việc đã kết hợp PyCuSFM, FoundationStereo và nvblox để tái thiết, với sự đánh giá của người dùng hướng dẫn lựa chọn và sắp xếp đối tượng. Astra đã tập hợp các nội dung được tạo và do Blender tạo ra, đồng thời sử dụng Tác nhân nội dung USD để định cấu hình cách các đối tượng di chuyển và tương tác trong mô phỏng. Isaac Sim kiểm tra các sửa đổi va chạm và tiếp xúc có hướng dẫn dành cho cửa và ngăn kéo. Studio kết nối hình học đã chụp với thử nghiệm tương tác, giúp kiểm tra các khoảng trống và hành vi của đối tượng dễ dàng hơn. Khám phá đại lý nội dung USD. Bạn có ý tưởng mô phỏng? Khám phá thư viện NVIDIA Omniverse để bắt đầu xây dựng với tác nhân AI.