Để mở rộng quy mô thử nghiệm giao diện người dùng theo mục đích trong các nhóm sản phẩm của mình, Epsilon, một công ty dữ liệu, công nghệ và dịch vụ tiếp thị và là một phần của Publicis Groupe, đã chuyển sang Amazon Nova Act. Với hàng trăm triệu hồ sơ người tiêu dùng và hàng nghìn mối quan hệ thương hiệu, Epsilon cần thử nghiệm giao diện người dùng có thể theo kịp những thay đổi nhanh chóng của ứng dụng. Giải pháp không thể tạo ra chi phí bảo trì cho mọi nhóm sản phẩm. Tại Epsilon, nhóm Nền tảng tác nhân (50 kỹ sư) xây dựng cơ sở hạ tầng dùng chung để các nhóm sản phẩm khác có thể xây dựng, triển khai, quản trị và vận hành tác nhân AI một cách an toàn. Với nền tảng chia sẻ này, các nhóm sẽ có được trình xây dựng tác nhân dựa trên kỹ năng. Họ cũng nhận được danh tính liên kết và ủy quyền trước chuyến bay, tích hợp Giao thức bối cảnh mô hình (MCP) và cung cấp nhiều tài khoản. Khi nhóm sản phẩm muốn áp dụng công cụ AI, họ sẽ có được các khả năng mà không cần cấu hình bổ sung và không cần tự mình giải quyết lại danh tính, bảo mật, cơ sở hạ tầng trình duyệt hoặc tích hợp mô hình. Một trong những khả năng được quản lý đó là kiểm tra giao diện người dùng. Với Amazon Nova Act và Amazon Bedrock AgentCore Browser (một khả năng của Amazon Bedrock AgentCore), nhóm nền tảng của Epsilon có thể cung cấp thử nghiệm linh hoạt, theo mục đích dưới dạng dịch vụ cho các nhóm trên nền tảng. Trong bài đăng này, chúng ta sẽ tìm hiểu kiến ​​trúc của Epsilon để cung cấp thử nghiệm giao diện người dùng dưới dạng dịch vụ nền tảng được quản lý, hiển thị mã tích hợp Nova Act và Amazon Bedrock AgentCore Browser Tool cốt lõi, nêu bật quy trình kiểm tra 18 bước cụ thể cũng như chia sẻ các phương pháp hay nhất và kết quả đo được. Thách thức: Tăng cường phạm vi phủ sóng, không thay thế những gì hiệu quả Phương pháp thử nghiệm giao diện người dùng hiện tại của Epsilon không bị phá vỡ. Nhóm đã duy trì bộ hồi quy dựa trên Playwright để xác thực chức năng trên các ứng dụng web của họ và nó hoạt động tốt. Nhà viết kịch vẫn là trụ cột hồi quy của họ cho đến ngày nay. Cơ hội mà Epsilon xác định là bổ sung chứ không phải khắc phục:

Các bài kiểm tra của Nhà viết kịch bản có hiệu quả đối với việc kiểm tra hồi quy xác định. Tuy nhiên, chúng được liên kết chặt chẽ với bộ chọn và cấu trúc trang. Những thay đổi về mặt thẩm mỹ của giao diện người dùng có thể khiến chúng bị hỏng ngay cả khi chức năng cơ bản hoạt động tốt. Nhiều nhóm sản phẩm cần có phạm vi thử nghiệm đầy đủ đối với các ứng dụng của riêng họ. Việc củng cố cơ sở hạ tầng trình duyệt, quản lý các phần phụ thuộc và tích hợp với hệ thống nhận dạng cho mỗi nhóm đã tạo ra nỗ lực trùng lặp. Nhóm nền tảng muốn thử nghiệm giao diện người dùng trở thành một khả năng được quản lý phù hợp với mô hình tổng đài viên hiện tại của họ chứ không phải CLI tùy chỉnh mà mọi nhóm tham gia đều phải vận hành.

Mục tiêu: lớp thử nghiệm dựa trên ý định trên bộ hồi quy Playwright hiện có. Cung cấp dịch vụ này dưới dạng dịch vụ nền tảng cho nhiều bên thuê để mỗi nhóm sản phẩm Epsilon có thể sử dụng thông qua cùng một bề mặt API mà họ đã sử dụng cho mọi chức năng của tổng đài viên khác. Tại sao Epsilon chọn Amazon Nova Act và Công cụ trình duyệt Amazon Bedrock AgentCore Epsilon đã đánh giá các tùy chọn theo hai yêu cầu: soạn thảo bài kiểm tra bằng ngôn ngữ tự nhiên (để bổ sung cho các bài kiểm tra Playwright dựa trên bộ chọn) và cơ sở hạ tầng trình duyệt được quản lý (để phù hợp với mô hình nền tảng nhiều người thuê của họ). Với Amazon Nova Act kết hợp với Amazon Bedrock AgentCore Browser Tool, Epsilon có thể giải quyết cả hai vấn đề này.

Các bước ngôn ngữ tự nhiên Các bước kiểm tra là hướng dẫn bằng tiếng Anh đơn giản được thực thi bởi Đạo luật Nova. Chúng có khả năng phục hồi trước những thay đổi về mặt thẩm mỹ của giao diện người dùng và có thể đọc được bởi những người không phải là kỹ sư. Một bước như “Xác nhận số dư phần thưởng được hiển thị” sẽ tốt hơn nhiều so với bộ chọn CSS dễ vỡ. Các phiên trình duyệt tạm thời được quản lý bởi AWS. Với Amazon Bedrock AgentCore Browser Tool, các nhóm sẽ có được các phiên bản trình duyệt biệt lập mà không cần gửi tệp nhị phân cũng như không cần bảo trì máy chủ hiển thị. Công cụ trình duyệt Amazon Bedrock AgentCore cũng cung cấp chế độ xem trực tiếp để con người quan sát hoặc tiếp quản (hữu ích cho CAPTCHA hoặc xác thực đa yếu tố), ghi phiên vào Amazon Simple Storage Service (Amazon S3) và kiểm tra AWS CloudTrail, tất cả đều không cần cấu hình bổ sung. Xác thực dựa trên AWS Identity and Access Management (AWS IAM). Với Nova Act, bạn có thể xác thực thông qua chuỗi thông tin xác thực AWS tiêu chuẩn (vai trò nhiệm vụ). Điều này phù hợp với mô hình bảo mật hiện có của Epsilon mà không cần phân phối các khóa API riêng biệt. Thân thiện với nhiều tài khoản. Với Nova Act và Amazon Bedrock AgentCore Browser Tool, bạn có thể đưa vào cung cấp AssumeRole Dịch vụ mã thông báo bảo mật AWS (AWS STS) hiện có của mình. Mỗi nhóm tham gia có thể chạy thử nghiệm bên trong tài khoản AWS của riêng họ với vai trò có phạm vi. Điều này duy trì sự cô lập và khả năng kiểm toán.

Epsilon đặc biệt chọn Amazon Bedrock AgentCore Browser Tool vì nó giúp loại bỏ gánh nặng vận hành trong việc quản lý các tệp nhị phân của trình duyệt, máy chủ hiển thị và vòng đời phiên. Nhóm Nền tảng đại lý không quan tâm đến việc sở hữu cơ sở hạ tầng đó. Giải pháp: Kiến trúc và triển khai Giải pháp của Epsilon có ba thành phần chính: API nền tảng để tạo quy trình làm việc, trình chạy tác vụ nền để thực thi chúng và tích hợp Nova Act và Amazon Bedrock AgentCore Browser Tool điều khiển trình duyệt. Kiến trúc nền tảng Khả năng kiểm tra giao diện người dùng của Epsilon tuân theo một quy trình rõ ràng:

Người dùng tạo quy trình làm việc thông qua API nền tảng, chỉ định target_url và danh sách các bước bằng ngôn ngữ tự nhiên. Khi tạo, nền tảng đăng ký định nghĩa quy trình công việc Nova Act trên AWS. Khi thực thi, trình chạy tác vụ nền (Celery, một khung Python để xử lý công việc không đồng bộ) sẽ mở phiên trình duyệt Công cụ trình duyệt Amazon Bedrock AgentCore. Nó chạy từng bước thông qua Nova Act qua WebSocket Giao thức DevTools (CDP) của Chrome (giao diện tiêu chuẩn để kiểm soát các trình duyệt Chrome theo chương trình), bao gồm cả logic có điều kiện (ví dụ: “nếu hộp tham quan xuất hiện, hãy bỏ qua nó”). Hệ thống chụp ảnh màn hình mỗi bước, theo dõi đạt/không đạt mỗi bước, tính toán tỷ lệ đạt tổng thể và lưu trữ mọi thứ (kết quả JSON, ảnh chụp màn hình trong Amazon S3, ID phiên). Một hook hoàn thành sẽ kích hoạt để kết quả được ghi lại vào nền tảng.

Hình 1: Kiến trúc Dịch vụ kiểm tra giao diện người dùng của Epsilon

Hình 1 cho thấy kiến ​​trúc phân lớp của Dịch vụ kiểm tra giao diện người dùng của Epsilon. Yêu cầu của người dùng được truyền từ Agent Cloud Frontend thông qua Cổng API với tính năng kiểm tra quyền và xác thực. Lớp API (Django REST) ​​hiển thị các điểm cuối cho quy trình làm việc, thực thi, bộ tự động hóa và số liệu thống kê. Lớp logic nghiệp vụ bao gồm Trình quản lý quy trình công việc, Trình điều phối thực thi và Điều phối viên bộ. Các công việc thử nghiệm được xếp hàng trong Amazon Simple Queue Service (Amazon SQS) và được Runner Service chạy trên Amazon Elastic Container Service (Amazon ECS) chọn, chứa công cụ Nova Act và trình duyệt Chrome không có giao diện người dùng. Kết quả, ảnh chụp màn hình, quỹ đạo và báo cáo HTML được lưu trữ trong Amazon S3. Khả năng này được thể hiện dưới dạng một tác nhân tiêu chuẩn (ui-test-agent) với hai kỹ năng:

ui-test-recorder: Khám phá một kịch bản một cách tương tác và ghi lại các bước bằng ngôn ngữ tự nhiên. ui-test-executor: Chạy các bước đã ghi và trả về kết quả có cấu trúc.

Các nhóm tham gia thực hiện kiểm tra giao diện người dùng giống như cách họ sử dụng bất kỳ tác nhân nền tảng nào khác. Không có cơ sở hạ tầng bổ sung để quản lý. Quá trình giới thiệu rất đơn giản. Nhóm nền tảng cung cấp vai trò IAM nhiều tài khoản cho nhóm mới, đăng ký URL ứng dụng mục tiêu của họ và cấp quyền truy cập vào ui-test-agent thông qua API nền tảng hiện có. Từ thời điểm đó, các nhóm tạo quy trình làm việc, kích hoạt thực thi và truy xuất kết quả thông qua cùng giao diện mà họ đã sử dụng cho các khả năng khác của nền tảng. Tích hợp cốt lõi Việc tích hợp Nova Act + Amazon Bedrock AgentCore Browser Tool rất ngắn gọn:

nhập boto3 từ bedrock_agentcore.tools.browser_client nhập browser_session từ nova_act nhập NovaAct

boto_session = boto3.Session(khu vực_name=khu vực)

với browser_session(khu vực) là khách hàng: ws_url, tiêu đề = client.generate_ws_headers() với NovaAct( cdp_endpoint_url=ws_url, cdp_headers=tiêu đề, boto_session=boto_session, trang_bắt_đầu=url ) dưới dạng nova_act: kết quả = nova_act.act(hướng dẫn)

Mẫu này (mở phiên trình duyệt được quản lý, kết nối thông qua CDP WebSocket và thúc đẩy các hành động bằng ngôn ngữ tự nhiên) là nền tảng. Epsilon bao bọc nó bằng các lớp điều phối nhiều người thuê, thu thập kết quả và khả năng quan sát trên nền tảng của họ. Ví dụ: Tự động hóa quy trình 'Tạo đại lý' Để minh họa thử nghiệm dựa trên mục đích, đây là quy trình làm việc tiêu biểu từ nền tảng của Epsilon. Nó thực hiện đăng nhập, nhập biểu mẫu, xử lý có điều kiện, cuộn và xác minh. Các bước sau đây nêu bật các mô hình khác biệt của Đạo luật Nova:

Bước Hướng dẫn

1 Nhập tên người dùng và chọn Tiếp theo

2 Nhập mật khẩu và chọn Xác minh

3 Điều hướng đến Tạo tác nhân và chọn thẻ Thiết kế thông số kỹ thuật mới

4 Nếu hộp tham quan giới thiệu xuất hiện, hãy chọn Bỏ qua chuyến tham quan, sau đó xác minh đã tải đúng trang

5 Điền vào trường tên đại lý và mô tả

6 Cuộn xuống cho đến khi hiển thị trường Tuyên bố mục tiêu, sau đó điền vào

7 Nếu hộp tìm kiếm kỹ năng không hiển thị, hãy cuộn cho đến khi nó xuất hiện. Sau đó tìm kiếm và thêm một kỹ năng

8 Chọn Lưu, xác nhận lời nhắc thành công, điều hướng quay lại và xác minh tác nhân mới xuất hiện trong danh sách

Bước 4 và 7 thể hiện logic có điều kiện: “nếu một phần tử xuất hiện, hãy xử lý nó” và “nếu mục tiêu không hiển thị, hãy cuộn cho đến khi nó xuất hiện”. Những mẫu này sẽ yêu cầu phân nhánh rõ ràng trong khuôn khổ truyền thống. Đạo luật Nova xử lý chúng một cách tự nhiên thông qua sự hiểu biết ngôn ngữ. Cách ly thời gian chạy Epsilon chạy thử nghiệm giao diện người dùng trong một dịch vụ chạy chuyên dụng (một sidecar FastAPI) gắn nova-act 3.x với hỗ trợ xác thực Workflow và IAM, cùng với ứng dụng khách Công cụ trình duyệt Amazon Bedrock AgentCore. Điều này giúp tách biệt các phần phụ thuộc khỏi phần phụ trợ chính để chúng không xung đột với ngăn tác nhân Strands. Worker sẽ quay lại thực thi trong quá trình nếu trình chạy bị vô hiệu hóa, mang lại khả năng phục hồi trong quá trình triển khai. Các phương pháp hay nhất Dựa trên kinh nghiệm xây dựng thử nghiệm giao diện người dùng như một khả năng nền tảng, nhóm Epsilon khuyến nghị:

1. Viết các bước theo ý định chứ không phải theo cơ chế

TỐT: "Xác nhận số dư phần thưởng được hiển thị" BAD: đang chờ page.locator('#rewards-balance-container > span.amount').toBeVisible()

Các bước dựa trên ý định vẫn tồn tại trong quá trình thiết kế lại giao diện người dùng. Người quản lý sản phẩm và trưởng nhóm đảm bảo chất lượng (QA), những người không viết mã có thể trực tiếp xem xét chúng. 2. Cô lập thời gian chạy Đạo luật Nova Các phần phụ thuộc của Pin Nova Act và Amazon Bedrock AgentCore Browser Tool trong một dịch vụ hoặc vùng chứa chuyên dụng. Epsilon đã biết rằng điểm cuối ký của Đạo luật Nova nhắm mục tiêu us-east-1 bất kể khu vực của phiên trình duyệt. Việc chạy nó trong một dịch vụ riêng biệt với tệp khóa phụ thuộc riêng sẽ ngăn chặn các xung đột khó gỡ lỗi. 3. Tái sử dụng quỹ đạo đã ghi để cắt giảm chi phí Epsilon sử dụng thử lại quỹ đạo ở trạng thái nháp, lưu quỹ đạo thành công và phát lại quỹ đạo đó ở trạng thái hoạt động. Các lần chạy lặp lại bỏ qua “suy nghĩ” mô hình ngôn ngữ lớn (LLM) dư thừa, giảm cả độ trễ và chi phí cho các lần thực thi lặp lại theo kiểu hồi quy. 4. Thiết kế cho nhiều người thuê ngay từ ngày đầu Sử dụng AssumeRole nhiều tài khoản với các chính sách IAM trong phạm vi. Các bài kiểm tra của mỗi đối tượng thuê chạy theo vai trò riêng của họ trong tài khoản của riêng họ. Điều này mang lại sự cô lập, khả năng kiểm tra và ngăn chặn phạm vi lỗi mà không cần cơ sở hạ tầng tùy chỉnh cho mỗi nhóm. 5. Dựa vào khả năng quan sát được quản lý Với Công cụ trình duyệt Amazon Bedrock AgentCore, các nhóm có thể xem trực tiếp, ghi phiên và tích hợp AWS CloudTrail. Epsilon sử dụng các khả năng tích hợp này thay vì xây dựng khả năng quan sát tùy chỉnh, giảm thiểu việc bảo trì và cung cấp cho các nhóm tuân thủ các bề mặt kiểm tra quen thuộc. 6. Tài khoản cho hành vi khung nhìn của Công cụ trình duyệt Amazon Bedrock AgentCore Khi nhắc các bước của Đạo luật Nova, hãy tính đến các giá trị mặc định của khung nhìn trình duyệt của Công cụ trình duyệt Amazon Bedrock AgentCore. Các bước tham chiếu đến thao tác cuộn (ví dụ: “cuộn xuống cho đến khi hiển thị hộp văn bản Tuyên bố mục tiêu”) xác minh rằng Đạo luật Nova xử lý chính xác nội dung ở phần dưới của trang. Kết quả và tác động Khả năng kiểm tra giao diện người dùng của Epsilon đang hoạt động trên nhiều nhóm, với kiến trúc nhiều bên thuê đã được chứng minh trong quá trình sản xuất.

Kích thước Đạo luật Amazon Nova Nhà viết kịch (tương đương)

Dòng tác giả 18 bước ngôn ngữ tự nhiên ~80-150 dòng mã

Kiểm tra bộ chọn/DOM không có Bắt buộc cho mỗi bước tương tác

Thời gian soạn thảo (mỗi quy trình làm việc) ~5-10 phút ~30-90 phút

tỷ lệ nỗ lực Đường cơ sở Nỗ lực gấp 4-6 lần

Dưới đây là kết quả đo được:

Viết bài kiểm tra nhanh hơn 4-6 lần (dựa trên điểm chuẩn nội bộ của Epsilon). Một quy trình làm việc điển hình gồm 18 bước mất 5–10 phút để tạo ra Đạo luật Nova, so với 30–90 phút cho tập lệnh Playwright tương đương (80–150 dòng mã). Mỗi bước tương tác trong tập lệnh Playwright yêu cầu kiểm tra DOM, chọn bộ chọn ổn định và mã hóa các thời gian chờ, xác nhận và phân nhánh rõ ràng cho các trường hợp có điều kiện. Đạo luật Nova thay thế chi phí trên mỗi bước đó bằng 18 hướng dẫn bằng ngôn ngữ tự nhiên và bộ chọn 0 hoặc kiểm tra DOM, bằng logic có điều kiện (chẳng hạn như hộp tham quan và các bước cuộn cho đến khi hiển thị) được thể hiện bằng tiếng Anh đơn giản. Tỷ lệ vượt qua 100 phần trăm khi phát lại quỹ đạo (dựa trên điểm chuẩn nội bộ của Epsilon). Sau khi quy trình làm việc vượt qua giai đoạn khám phá ban đầu (thường là 4–5 lần lặp nhắc nhở), Epsilon sẽ lưu quỹ đạo thành công và phát lại quỹ đạo đó một cách xác định. Các quỹ đạo đã lưu đạt tỷ lệ vượt qua 100 phần trăm trong các lần chạy lặp lại. Rào cản thấp hơn đối với việc soạn thảo bài kiểm tra. Các bước đọc như tiếng Anh đơn giản. Các thành viên trong nhóm ngoài các kỹ sư kiểm tra cốt lõi có thể đọc, đánh giá và đề xuất các bài kiểm tra, mở rộng quyền sở hữu về chất lượng. Đường mòn kiểm toán tích hợp. Tích hợp AWS CloudTrail và ghi phiên của Công cụ trình duyệt Amazon Bedrock AgentCore giúp các cuộc hội thoại gỡ lỗi và tuân thủ dễ dàng hơn. Đây là một lợi ích mà ban đầu nhóm không đặt ra để đạt được. Không có chi phí cơ sở hạ tầng cho mỗi nhóm. Các nhóm tham gia thực hiện kiểm tra giao diện người dùng thông qua bề mặt API giống như mọi tác nhân nền tảng khác. Không có tệp nhị phân trình duyệt, không có lưới Selenium, không có máy chủ hiển thị để quản lý. Khả năng hiển thị đạt/không đạt trên mỗi bước. Chụp ảnh màn hình ở mỗi bước cung cấp bối cảnh gỡ lỗi chi tiết, giảm thời gian trung bình để chẩn đoán lỗi.

"Đạo luật Nova cho phép chúng tôi biến việc kiểm tra giao diện người dùng từ một công việc vụn vặt, theo đuổi bộ chọn thành một khả năng nền tảng được quản lý. Các thử nghiệm của chúng tôi hiện mô tả ý định bằng tiếng Anh đơn giản, chạy trên các trình duyệt do AWS quản lý và mọi nhóm sản phẩm mà chúng tôi tham gia đều được kiểm tra đáng tin cậy mà không cần cấu hình bổ sung." — Nhóm nền tảng đại lý Epsilon

Tìm hiểu thêm Nhóm Nền tảng tác nhân của Epsilon đã trình diễn cách cung cấp thử nghiệm giao diện người dùng linh hoạt, theo mục đích dưới dạng dịch vụ được quản lý bằng cách sử dụng Amazon Nova Act và Công cụ trình duyệt Amazon Bedrock AgentCore. Bạn có thể áp dụng mô hình tương tự cho nền tảng nhiều người thuê của riêng mình để loại bỏ chi phí cơ sở hạ tầng trình duyệt và giúp những người không phải là kỹ sư có thể truy cập được tác giả bài kiểm tra. Nếu bạn muốn xây dựng khả năng kiểm tra giao diện người dùng theo mục đích tương tự bằng Amazon Nova Act và Amazon Bedrock AgentCore Browser Tool, đây là các tài nguyên để bắt đầu:

Tài liệu về Đạo luật Amazon Nova Hướng dẫn sử dụng Công cụ trình duyệt Amazon Bedrock AgentCore Nova Act Python SDK trên PyPI Tài liệu Amazon Bedrock AgentCore Nova Act + Mã mẫu của Công cụ trình duyệt Amazon Bedrock AgentCore (GitHub) Bài đăng liên quan: Tăng tốc phân phối phần mềm bằng tự động hóa QA tác nhân bằng cách sử dụng Đạo luật Amazon Nova

Để tìm hiểu thêm về cách tổ chức của bạn có thể sử dụng tính năng tự động hóa trình duyệt dựa trên mục đích để thử nghiệm, hãy truy cập trang sản phẩm Amazon Nova Act. Epsilon là một công ty của Publicis Groupe. Tìm hiểu thêm tại epsilon.com.

Về các tác giả