NỘI DUNG TIẾNG ANH: A+ Nội dung là tiện ích đa phương tiện trên trang chi tiết sản phẩm của Amazon. Thông qua tài sản trực quan, thương hiệu truyền đạt giá trị thương hiệu và sản phẩm độc đáo để giúp khách hàng đưa ra quyết định mua hàng sáng suốt. Các đối tác bán hàng sử dụng Nội dung A+ chất lượng cao sẽ tăng doanh số bán hàng của họ lên 8–20% so với những đối tác không sử dụng nội dung đó. Rất nhiều thương hiệu, từ những thương hiệu đã có tên tuổi với đội ngũ thiết kế nội bộ lớn cho đến những thương hiệu đã khởi nghiệp với nguồn lực hạn chế, đều sử dụng Nội dung A+, tạo ra sự không nhất quán về chất lượng nội dung. Dự án Nội dung A+ điển hình kết hợp văn bản, hình ảnh và video thành một câu chuyện sản phẩm gắn kết. Việc đánh giá từng nội dung một cách riêng biệt sẽ bỏ lỡ chất lượng xuất phát từ cách các nội dung đó hoạt động cùng nhau. Khi nội dung của bạn trải rộng trên nhiều mô-đun không đồng nhất và bạn cần tín hiệu chất lượng tổng thể thay vì kiểm tra từng nội dung, phương pháp tổng hợp đa mô hình được mô tả trong bài đăng này có thể hữu ích. Trong bài đăng này, chúng tôi xem xét vấn đề này trong bối cảnh Nội dung A+. Nội dung A+ mang lại sự tự do sáng tạo cho các đối tác bán hàng để thể hiện bản thân đích thực của họ trên trang chi tiết sản phẩm mà không có các yêu cầu nghiêm ngặt về nội dung như tỷ lệ hình ảnh và số lượng từ văn bản. Mặc dù tính linh hoạt này cho phép kể chuyện thương hiệu một cách hấp dẫn nhưng nó cũng tạo ra sự khác biệt đáng kể về thành phần và chất lượng nội dung. Với các đề xuất cải tiến và đánh giá chất lượng, các thương hiệu có thể chuyển đổi nội dung trung bình thành nội dung chất lượng cao, mạch lạc, phù hợp và hữu ích hơn. Nội dung cải tiến này giúp khách hàng đưa ra quyết định mua hàng sáng suốt hơn và xây dựng mối quan hệ lâu dài với các thương hiệu, từ đó cải thiện doanh thu cho đối tác bán hàng. Để đạt được mục tiêu này, hệ thống đánh giá phải đánh giá trải nghiệm nội dung hoàn chỉnh, đưa ra các đề xuất hữu ích ngoài điểm số và phản ánh các sắc thái giữa các danh mục sản phẩm. Các phương pháp tiếp cận hiện tại gặp khó khăn trong việc đáp ứng đồng thời tất cả các yêu cầu này, vì vậy, trong bài đăng này, bạn sẽ thấy một cách tiếp cận mới sử dụng Mô hình ngôn ngữ tầm nhìn (VLM) để hiểu và đánh giá nội dung một cách tổng thể cũng như thành phần tạo dựa trên sự khuếch tán giúp tạo ra nội dung hình ảnh được cải thiện từ các tín hiệu chất lượng thu được. Trong bài đăng này, bạn sẽ học cách:

Hiển thị nội dung thương mại điện tử hoàn chỉnh dưới dạng ảnh chụp nhanh duy nhất và đánh giá nội dung đó một cách tổng thể bằng VLM. Kết hợp điểm ngữ nghĩa VLM với tín hiệu khả năng đọc OCR trong bộ phân loại CatBoost nhẹ được đào tạo dựa trên chú thích của chuyên gia. Sử dụng SHAP để giải thích các quyết định về chất lượng và đưa ra các đề xuất cải tiến có thể thực hiện được cho các đối tác bán hàng. Triển khai quy trình từ đầu đến cuối trên Amazon SageMaker AI, từ nhập dữ liệu và chú thích cho đến lưu trữ mô hình, khả năng giải thích và giám sát sản xuất.

Cơ hội và thách thức trong đánh giá dựa trên VLM Mô hình ngôn ngữ tầm nhìn (VLM) ghép nối bộ mã hóa hình ảnh với mô hình ngôn ngữ lớn (LLM). Bộ mã hóa, thường là bộ biến đổi thị giác (ViT), chia hình ảnh thành các mảng và biến chúng thành các phần nhúng và một trình kết nối nhỏ ánh xạ các phần nhúng đó vào không gian đầu vào của mô hình ngôn ngữ (Flamingo, LLaVA). Nhiều VLM sử dụng lại bộ mã hóa hình ảnh từ CLIP, bộ mã hóa này đã học cách ghép hình ảnh với chú thích của chúng. Vì VLM được đào tạo để làm theo hướng dẫn nên bạn có thể cung cấp cho VLM một hình ảnh cùng với phiếu tự đánh giá về tiêu chí đánh giá và nhận lại bản đánh giá bằng văn bản mà không cần đào tạo về nhiệm vụ cụ thể. Khi cần có sự thống nhất chặt chẽ hơn với người đánh giá, bạn có thể tinh chỉnh mô hình trên các ví dụ được gắn nhãn. Điều này làm cho VLM trở thành điểm khởi đầu thiết thực để kiểm tra hình ảnh sản phẩm theo nguyên tắc nội dung của bạn trên quy mô lớn. Các mô hình thị giác máy tính thông thường đã có thể chấm điểm từng nội dung riêng lẻ, chẳng hạn như gắn cờ cho một hình ảnh bị mờ hoặc lỗi ngữ pháp trong danh sách dấu đầu dòng. Việc sử dụng VLM để phân loại từng nội dung riêng biệt sẽ bổ sung thêm rất ít điều đó. Tuy nhiên, trang chi tiết sản phẩm kết hợp hình ảnh, văn bản và mô-đun bố cục thành một câu chuyện duy nhất và chất lượng của nó phụ thuộc vào cách các phần đó phối hợp với nhau. Cách tiếp cận của chúng tôi hiển thị toàn bộ trang dưới dạng một ảnh chụp nhanh duy nhất và yêu cầu VLM đánh giá trang đó khi khách hàng nhìn thấy nó. Hãy xem xét một trang máy xay có hình ảnh chính, danh sách tính năng có dấu đầu dòng làm nổi bật tốc độ và công suất của lưỡi cắt cũng như ảnh phong cách sống của máy xay trong nhà bếp hiện đại. Kiểm tra từng nội dung một, từng nội dung đều đạt: hình ảnh sắc nét, các dấu đầu dòng đúng ngữ pháp và ảnh đủ sáng. Nhìn cùng nhau, vấn đề xuất hiện. Các viên đạn có thể quảng cáo một chiếc bình 64 oz trong khi ảnh phong cách sống hiển thị một mô hình phục vụ một lần hoặc ảnh phong cách sống có thể nằm phía trên hình ảnh chính để khách hàng nhìn thấy nhà bếp trước sản phẩm. Vì ý nghĩa của nội dung phụ thuộc vào vị trí nó xuất hiện và những gì xung quanh nó nên những vấn đề này chỉ xuất hiện khi trang được đánh giá tổng thể. Ảnh chụp nhanh cung cấp cho VLM cái nhìn hoàn chỉnh. Việc sử dụng nó trong sản xuất bổ sung thêm ba yêu cầu: điểm số phải phù hợp với tiêu chuẩn chất lượng của chuyên gia, đánh giá phải chính xác và hiệu quả trên quy mô lớn và mỗi kết quả phải giải thích những gì cần khắc phục. Như được hiển thị trong Hình 1, chúng tôi giải quyết những cân nhắc này thông qua kiến ​​trúc tổng hợp đa mô hình dựa trên VLM được thiết kế xoay quanh khả năng thích ứng, hiệu suất và khả năng giải thích. Các phần sau đây mô tả từng thành phần.

Hình 1: Sơ đồ khối của phương pháp tổng hợp đa mô hình dựa trên VLM, bao gồm các mô hình VLM, OCR và phân loại

Đánh giá nội dung VLM thích ứng với chú thích của chuyên gia Một VLM đã được huấn luyện trước được nhắc nhở bằng một phiếu tự đánh giá cho điểm nội dung từ kiến thức chung của nó và những điểm số đó không phải lúc nào cũng phù hợp với tiêu chuẩn chất lượng thương mại điện tử. Việc tinh chỉnh VLM để thu hẹp khoảng cách đó sẽ yêu cầu cơ sở hạ tầng đào tạo GPU và chỉ với vài nghìn ví dụ được gắn nhãn, sẽ có nguy cơ thực sự là trang bị quá mức. Thay vào đó, chúng tôi giữ cố định lời nhắc VLM và phiếu tự đánh giá, sử dụng kết quả đầu ra có cấu trúc của VLM làm tính năng và đào tạo trình phân loại CatBoost trên chúng để dự đoán nhãn chất lượng chuyên môn. CatBoost, thư viện cây quyết định được tăng cường độ dốc, hoạt động tốt trên các tập dữ liệu dạng bảng nhỏ như thế này. Bởi vì chỉ có trình phân loại được đào tạo lại nên việc cập nhật hệ thống khi tích lũy các chú thích hoặc thay đổi tiêu chí sẽ thực hiện một công việc ngắn chỉ dành cho CPU thay vì chạy tinh chỉnh mô hình nền tảng. VLM nhận được ảnh chụp nhanh trang và lời nhắc tiêu chí đánh giá bao gồm bốn khía cạnh chất lượng: Kể chuyện bằng hình ảnh, Trình bày tính năng, Bố cục A+ và Tối ưu hóa chuyển đổi. Mỗi chiều đều có tiêu chí và quy tắc trừ điểm rõ ràng. Đối với mỗi chiều, VLM trả về điểm từ 0 đến 10, giá trị độ tin cậy và cơ sở ngôn ngữ tự nhiên. Ví dụ: nó hạ điểm và giải thích lý do khi một trang thiếu các mô-đun hoặc hình ảnh phong cách sống đa dạng hoặc lặp lại thông tin. Điểm số và giá trị độ tin cậy trở thành đặc điểm của bộ phân loại và các cơ sở lý luận giúp đối tác bán hàng hiểu được kết quả. Để xây dựng nhãn đào tạo, một chuyên gia tiếp thị thương mại điện tử và bốn nhà chú thích chuyên nghiệp đã đánh giá độc lập 5.478 trang chi tiết sản phẩm từ 10 danh mục sản phẩm là chất lượng cao hay thấp, sử dụng cùng một tiêu chí. Chúng tôi đã đánh giá xếp hạng của họ và lấy đa số phiếu bầu để tạo ra một nhãn đồng thuận. Các lớp gần như cân bằng (chất lượng cao 49,6%), do đó, bộ phân loại không thể đạt điểm cao bằng cách dự đoán lớp đa số. Để đo độ tin cậy của nhãn, chúng tôi đã sử dụng kappa của Cohen, đo lường tần suất hai người đánh giá đồng ý sau khi tính đến thỏa thuận mà họ đạt được một cách tình cờ. Điểm 0 nghĩa là đồng ý không tốt hơn cơ hội, 1 nghĩa là đồng ý hoàn hảo và giá trị trên 0,8 thường được coi là mạnh. Mỗi người chú thích đạt điểm từ 0,845 đến 0,915 khi so sánh với nhãn đồng thuận.

Hình 2: Hiệu suất của chú thích và phân bổ độ khó của nội dung. Sự phân chia lớp gần bằng nhau loại trừ sự thiên vị của lớp đa số (trái) và sự phân bổ độ khó giải thích sự bất đồng còn sót lại (phải)

Chúng tôi đã so sánh bộ phân loại với đường cơ sở trên tập hợp giữ lại 20 phần trăm (khoảng 1.100 trang). Đường cơ sở tính trung bình bốn điểm VLM và áp dụng một ngưỡng cố định, do đó mọi thứ nguyên đều được tính như nhau. Đường cơ sở đạt độ chính xác 0,80 và điểm F1 là 0,84 ở loại chất lượng cao. Bộ phân loại CatBoost, được đào tạo trên cùng một điểm số, đạt độ chính xác 0,89 và điểm F1 là 0,90. Bởi vì bộ phân loại tìm hiểu mức độ quan trọng của mỗi thứ nguyên và cách các thứ nguyên tương tác, nên các dự đoán của nó phù hợp chặt chẽ hơn với các quyết định của chuyên gia. Đánh giá nội dung VLM hiệu suất cao với OCR VLM nắm bắt tốt ý nghĩa tổng thể và bố cục hình ảnh của một trang, nhưng chúng kém tin cậy hơn ở các vấn đề về khả năng đọc chi tiết, chẳng hạn như mức độ dày đặc của văn bản hoặc khoảng cách giữa các dòng. Nhờ nền tảng mô hình ngôn ngữ, họ cũng có thể ưu tiên những mô tả dài và chi tiết ngay cả khi khách hàng thích văn bản ngắn gọn mà họ có thể đọc lướt nhanh chóng. Trên một trang có nhiều văn bản, VLM có thể đánh giá thông tin sản phẩm dày đặc là hữu ích trong khi khách hàng gặp khó khăn khi đọc những câu dài được gói gọn trong một khu vực nhỏ. Để nắm bắt những vấn đề này, chúng tôi sử dụng mô hình nhận dạng ký tự quang học (OCR) được lưu trữ trên SageMaker AI Inference để trích xuất từng khối văn bản và vị trí của nó, sau đó tính toán bốn tín hiệu định lượng: Mật độ văn bản, Mật độ ký tự, Khoảng cách và Khả năng đọc tổng thể. Việc kết hợp các điểm OCR này với đánh giá trực quan và ngữ nghĩa của VLM sẽ bổ sung thêm thông tin bổ sung giúp cải thiện phân loại chất lượng. Từ kết quả đầu ra đó, chúng tôi tính toán bốn điểm dễ đọc:

Mật độ văn bản: Tỷ lệ diện tích trang được bao phủ bởi văn bản. Mật độ ký tự: Số lượng ký tự trên một đơn vị diện tích trang. Khoảng cách: Mức độ nhất quán và đầy đủ của khoảng trắng giữa các từ, dòng và đoạn văn. Khả năng đọc tổng thể: Tín hiệu tổng hợp từ ba điểm trước đó.

Vì những điểm số này phụ thuộc vào bố cục chứ không phải từ ngữ nên hai trang có nội dung giống hệt nhau có thể có điểm khác nhau. Mô hình tổng hợp kết hợp bốn điểm số VLM và bốn điểm OCR thành tám tính năng và huấn luyện bộ phân loại CatBoost trên cùng các nhãn chuyên gia. Bảng 1 so sánh nó với các mô hình được đào tạo riêng trên từng bộ tính năng, sử dụng cùng một bộ giữ lại 20%. Trên cùng một nhóm giữ lại 20 phần trăm, mô hình CatBoost chỉ sử dụng các tính năng OCR đạt được độ chính xác 0,82 và điểm F1 0,83, trong khi mô hình chỉ sử dụng các tính năng VLM đạt được 0,89 và 0,90. Mô hình OCR-VLM-CatBoost hợp nhất hoạt động tốt hơn cả hai mô hình độc lập, đạt độ chính xác 0,94 và điểm F1 0,95. Sự cải thiện 0,05 ở cả hai chỉ số so với mô hình chỉ VLM chứng tỏ rằng OCR không phải là tín hiệu thay thế. Nó bổ sung cho khả năng đánh giá toàn diện của VLM bằng thông tin chi tiết về khả năng đọc văn bản.

Cấu hình Độ chính xác Điểm F1

Đường cơ sở (điểm VLM trung bình + ngưỡng) 0,80 0,84

CatBoost chỉ có OCR 0,82 0,83

CatBoost chỉ dành cho VLM 0,89 0,90

CatBoost OCR-VLM hợp nhất 0,94 0,95

Đánh giá nội dung VLM có thể giải thích được bằng SHAP Chỉ riêng nhãn hiệu chất lượng sẽ không nói cho đối tác bán hàng biết cần khắc phục điều gì trước tiên. Để tìm xem yếu tố nào thúc đẩy từng quyết định, chúng tôi sử dụng SHApley Additive exPlanations (SHAP), chỉ định cho mỗi tính năng một giá trị cho biết mức độ đẩy dự đoán về chất lượng cao hay thấp. Vì điểm VLM và OCR cung cấp cho cùng một bộ phân loại nên SHAP đo lường cả hai trên một thang điểm chung. Điểm thô không thể làm được điều này: điểm Kể chuyện bằng hình ảnh là 6 và Mật độ nhân vật cao không cho bạn biết yếu tố nào quan trọng hơn đối với quyết định. Trên toàn bộ nhóm nắm giữ, các tính năng có ảnh hưởng nhất là Mật độ ký tự OCR (giá trị SHAP tuyệt đối trung bình là 1.1), Khả năng đọc tổng thể của OCR (1.0) và Kể chuyện bằng hình ảnh VLM (1.0). Tiếp theo là Bố cục A+ (0,8), Trình bày tính năng (0,6) và Tối ưu hóa chuyển đổi (0,4). Cả hai tính năng OCR và VLM đều xếp hạng gần đầu nên bộ phân loại phụ thuộc vào cả hai nguồn.

Hình 3: Phân phối giá trị SHAP toàn cầu cho tất cả các tính năng VLM và OCR

Đối với một trang riêng lẻ, SHAP hiển thị những tính năng nào đã hạ thấp quyết định. Đối với mỗi trang được phân loại là chất lượng thấp, chúng tôi xếp hạng tám tính năng theo giá trị SHAP, sau đó chuyển các tính năng tiêu cực nhất, danh mục sản phẩm và các phương pháp hay nhất về thương mại điện tử, cùng với các cơ sở lý luận của VLM, cho LLM, biến chúng thành các hành động cụ thể, được ưu tiên. Hình 4 cho thấy hai biểu đồ SHAP cục bộ với lý do LLM dựa trên kết quả SHAP, dành cho mẫu Nội dung A+ chất lượng thấp và chất lượng cao. Ví dụ: nếu Bố cục A+ có giá trị SHAP là -1,2 và Kể chuyện bằng hình ảnh có -0,3 thì hệ thống sẽ ưu tiên cơ cấu lại bố cục và cân bằng lại văn bản và hình ảnh, sau đó là cải tiến hình ảnh.

Hình 4: Hai phân phối giá trị SHAP cục bộ cho tất cả các tính năng VLM và OCR: (a) trường hợp chất lượng thấp, trong đó hầu hết các tính năng đều đóng góp tiêu cực và đưa ra đề xuất được yêu cầu cải tiến; (b) một trường hợp chất lượng cao, trong đó hầu hết các tính năng đều đóng góp tích cực Chúng tôi xác nhận tính hiệu quả của những đề xuất dựa trên lời giải thích này bằng cách đo lường điểm chất lượng sau khi các đối tác bán hàng sửa đổi nội dung của họ. Điểm chất lượng trung bình sau sửa đổi tăng 1,4 điểm trên thang điểm 10 trên một mẫu có ý nghĩa thống kê. Do đó, những đóng góp của SHAP có thể được chuyển từ những giải thích về quyết định thành các phương pháp và ưu tiên cải tiến có thể thực hiện được. Do đó, khả năng giải thích không chỉ đơn thuần là khả năng phụ trợ để hiểu mô hình. Nó hoạt động như một cơ chế phản hồi giúp cải thiện đáng kể chất lượng nội dung. Kết quả Hệ thống hoàn chỉnh chấm điểm từng ảnh chụp nhanh trang bằng VLM và OCR, kết hợp bốn điểm VLM và bốn điểm OCR thành một vectơ đặc trưng duy nhất và chuyển nó đến bộ phân loại CatBoost được đào tạo trên các nhãn chuyên gia. SHAP sau đó sẽ xác định những tính năng nào đã thúc đẩy từng quyết định. Để đo lường những gì mỗi thành phần bổ sung, chúng tôi đã so sánh bốn cấu hình trên cùng một nhóm giữ lại 20 phần trăm. Bộ tài liệu bao gồm 5.478 trang chi tiết sản phẩm thuộc 10 danh mục sản phẩm, bao gồm Nội thất, Giày dép, Hàng tạp hóa, Làm đẹp và Trang phục. Đường cơ sở tính trung bình bốn điểm VLM và áp dụng một ngưỡng cố định, do đó mọi thứ nguyên đều được tính như nhau. Nó đạt độ chính xác 0,80 và điểm F1 là 0,84. Việc huấn luyện bộ phân loại CatBoost trên cùng một điểm số cho phép mô hình tìm hiểu những thứ nguyên nào quan trọng nhất và cách chúng tương tác, điều này đã nâng độ chính xác lên 0,89 và F1 lên 0,90. Một bộ phân loại được đào tạo chỉ dựa trên điểm OCR đã đạt độ chính xác 0,82 và điểm F1 là 0,83. Kết hợp điểm VLM và OCR cho kết quả tốt nhất, với độ chính xác 0,94 và điểm F1 là 0,95. Đó là độ chính xác cao hơn 14 điểm phần trăm và F1 cao hơn 11 điểm so với đường cơ sở.

Hình 5: Độ chính xác và so sánh F1 giữa các cấu hình đánh giá VLM và OCR

Việc kiểm tra từng mức tăng hiệu suất một cách riêng biệt sẽ làm cho giá trị của phương pháp tích hợp trở nên rõ ràng hơn. Hiệu chuẩn CatBoost trước tiên làm giảm các giới hạn của ngưỡng cố định bằng cách tìm hiểu các trọng số theo kích thước cụ thể và ranh giới quyết định phi tuyến tính. Việc thêm các tính năng OCR sau đó sẽ cung cấp các tín hiệu dễ đọc văn bản mà VLM có thể bỏ lỡ. Nhìn chung, mô hình tổng hợp cuối cùng cải thiện độ chính xác thêm 0,14 và F1 thêm 0,11 so với đường cơ sở. Chúng tôi cũng đã thay đổi đường trục VLM trong một thử nghiệm bổ sung trên tập dữ liệu một danh mục chứa 499 dự án nội dung. Với biến thể VLM nhẹ hơn, đường cơ sở đạt được độ chính xác 0,74 và điểm F1 0,72, trong khi mô hình OCR-VLM-CatBoost đạt được 0,90 cho cả hai chỉ số. Với biến thể VLM có khả năng cao hơn, đường cơ sở đạt được độ chính xác 0,79 và điểm F1 0,84, trong khi mô hình nhiệt hạch đạt được 0,94 và 0,95. Phương pháp kết hợp đã cải thiện độ chính xác lần lượt là 0,16 và 0,15 cho hai VLM, chứng tỏ rằng các tính năng OCR bổ sung mang lại mức tăng nhất quán mà không phụ thuộc vào một mô hình nền tảng cụ thể. Để giảm chi phí phát triển trong khi vẫn duy trì quyền truy cập vào các mô hình nền tảng hiệu suất cao, hệ thống sẽ đóng băng VLM và chỉ huấn luyện bộ phân loại có chi phí thấp. Trong quá trình sản xuất, một thử nghiệm A/B trên toàn thế giới đã điều chỉnh mức độ hiển thị của Nội dung A+ chất lượng thấp dựa trên các quyết định về chất lượng của mô hình đã tạo ra sự cải thiện có ý nghĩa thống kê về Doanh số bán sản phẩm đặt hàng (OPS). Ngoài việc phù hợp chặt chẽ với đánh giá của chuyên gia, hệ thống tích hợp còn cung cấp tín hiệu chất lượng có thể hỗ trợ trải nghiệm của khách hàng và các quyết định kinh doanh trên quy mô lớn. Triển khai trên Amazon SageMaker AI Phần này mô tả cách triển khai kiến trúc từ đầu đến cuối trên Amazon SageMaker AI. Mỗi giai đoạn của quy trình từ hiển thị nội dung và chú thích của chuyên gia cho đến tính điểm VLM, trích xuất OCR, tổng hợp tính năng, đào tạo bộ phân loại, khả năng giải thích dựa trên SHAP và ánh xạ giám sát sản xuất tới khả năng SageMaker AI được quản lý. Thiết kế này giữ cho chi phí hoạt động thấp. Các bước sau đây hướng dẫn cách triển khai, kết nối và duy trì từng thành phần trong sản xuất.

Hình 6: Kiến trúc của hệ thống chất lượng nội dung trên Amazon SageMaker AI

1. Kết xuất ảnh chụp nhanh nội dung và nhập dữ liệu: Trải nghiệm Nội dung A+ hoàn chỉnh được hiển thị, ghi lại cách khách hàng thực sự nhìn thấy trang. Công việc xử lý SageMaker chạy các công việc kết xuất được đóng gói trong vùng chứa trên quy mô lớn, tách rời việc chuẩn bị dữ liệu khỏi hoạt động đào tạo và tính toán suy luận.
2. Tính điểm VLM và lưu trữ mô hình: Người chú thích gắn nhãn nội dung một cách độc lập bằng cách sử dụng phiếu đánh giá chất lượng. Nhãn đồng thuận tổng hợp của họ trở thành mục tiêu đào tạo. VLM cố định nhận từng ảnh chụp nhanh cộng với lời nhắc thang đánh giá và đưa ra bốn điểm từ 0 đến 10 (Kể chuyện bằng hình ảnh, Trình bày tính năng, Bố cục A+, Tối ưu hóa chuyển đổi), mỗi điểm có giá trị độ tin cậy và cơ sở lý luận. SageMaker AI Inference lưu trữ VLM với tùy chọn triển khai phù hợp với khối lượng công việc:

Điểm cuối thời gian thực để chấm điểm đồng bộ, độ trễ thấp cho từng danh sách. Điểm cuối không đồng bộ dành cho tải trọng lớn, chẳng hạn như ảnh chụp nhanh có độ phân giải cao, trong đó độ trễ nhỏ có thể chấp nhận được. Chuyển đổi hàng loạt để chấm điểm hàng loạt ngoại tuyến ở quy mô danh mục.

Các tùy chọn này hỗ trợ tự động mở rộng quy mô, cơ sở hạ tầng được quản lý và lựa chọn phiên bản GPU. Bạn có thể tùy ý sử dụng Công việc đào tạo SageMaker để điều chỉnh hoặc chắt lọc thêm VLM (ví dụ: bộ điều hợp Thích ứng cấp thấp (LoRA), chắt lọc kiến ​​thức thành mô hình nhỏ hơn) nếu các nhóm muốn có một biến thể chuyên biệt, có độ trễ thấp hơn. Hãy tránh điều này để việc hiệu chuẩn lại luôn tiết kiệm chi phí và không phụ thuộc vào VLM. 3. Trích xuất khả năng đọc OCR: Song song, OCR trích xuất các vị trí văn bản và hộp giới hạn từ mỗi ảnh chụp nhanh và tính toán bốn tín hiệu khả năng đọc: Mật độ văn bản, Mật độ ký tự, Khoảng cách và Khả năng đọc tổng thể. SageMaker JumpStart cung cấp các mô hình có thể triển khai một hành động, được đào tạo trước từ trung tâm mô hình của nó, tránh nhu cầu tìm nguồn, đóng gói và đánh giá các mô hình từ đầu. Các nhóm chọn một mô hình, tùy ý tinh chỉnh mô hình đó mà không cần quản lý cơ sở hạ tầng bằng cách sử dụng Tùy chỉnh mô hình không máy chủ của SageMaker trên nội dung thương mại điện tử và triển khai trực tiếp. Sau đó, SageMaker AI Inference lưu trữ mô hình OCR đã chọn làm điểm cuối. 4. Tổng hợp và lưu trữ tính năng: Cửa hàng tính năng SageMaker cung cấp cả quyền truy cập trực tuyến (suy luận có độ trễ thấp) và ngoại tuyến (đào tạo hàng loạt) cho cùng các tính năng, tránh sai lệch phân phối đào tạo. Các nhóm có thể chia sẻ các tính năng trong toàn tổ chức, vì vậy người tiêu dùng ở cấp dưới có thể sử dụng lại các tính năng được tuyển chọn tương tự. 5. Đào tạo trình phân loại: Trình phân loại CatBoost được đào tạo về vectơ đặc trưng tám chiều dựa trên các chú thích của chuyên gia để tìm hiểu các trọng số thứ nguyên không đồng nhất và ranh giới quyết định phi tuyến. Công việc đào tạo SageMaker có thể được sử dụng lại ở đây. Bạn có thể đăng ký trực tiếp các mô hình đã đào tạo vào Cơ quan đăng ký mô hình SageMaker để lập phiên bản, quy trình phê duyệt và triển khai sản xuất. 6. Khả năng giải thích và đề xuất SHAP: Công việc xử lý SageMaker hỗ trợ Mã xử lý Mang theo của riêng bạn (BYO), mã này bạn có thể sử dụng để rút ra các giá trị SHAP và mô hình số liệu về khả năng giải thích. 7. Giám sát sản xuất và đào tạo lại: Trong sản xuất, các mô hình ML xuống cấp một cách tự nhiên theo thời gian. mong muốn của khách hàng sự thay đổi hỗn loạn, ra mắt các loại mô-đun A+ mới, danh mục sản phẩm phát triển và thay đổi hành vi của người bán. Các kiểu tính điểm mà trình phân loại học được từ các chú thích lịch sử dần dần không còn phù hợp với ý nghĩa của chất lượng ngày nay, dẫn đến sự xói mòn độ chính xác thầm lặng nếu không được kiểm tra. Giám sát liên tục sẽ thu hẹp khoảng cách này bằng cách phát hiện khi phân phối dữ liệu trực tiếp hoặc dự đoán mô hình đã trôi đủ xa so với đường cơ sở đào tạo để đảm bảo hiệu chỉnh lại. SageMaker AI ModelOps cung cấp một tập hợp các ví dụ và tài nguyên để giúp bạn vận hành khối lượng công việc AI tổng quát và machine learning trên SageMaker AI. SageMaker AIOps cung cấp công cụ để theo dõi chất lượng dữ liệu, chất lượng mô hình và độ lệch phân bổ tính năng. SageMaker Pipelines cũng tự động hóa quy trình đào tạo lại từ đầu đến cuối khi vượt ngưỡng sai lệch. 8. Tạo nội dung dựa trên sự lan tỏa: Kết thúc vòng lặp, điểm chất lượng và các đề xuất bắt nguồn từ SHAP tạo điều kiện cho một mô hình lan truyền tạo ra nội dung hình ảnh A+ được cải thiện. Thay vì để người bán diễn giải các đề xuất và tạo nội dung mới từ đầu, hệ thống tạo ra nội dung trực quan sẵn sàng sử dụng (hình ảnh phong cách sống được nâng cấp, bố cục cân bằng lại hoặc ảnh chụp sản phẩm nâng cao) trực tiếp giải quyết các kích thước SHAP được gắn cờ là đóng góp tiêu cực nhất. Những nội dung được tạo và đề xuất cải thiện ngôn ngữ tự nhiên này được hiển thị cho người bán để họ có thể nâng cấp danh sách của mình trên amazon.com. Kết luận Trong bài đăng này, chúng tôi đã trình bày cách đánh giá các trang chi tiết sản phẩm khi khách hàng nhìn thấy chúng bằng cách hiển thị mỗi trang dưới dạng một ảnh chụp nhanh và chấm điểm bằng VLM. Chúng tôi cũng đã hướng dẫn cách triển khai hệ thống trên Amazon SageMaker AI. Chúng tôi xây dựng hệ thống xoay quanh ba mục tiêu. Để có khả năng thích ứng, chúng tôi giữ cố định VLM và huấn luyện bộ phân loại CatBoost theo điểm số theo tiêu chí đánh giá của nó, để hệ thống phù hợp với đánh giá của chuyên gia và có thể được cập nhật bằng một tác vụ ngắn chỉ dành cho CPU. Để đạt được hiệu suất, chúng tôi thêm điểm khả năng đọc OCR để bắt được các điểm có mật độ dày đặc hoặc khoảng cách kém. xt thì VLM bỏ sót. Để có thể giải thích, SHAP xác định những tính năng nào thúc đẩy từng quyết định và LLM biến những kết quả đó thành đề xuất ưu tiên cho đối tác bán hàng. Trên 5.478 trang chi tiết sản phẩm từ 10 danh mục sản phẩm, mô hình hợp nhất đạt độ chính xác 0,94 và điểm F1 0,95, cao hơn 14 và 11 điểm phần trăm so với điểm cơ bản trung bình. Các trang được sửa đổi bằng cách sử dụng đề xuất đã cải thiện điểm chất lượng của họ trung bình 1,4 điểm trên thang điểm 10. Tiêu chuẩn chất lượng nội dung khác nhau giữa các danh mục sản phẩm, ngôn ngữ và thị trường và chú thích chuyên môn của chúng tôi không thể thể hiện đầy đủ mọi ngữ cảnh. Tiếp theo, chúng tôi dự định đánh giá các phương pháp suy luận và xương sống VLM hiệu quả hơn để chạy hệ thống trên danh mục chung.

Về các tác giả