GEO: Generative Engine Optimization

GEO – Tối ưu hoá công cụ tạo sinh

• Pranjal Aggarwal: Viện Công nghệ Ấn Độ Delhi, New Delhi, [email protected]
• Vishvak Murahari: Đại học Princeton, Princeton, USA, [email protected]
• Tanmay Rajpurohit: Seattle, Hoa Kỳ, [email protected]
• Ashwin Kalyan: Seattle, Hoa Kỳ, [email protected]
• Karthik Narasimhan: Đại học Princeton, Princeton, Hoa Kỳ, [email protected]
• Ameet Deshpande: Đại học Princeton, Princeton, Hoa Kỳ, [email protected]

Tóm tắt

Sự ra đời của các mô hình ngôn ngữ lớn (LLM) đã mở ra một mô hình mới của các công cụ tìm kiếm sử dụng các mô hình tổng quát để thu thập và tóm tắt thông tin nhằm trả lời các truy vấn của người dùng.

Công nghệ mới nổi này, được chúng tôi chính thức hóa trong khuôn khổ thống nhất của các công cụ tạo ra (GE), có thể tạo ra các phản hồi chính xác và được cá nhân hóa, nhanh chóng thay thế các công cụ tìm kiếm truyền thống như Google và Bing. Công cụ sáng tạo thường đáp ứng các truy vấn bằng cách tổng hợp thông tin định cỡ từ nhiều nguồn và tóm tắt chúng bằng LLM. Mặc dù sự thay đổi này cải thiện đáng kể tiện ích người dùng và lưu lượng truy cập công cụ tìm kiếm tổng quát nhưng nó đặt ra thách thức lớn cho bên liên quan thứ ba – người tạo trang web và nội dung.

Do tính chất hộp đen và chuyển động nhanh của các công cụ tạo nội dung, người sáng tạo nội dung có rất ít hoặc không kiểm soát được thời điểm và cách thức nội dung của họ được hiển thị. Với động cơ tạo sinh vẫn tồn tại, chúng ta phải đảm bảo nền kinh tế sáng tạo không bị thiệt thòi.

Để giải quyết vấn đề này, chúng tôi giới thiệu Tối ưu hóa công cụ tạo sinh (GEO), mô hình mới đầu tiên hỗ trợ người sáng tạo nội dung cải thiện khả năng hiển thị nội dung của họ trong các phản hồi của công cụ tạo thông qua khung tối ưu hóa hộp đen linh hoạt để tối ưu hóa và xác định các chỉ số về khả năng hiển thị. Chúng tôi tạo điều kiện thuận lợi cho việc đánh giá có hệ thống bằng cách giới thiệu GEO-bench, một điểm chuẩn quy mô lớn cho các truy vấn đa dạng của người dùng trên nhiều miền chính, cùng với các nguồn web có liên quan để trả lời các truy vấn này. Thông qua đánh giá nghiêm ngặt, chúng tôi chứng minh rằng GEO có thể tăng khả năng hiển thị lên tới 40% trong các phản ứng của động cơ tạo sinh năng. Hơn nữa, chúng tôi cho thấy hiệu quả của các chiến lược này khác nhau giữa các tên miền, cho thấy sự cần thiết của các phương pháp tối ưu hóa dành riêng cho từng tên miền. Công việc của chúng tôi mở ra một biên giới mới trong các hệ thống khám phá thông tin, có ý nghĩa sâu sắc đối với cả nhà phát triển công cụ tạo sinh và người sáng tạo nội dung.

Ý tưởng CCS

Phương pháp tính toán → Xử lý ngôn ngữ tự nhiên; Học máy

Hệ thống thông tin → Tìm kiếm trên web và khám phá thông tin.

Từ khoá

mô hình tổng quát, công cụ tìm kiếm, bộ dữ liệu và điểm chuẩn (generative models, search engines, datasets and benchmarks).

Định dạng tham chiếu ACM: Pranjal Aggarwal, Vishvak Murahari, Tanmay Rajpurohit, Ashwin Kalyan, Karthik Narasimhan và Ameet Deshpande. 2024. GEO: Tối ưu hóa động cơ sáng tạo. Trong Kỷ yếu của Hội nghị ACM SIGKDD lần thứ 30 về Khám phá tri thức và khai thác dữ liệu (KDD ’24), ngày 25–29 tháng 8 năm 2024, Barcelona, ​​Tây Ban Nha. ACM, New York, NY, Mỹ, 12 trang. https://doi.org/10.1145/3637528.3671900

1. Giới thiệu

Việc phát minh ra các công cụ tìm kiếm truyền thống cách đây ba thập kỷ đã tạo ra một cuộc cách mạng trong việc truy cập và phổ biến thông tin trên toàn cầu. Mặc dù chúng rất mạnh mẽ và mở ra nhiều ứng dụng như nghiên cứu học thuật và thương mại điện tử nhưng chúng bị giới hạn trong việc cung cấp danh sách các trang web có liên quan cho truy vấn của người dùng. Tuy nhiên, sự thành công gần đây của các mô hình ngôn ngữ lớn đã mở đường cho các hệ thống tốt hơn như BingChat, SGE của Google và perplexity.ai kết hợp các công cụ tìm kiếm thông thường với các mô hình tổng quát. Wedub các công cụ tạo sinh (GE) của các hệ thống này vì chúng tìm kiếm thông tin và tạo ra các phản hồi đa phương thức bằng cách sử dụng nhiều nguồn. Về mặt kỹ thuật, các công cụ tạo sinh (Hình 2) truy xuất các tài liệu liên quan từ cơ sở dữ liệu (như internet) và sử dụng các mô hình thần kinh lớn để tạo ra phản hồi dựa trên các nguồn, đảm bảo sự phân bổ và cách thức để người dùng xác minh thông tin. Tính hữu ích của công cụ tạo sinh đối với các nhà phát triển và người dùng là điều hiển nhiên – người dùng truy cập thông tin nhanh hơn và chính xác hơn, trong khi các nhà phát triển tạo ra những phản hồi chính xác và được cá nhân hóa, cải thiện sự hài lòng của người dùng và doanh thu.

Tuy nhiên, công cụ tạo gây bất lợi cho bên liên quan thứ ba – người tạo trang web và nội dung. Công cụ tạo, trái ngược với các công cụ tìm kiếm truyền thống, loại bỏ nhu cầu điều hướng đến các trang web bằng cách trực tiếp cung cấp phản hồi chính xác và toàn diện, có khả năng làm giảm lưu lượng truy cập không phải trả tiền đến các trang web và ảnh hưởng đến khả năng hiển thị của chúng. Với hàng triệu doanh nghiệp nhỏ và cá nhân dựa vào lưu lượng truy cập trực tuyến và khả năng hiển thị để kiếm sống, các công cụ tạo sinh sẽ phá vỡ đáng kể nền kinh tế sáng tạo. Hơn nữa, tính chất hộp đen và quyền sở hữu của công cụ tạo ra gây khó khăn cho người sáng tạo nội dung có thể kiểm soát và hiểu cách nội dung của họ được tiếp thu và mô tả.

Hình 1: Phương pháp Tối ưu hóa Công cụ Tạo (GEO) được đề xuất của chúng tôi tối ưu hóa các trang web để tăng khả năng hiển thị của chúng trong các phản hồi của Công cụ Tạo. Sau đó, khung tối ưu hóa hộp đen của GEO cho phép chủ sở hữu trang web của trang web pizza, vốn thiếu khả năng hiển thị ban đầu, tối ưu hóa trang web của họ để tăng khả năng hiển thị trong Generative Engines. Hơn nữa, khuôn khổ chung của GEO cho phép người tạo nội dung xác định và tối ưu hóa các số liệu hiển thị tùy chỉnh của họ, giúp họ kiểm soát tốt hơn trong mô hình mới nổi này.

Trong công việc này, chúng tôi đề xuất khuôn khổ chung đầu tiên lấy người sáng tạo làm trung tâm để tối ưu hóa nội dung cho các công cụ tạo mà chúng tôi gọi là Tối ưu hóa công cụ tạo (GEO), để trao quyền cho người sáng tạo nội dung điều hướng mô hình tìm kiếm mới này. GEO là một khung tối ưu hóa hộp đen linh hoạt để tối ưu hóa khả năng hiển thị nội dung web cho các công cụ tạo nguồn đóng và độc quyền (Hình 1). GEO tiếp thu một trang web nguồn và đưa ra một phiên bản được tối ưu hóa bằng cách điều chỉnh và hiệu chỉnh cách trình bày, kiểu văn bản và nội dung để tăng khả năng hiển thị trong các công cụ tổng hợp.

Hơn nữa, GEO giới thiệu một khung linh hoạt để xác định các số liệu về khả năng hiển thị được thiết kế riêng cho các công cụ tạo ra vì khái niệm về khả năng hiển thị trong các công cụ tạo ra có nhiều sắc thái và nhiều mặt hơn so với các công cụ tìm kiếm truyền thống (Hình 3). Mặc dù xếp hạng trung bình trên trang phản hồi là thước đo tốt về khả năng hiển thị trong các công cụ tìm kiếm truyền thống, hiển thị danh sách tuyến tính các trang web, nhưng điều này không áp dụng cho các công cụ tổng hợp. Công cụ sáng tạo cung cấp các phản hồi có cấu trúc, phong phú và nhúng các trang web dưới dạng trích dẫn nội tuyến trong phản hồi, thường nhúng chúng với độ dài khác nhau, ở các vị trí khác nhau và với các phong cách đa dạng. Điều này đòi hỏi cần có các số liệu về khả năng hiển thị được thiết kế riêng cho các công cụ tạo, đo lường khả năng hiển thị của các nguồn được phân bổ trên nhiều thứ nguyên, chẳng hạn như mức độ liên quan và ảnh hưởng của trích dẫn đối với truy vấn, được đo lường thông qua cả lăng kính khách quan và chủ quan.

Để tạo điều kiện đánh giá trung thực và sâu rộng các phương pháp GEO, chúng tôi đề xuất GEO-bench, một điểm chuẩn bao gồm 10000 truy vấn từ các miền và nguồn khác nhau, được điều chỉnh cho các công cụ tổng hợp.

Thông qua đánh giá có hệ thống, chúng tôi chứng minh rằng các phương pháp Tối ưu hóa công cụ tạo được đề xuất của chúng tôi có thể tăng khả năng hiển thị lên tới 40% đối với các truy vấn đa dạng, cung cấp các chiến lược có lợi cho người sáng tạo nội dung. Trong số những điều khác, chúng tôi nhận thấy rằng việc bao gồm các trích dẫn, trích dẫn từ các nguồn có liên quan và số liệu thống kê có thể tăng cường đáng kể khả năng hiển thị nguồn, với mức tăng hơn 40% đối với các truy vấn khác nhau. Chúng tôi cũng chứng minh tính hiệu quả của Generative EngineOptimization trên Perplexity.ai, một công cụ tạo gen trong thế giới thực và chứng minh mức độ cải thiện khả năng hiển thị lên tới 37%. Tóm lại, đóng góp của chúng tôi gấp ba lần:

• (1) Chúng tôi đề xuất Generative Engine Optimization, thế hệ đầu tiên – khung tối ưu hóa phổ biến dành cho chủ sở hữu trang web để tối ưu hóa trang web của họ cho các công cụ tổng hợp. Tối ưu hóa Công cụ Tạo có thể cải thiện khả năng hiển thị của các trang web lên tới 40% trên nhiều truy vấn, tên miền và công cụ tạo hộp đen trong thế giới thực.
• (2) Khung của chúng tôi đề xuất một bộ toàn diện các chỉ số về khả năng hiển thị được thiết kế đặc biệt cho công cụ tạo và cho phép người tạo nội dung tối ưu hóa nội dung của họ một cách linh hoạt thông qua các số liệu về khả năng hiển thị tùy chỉnh.
• (3) Để thúc đẩy đánh giá trung thực về các phương pháp GEO trong công cụ tạo, chúng tôi đề xuất điểm chuẩn quy mô lớn đầu tiên bao gồm các truy vấn tìm kiếm đa dạng từ các miền và bộ dữ liệu trên phạm vi rộng được thiết kế đặc biệt cho Công cụ tạo.

Hình 2: Tổng quan về Generative Engines. Generative Engines chủ yếu bao gồm một tập hợp các mô hình tổng quát và công cụ tìm kiếm để truy xuất các tài liệu liên quan. Generative Engines lấy truy vấn của người dùng làm đầu vào và thông qua một loạt các bước sẽ tạo ra phản hồi cuối cùng dựa trên các nguồn được truy xuất với các thuộc tính nội tuyến.

2. Công thức và phương pháp

2.1 Xây dựng công cụ tạo

Mặc dù đã triển khai nhiều công cụ tạo cho hàng triệu người dùng nhưng hiện tại vẫn chưa có khung tiêu chuẩn. Chúng tôi cung cấp một mô phỏng phù hợp với nhiều thành phần mô-đun khác nhau trong thiết kế của chúng. Chúng tôi mô tả một công cụ tạo sinh, bao gồm một số mô hình tạo sinh phụ trợ và một công cụ tìm kiếm để truy xuất nguồn. Công cụ tạo sinh (GE) nhận truy vấn của người dùng 𝑞𝑢 và trả về phản hồi bằng ngôn ngữ tự nhiên 𝑟, trong đó 𝑃𝑈 thể hiện thông tin người dùng được cá nhân hóa. GE có thể được biểu diễn dưới dạng hàm:

𝑓𝐺𝐸 := (𝑞𝑢, 𝑃𝑈 ) → 𝑟

Công cụ tạo bao gồm hai thành phần quan trọng:

a.) Một tập hợp các mô hình tạo 𝐺 = {𝐺1, 𝐺2…𝐺𝑛}, mỗi mô hình phục vụ một mục đích cụ thể như định dạng lại hoặc tóm tắt truy vấn

b.) Một công cụ tìm kiếm 𝑆𝐸 trả về một tập hợp của các nguồn 𝑆 = {𝑠1, 𝑠2…𝑠𝑚} đưa ra câu hỏi 𝑞. Chúng tôi trình bày quy trình làm việc tiêu biểu trong Hình 2, tại thời điểm viết bài, quy trình này gần giống với thiết kế của BingChat. Quy trình làm việc này chia truy vấn đầu vào thành một tập hợp các truy vấn đơn giản hơn để công cụ tìm kiếm dễ dàng sử dụng hơn.

Với một truy vấn, mô hình sinh tạo xây dựng lại aquery, 𝐺1 = 𝐺𝑞𝑟 , tạo ra một tập hợp các truy vấn 𝑄1 = {𝑞1, 𝑞2…𝑞𝑛}, sau đó được chuyển đến công cụ tìm kiếm 𝑆𝐸 để truy xuất một tập hợp các nguồn được xếp hạng 𝑆 = {𝑠1 , 𝑠2, …, 𝑠𝑚}. Các tập nguồn 𝑆 này được chuyển sang mô hình tóm tắt 𝐺2 = 𝐺𝑠𝑢𝑚, tạo ra một bản tóm tắt 𝑆𝑢𝑚𝑗 cho mỗi nguồn trong 𝑆, dẫn đến tập tóm tắt (𝑆𝑢𝑚 = {𝑆𝑢𝑚1, 𝑆𝑢𝑚2, …, 𝑆𝑢𝑚𝑚}). Tập tóm tắt được chuyển đến mô hình tạo phản hồi 𝐺3 = 𝐺𝑟𝑒𝑠𝑝, tạo ra phản hồi tích lũy 𝑟 được hỗ trợ bởi các nguồn 𝑆. Trong công việc này, chúng tôi tập trung vào Công cụ tạo hội thoại một lượt, nhưng công thức có thể được mở rộng thành Công cụ tạo hội thoại nhiều lượt (Phụ lục A).

Phản hồi 𝑟 thường là một văn bản có cấu trúc với các trích dẫn được nhúng. Các trích dẫn rất quan trọng do xu hướng LLM tạo ra thông tin ảo giác.

Cụ thể, hãy xem xét một câu trả lời 𝑟 gồm các câu {𝑙1, 𝑙2…𝑙𝑜 }. Mỗi câu có thể được hỗ trợ bởi một tập hợp các trích dẫn là một phần của bộ tài liệu được truy xuất 𝐶𝑖 ⊂ 𝑆. Một công cụ tạo sinh lý tưởng phải đảm bảo tất cả các tuyên bố trong phản hồi đều được hỗ trợ bởi các trích dẫn có liên quan (khả năng thu hồi trích dẫn cao) và tất cả các trích dẫn đều hỗ trợ chính xác cho các tuyên bố mà chúng đang có liên quan đến (độ chính xác trích dẫn cao). Chúng tôi giới thiệu cho độc giả Hình 3 để biết phản hồi của công cụ tạo sinh đại diện.

2.2 Tối ưu hóa công cụ tạo

Sự ra đời của các công cụ tìm kiếm đã dẫn đến tối ưu hóa công cụ tìm kiếm (SEO), một quá trình giúp người tạo trang web tối ưu hóa nội dung của họ để cải thiện thứ hạng của công cụ tìm kiếm. Thứ hạng cao hơn tương quan với khả năng hiển thị và lưu lượng truy cập trang web tăng lên. Tuy nhiên, các phương pháp SEO truyền thống không thể áp dụng trực tiếp cho Generative Engines. Điều này là do, không giống như các công cụ tìm kiếm truyền thống, mô hình tổng quát trong các công cụ tạo sinh không bị giới hạn ở việc khớp từ khóa và việc sử dụng các mô hình ngôn ngữ trong việc nhập tài liệu nguồn và tạo phản hồi sẽ mang lại sự hiểu biết sâu sắc hơn về tài liệu văn bản và truy vấn của người dùng. Với các công cụ tổng hợp đang nổi lên nhanh chóng như mô hình cung cấp thông tin chính và SEO không được áp dụng trực tiếp; kỹ thuật mới là cần thiết. Để đạt được mục tiêu này, chúng tôi đề xuất Tối ưu hóa công cụ tạo sinh, một mô hình mới trong đó người sáng tạo nội dung hướng đến việc tăng khả năng hiển thị (hoặc ấn tượng) của họ trong các phản hồi của công cụ tạo sinh.

Chúng tôi xác định khả năng hiển thị của một trang web (còn được gọi là trích dẫn) 𝑐𝑖 trong phản hồi được trích dẫn 𝑟 theo chức năng 𝐼𝑚𝑝 (𝑐𝑖, 𝑟), mà người tạo trang web muốn tối đa hóa. Từ quan điểm của công cụ tạo sinh, mục tiêu là tối đa hóa khả năng hiển thị của trích dẫn phù hợp nhất với truy vấn của người dùng, tức là tối đa hóa

trong đó 𝑅𝑒𝑙 (𝑐𝑖, 𝑞, 𝑟) đo lường mức độ liên quan của trích dẫn 𝑐𝑖 cho truy vấn 𝑞 trong ngữ cảnh phản hồi 𝑟 và 𝑓 được xác định bởi thiết kế thuật toán chính xác của generativeengine và là một chức năng hộp đen đối với người dùng cuối. Hơn nữa, cả hai chức năng 𝐼𝑚𝑝 và 𝑅𝑒𝑙 đều mang tính chủ quan và chưa được xác định rõ ràng nhưng có tính chất tha thứ và chúng tôi định nghĩa chúng tiếp theo.

2.2.1 Ấn tượng đối với Động cơ tạo ra.

Trong SEO, ấn tượng (hoặc khả năng hiển thị) của trang web được xác định bởi thứ hạng trung bình của nó trên một loạt truy vấn. Tuy nhiên, bản chất đầu ra của công cụ tạo đòi hỏi các số liệu hiển thị khác nhau. Không giống như các công cụ tìm kiếm, Công cụ tạo kết hợp thông tin từ nhiều nguồn trong một phản hồi duy nhất. Các yếu tố như độ dài, tính độc đáo và cách gửi trước của trang web được trích dẫn sẽ quyết định khả năng hiển thị thực sự của trích dẫn. Do đó, như được minh họa trong Hình 3, trong khi xếp hạng đơn giản trên trang phản hồi đóng vai trò là số liệu hiệu quả về số lần hiển thị và khả năng hiển thị trong các công cụ tìm kiếm thông thường, các số liệu đó không thể áp dụng cho các phản hồi của công cụ tổng hợp.

Để giải quyết thách thức này, chúng tôi đề xuất một bộ số liệu về số lần hiển thị được thiết kế dựa trên ba nguyên tắc chính:

1.) Các số liệu phải phù hợp với người sáng tạo,

2.) Chúng phải dễ giải thích

3.) Chúng phải dễ hiểu bởi một phạm vi rộng phổ biến của người sáng tạo nội dung.

Số liệu đầu tiên trong số này, số liệu “Đếm từ”, là số từ được chuẩn hóa của các câu liên quan đến trích dẫn. Về mặt toán học, điều này được định nghĩa là:

Ở đây 𝑆𝑐𝑖 là tập hợp các câu trích dẫn 𝑐𝑖 , 𝑆𝑟 là tập hợp các câu trong phản hồi và |𝑠| là số từ trong câu 𝑠. Trong trường hợp một câu được trích dẫn từ nhiều nguồn, chúng tôi chia đều số từ cho tất cả các trích dẫn. Theo trực giác, số từ cao hơn tương quan với nguồn đóng vai trò quan trọng hơn trong câu trả lời và do đó, người dùng có khả năng tiếp xúc với nguồn đó cao hơn.

Hình 3: Các số liệu về Thứ hạng và Khả năng hiển thị rất đơn giản trong các công cụ tìm kiếm truyền thống, liệt kê các nguồn trang web theo thứ tự được xếp hạng với nội dung nguyên văn. Tuy nhiên, Generative Engine tạo ra các phản hồi có cấu trúc, phong phú, thường nhúng các trích dẫn vào một khối duy nhất xen kẽ với nhau. Điều này làm cho thứ hạng và khả năng hiển thị trở nên đa sắc thái và đa diện. Hơn nữa, không giống như các công cụ tìm kiếm, nơi nghiên cứu quan trọng đã được tiến hành để cải thiện khả năng hiển thị, việc tối ưu hóa khả năng hiển thị trong các phản hồi của công cụ tạo ra vẫn chưa rõ ràng. Để giải quyết những thách thức này, khung tối ưu hóa hộp đen của chúng tôi đề xuất một loạt số liệu hiển thị được thiết kế tốt mà người sáng tạo có thể sử dụng để đánh giá và tối ưu hóa hiệu suất trang web của họ, đồng thời cho phép người sáng tạo xác định số liệu hiển thị của họ.

Tuy nhiên, vì “Số lượng từ” không bị ảnh hưởng bởi thứ hạng của các trích dẫn (cho dù nó xuất hiện đầu tiên, chẳng hạn), chúng tôi đề xuất một phương pháp đếm điều chỉnh theo vị trí, giảm trọng số bằng một hàm suy giảm theo cấp số mũ của vị trí trích dẫn:

Theo trực giác, các câu xuất hiện đầu tiên trong phản hồi có khả năng cao hơn để được đọc, và yếu tố mũ trong định nghĩa 𝐼𝑚𝑝𝑝𝑤𝑐 sẽ ưu tiên trọng số cao hơn cho những trích dẫn như vậy. Do đó, một trang web được trích dẫn ở vị trí đầu có thể có ấn tượng cao hơn mặc dù có số lượng từ thấp hơn so với một trang web được trích dẫn ở giữa hoặc cuối phản hồi. Hơn nữa, việc chọn hàm suy giảm theo cấp số mũ được thúc đẩy bởi một số nghiên cứu cho thấy tỷ lệ nhấp chuột tuân theo quy luật sức mạnh như một hàm của thứ hạng trong các công cụ tìm kiếm. Trong khi các chỉ số ấn tượng trên là khách quan và có cơ sở vững chắc, chúng lại bỏ qua các khía cạnh chủ quan của tác động của các trích dẫn đối với sự chú ý của người dùng. Để giải quyết điều này, chúng tôi đề xuất chỉ số “Ấn tượng Chủ quan“, bao gồm các yếu tố như sự liên quan của tài liệu được trích dẫn đối với truy vấn của người dùng, ảnh hưởng của trích dẫn, tính độc đáo của tài liệu được trình bày bởi một trích dẫn, vị trí chủ quan, số lượng chủ quan, khả năng nhấp vào trích dẫn và sự đa dạng trong tài liệu được trình bày. Chúng tôi sử dụng G-Eval, công nghệ hiện đại nhất để đánh giá với các mô hình ngôn ngữ lớn (LLMs), để đo lường từng chỉ số phụ này.

2.2.2 Phương pháp Tối ưu hóa Động cơ Tạo Sinh cho trang web

Để cải thiện các chỉ số ấn tượng, các nhà sản xuất nội dung phải thực hiện thay đổi đối với nội dung trang web của họ. Chúng tôi trình bày một số chiến lược không phụ thuộc vào động cơ tạo sinh, được gọi là các phương pháp Tối ưu hóa Động cơ Tạo Sinh (GEO).

Về mặt toán học, mỗi phương pháp GEO là một hàm

𝑓 : 𝑊 → 𝑊 ′𝑖

trong đó:

• 𝑊 là nội dung web ban đầu
• 𝑊 ′ là nội dung đã được chỉnh sửa sau khi áp dụng phương pháp GEO.

Các thay đổi có thể từ những điều chỉnh về phong cách đơn giản đến việc tích hợp nội dung mới theo định dạng có cấu trúc. Một GEO được thiết kế tốt tương đương với một phương pháp tối ưu hóa kiểu hộp đen mà không cần biết chính xác thiết kế thuật toán của các động cơ tạo sinh, có thể tăng cường khả năng hiển thị của trang web và thực hiện các chỉnh sửa văn bản đối với 𝑊 mà không phụ thuộc vào các truy vấn cụ thể.

Đối với các thí nghiệm của chúng tôi, chúng tôi áp dụng các phương pháp Tối ưu hóa Động cơ tạo Sinh trên nội dung trang web bằng cách sử dụng một mô hình ngôn ngữ lớn, được yêu cầu thực hiện các thay đổi cụ thể về phong cách và nội dung cho trang web. Cụ thể, dựa trên phương pháp GEO xác định một tập hợp các đặc điểm mong muốn, nội dung nguồn sẽ được chỉnh sửa tương ứng. Chúng tôi đề xuất và đánh giá một số phương pháp như sau:

1. Cách viết có thẩm quyền: Chỉnh sửa phong cách văn bản của nội dung nguồn để trở nên thuyết phục và có thẩm quyền hơn.
2. Thêm thống kê: Chỉnh sửa nội dung để bao gồm các số liệu thống kê định lượng thay vì thảo luận định tính, bất cứ khi nào có thể.
3. Nhồi từ khóa: Chỉnh sửa nội dung để bao gồm nhiều từ khóa từ truy vấn, như mong đợi trong tối ưu hóa SEO cổ điển.
4. Trích dẫn nguồn: Thêm các trích dẫn liên quan từ các nguồn đáng tin cậy.
5. Thêm câu trích dẫn: Thêm các câu trích dẫn từ các nguồn đáng tin cậy.
6. Dễ hiểu: Đơn giản hóa ngôn ngữ của trang web.
7. Tối ưu hóa độ lưu loát: Cải thiện độ lưu loát của văn bản trên trang web.
8. Từ ngữ độc đáo: Thêm các từ ngữ độc đáo.
9. Thuật ngữ kỹ thuật: Thêm các thuật ngữ kỹ thuật bất cứ khi nào có thể.

Các phương pháp này bao gồm các chiến lược tổng quát đa dạng mà các chủ sở hữu trang web có thể nhanh chóng triển khai và sử dụng bất kể nội dung của trang web. Hơn nữa, ngoại trừ các phương pháp 3, 4 và 5, những phương pháp còn lại nâng cao cách trình bày nội dung hiện có để tăng tính thuyết phục hoặc sự hấp dẫn đối với động cơ tạo sinh, mà không cần thêm nội dung. Mặt khác, các phương pháp 3, 4 và 5 có thể yêu cầu một số hình thức nội dung bổ sung. Để phân tích sự cải thiện hiệu suất của các phương pháp của chúng tôi, cho mỗi truy vấn người dùng đầu vào, chúng tôi ngẫu nhiên chọn một trang web nguồn để tối ưu hóa và áp dụng từng phương pháp GEO riêng biệt trên cùng một nguồn. Chúng tôi xin giới thiệu độc giả đến Phụ lục B.4 để biết thêm chi tiết về các phương pháp GEO.

3. Thiết lập thí nghiệm

3.1 Động cơ tạo sinh được đánh giá

Theo các công trình trước đây , chúng tôi sử dụng thiết lập 2 bước cho thiết kế Động cơ tạo Sinh. Bước đầu tiên liên quan đến việc lấy các nguồn liên quan cho truy vấn đầu vào, tiếp theo là bước thứ hai, nơi một mô hình ngôn ngữ lớn (LLM) tạo ra một phản hồi dựa trên các nguồn đã lấy. Tương tự như các công trình trước, chúng tôi không sử dụng tóm tắt và cung cấp toàn bộ phản hồi cho mỗi nguồn. Do giới hạn độ dài ngữ cảnh và chi phí mở rộng theo cấp số bậc dựa trên kích thước ngữ cảnh của các mô hình transformer, chỉ có 5 nguồn hàng đầu được lấy từ công cụ tìm kiếm Google cho mỗi truy vấn. Thiết lập này mô phỏng gần gũi quy trình làm việc được sử dụng trong các công trình trước và thiết kế chung được áp dụng bởi các Động cơ tạo Sinh thương mại như you.com và perplexity.ai. Phản hồi sau đó được tạo ra bởi mô hình gpt3.5-turbo sử dụng cùng một lời nhắc như trong các công trình trước. Chúng tôi lấy mẫu 5 phản hồi khác nhau với Temperature = 0.7, để giảm thiểu sự sai lệch thống kê.

Hơn nữa, trong Phần C.1, chúng tôi đánh giá các phương pháp Tối ưu hóa Động cơ tạo Sinh tương tự trên Perplexity.ai, một động cơ tạo sinh đã được triển khai thương mại, nhấn mạnh khả năng tổng quát của các phương pháp Tối ưu hóa Động cơ tạo Sinh mà chúng tôi đề xuất.

3.2 Tiêu chuẩn: GEO-bench

Vì hiện tại không có bộ dữ liệu nào công khai chứa các truy vấn liên quan đến Động cơ tạo Sinh, chúng tôi đã xây dựng GEO-bench, một tiêu chuẩn bao gồm 10.000 truy vấn từ nhiều nguồn khác nhau, được điều chỉnh cho các động cơ tạo sinh, cùng với các truy vấn được tạo ra một cách tổng hợp. Tiêu chuẩn này bao gồm các truy vấn từ 9 nguồn khác nhau, mỗi nguồn được phân loại thêm dựa trên miền mục tiêu, độ khó, ý định truy vấn và các khía cạnh khác.

Bộ dữ liệu:

1. MS Macro
2. ORCAS-1
3. Natural Questions: [1, 6, 13]

Các bộ dữ liệu này chứa các truy vấn người dùng thực tế đã được ẩn danh từ Bing và Google Search. Ba bộ dữ liệu này đại diện cho tập hợp chung các bộ dữ liệu được sử dụng trong nghiên cứu liên quan đến công cụ tìm kiếm. Tuy nhiên, các Động cơ tạo Sinh sẽ phải đối mặt với những truy vấn khó khăn và cụ thể hơn nhiều, với mục đích tổng hợp câu trả lời từ nhiều nguồn thay vì chỉ tìm kiếm chúng. Để đạt được điều này, chúng tôi đã điều chỉnh một số bộ dữ liệu công khai khác:

4. AllSouls: Bộ dữ liệu này chứa các câu hỏi luận văn từ “Trường Đại học All Souls, Oxford.” Các truy vấn trong bộ dữ liệu này yêu cầu các Động cơ tạo Sinh thực hiện lý luận phù hợp để tổng hợp thông tin từ nhiều nguồn.

5. LIMA: chứa các câu hỏi thách thức yêu cầu các Động cơ tạo Sinh không chỉ tổng hợp thông tin mà còn thực hiện lý luận thích hợp để trả lời câu hỏi (ví dụ: viết một bài thơ ngắn, mã Python).

6. Davinci-Debtate chứa các câu hỏi tranh luận được tạo ra để kiểm tra các Động cơ tạo Sinh.

7. Perplexity.ai Discover: Các truy vấn này được lấy từ phần Discover của Perplexity.ai, nơi danh sách cập nhật các truy vấn đang thịnh hành trên nền tảng.

8. ELI-53: Bộ dữ liệu này chứa các câu hỏi từ subreddit ELI5, nơi người dùng đặt ra các câu hỏi phức tạp và mong đợi câu trả lời bằng ngôn ngữ đơn giản, dễ hiểu.

9. Các truy vấn do GPT-4 tạo ra: Để bổ sung sự đa dạng trong phân phối truy vấn, chúng tôi yêu cầu GPT-4 tạo ra các truy vấn từ nhiều lĩnh vực khác nhau (ví dụ: khoa học, lịch sử) và dựa trên ý định truy vấn (ví dụ: điều hướng, giao dịch) cũng như dựa trên độ khó và phạm vi của phản hồi được tạo ra (ví dụ: mở, dựa trên sự thật).

Tiêu chuẩn của chúng tôi bao gồm 10.000 truy vấn được chia thành 8.000, 1.000 và 1.000 cho các phân tách huấn luyện, xác thực và kiểm tra, tương ứng. Chúng tôi bảo tồn phân phối truy vấn trong thế giới thực, với tiêu chuẩn của chúng tôi chứa 80% truy vấn thông tin và 10% cho mỗi loại truy vấn giao dịch và điều hướng. Mỗi truy vấn được tăng cường với nội dung văn bản đã được làm sạch từ 5 kết quả tìm kiếm hàng đầu từ công cụ tìm kiếm Google.

Thẻ (Tags): Tối ưu hóa nội dung trang web thường yêu cầu các thay đổi có mục tiêu dựa trên miền của nhiệm vụ. Ngoài ra, người dùng của Tối ưu hóa Động cơ tạo Sinh có thể cần xác định một phương pháp phù hợp chỉ cho một tập hợp con của các truy vấn, xem xét nhiều yếu tố như miền, ý định của người dùng và bản chất của truy vấn. Để tạo điều kiện cho việc này, chúng tôi gán mỗi truy vấn với một trong bảy loại khác nhau. Để gán thẻ, chúng tôi sử dụng mô hình GPT-4 và xác minh thủ công độ chính xác và độ đầy đủ cao trên phân tách kiểm tra.

Tổng thể, GEO-bench bao gồm các truy vấn từ 25 miền đa dạng như Nghệ thuật, Sức khỏe và Trò chơi; nó có một loạt độ khó truy vấn từ đơn giản đến phức tạp; bao gồm 9 loại truy vấn khác nhau như thông tin và giao dịch; và bao gồm 7 phân loại khác nhau. Nhờ vào sự đa dạng được thiết kế đặc biệt, kích thước của tiêu chuẩn và tính chất thực tế của nó, GEO-bench là một tiêu chuẩn toàn diện để đánh giá các Động cơ tạo Sinh và phục vụ như một nền tảng kiểm tra tiêu chuẩn để đánh giá chúng cho nhiều mục đích trong công trình này và các công trình tương lai. Chúng tôi cung cấp thêm chi tiết về GEO-bench trong Phụ lục B.2.

3.3 Phương pháp GEO

Chúng tôi đánh giá 9 phương pháp GEO khác nhau đã được đề xuất như đã mô tả trong Phần 2.2.2. Chúng tôi so sánh chúng với một tiêu chuẩn cơ bản, đo lường chỉ số ấn tượng của các nguồn trang web chưa được chỉnh sửa. Chúng tôi đánh giá các phương pháp trên toàn bộ phân tách kiểm tra GEO-bench. Hơn nữa, để giảm thiểu độ biến thiên trong kết quả, chúng tôi thực hiện các thí nghiệm của mình trên năm hạt giống ngẫu nhiên khác nhau và báo cáo giá trị trung bình.

3.4 Các chỉ số đánh giá

Chúng tôi sử dụng các chỉ số ấn tượng như đã định nghĩa trong Phần 2.2.1. Cụ thể, chúng tôi áp dụng hai chỉ số ấn tượng:

1. Số lượng từ điều chỉnh theo vị trí: kết hợp giữa số lượng từ và số lượng vị trí. Để phân tích tác động của các thành phần riêng lẻ, chúng tôi cũng báo cáo điểm số trên hai chỉ số con riêng biệt.

2. Ấn tượng chủ quan: đây là một chỉ số chủ quan bao gồm bảy khía cạnh khác nhau:

• 2.1. tính liên quan của câu trích dẫn đối với truy vấn của người dùng,
• 2.2 ảnh hưởng của trích dẫn, đánh giá mức độ mà phản hồi được tạo ra phụ thuộc vào trích dẫn,
• 2.3 tính độc đáo của tài liệu được trình bày bởi một trích dẫn,
• 2.4 vị trí chủ quan, đánh giá sự nổi bật của vị trí của nguồn từ quan điểm của người dùng,
• 2.5 số lượng chủ quan, đo lường lượng nội dung được trình bày từ trích dẫn như được cảm nhận bởi người dùng,
• 2.6 khả năng người dùng nhấp vào trích dẫn,
• 2.7 sự đa dạng của tài liệu được trình bày.

Các chỉ số con này đánh giá những khía cạnh đa dạng mà các nhà sáng tạo nội dung có thể nhắm đến để cải thiện một hoặc nhiều lĩnh vực một cách hiệu quả. Mỗi chỉ số con được đánh giá bằng cách sử dụng GPT-3.5, theo một phương pháp tương tự như được mô tả trong G-Eval.

Trong G-Eval, một mẫu đánh giá dựa trên biểu mẫu được cung cấp cho mô hình ngôn ngữ, cùng với một phản hồi được tạo ra bởi GE có chứa các trích dẫn. Mô hình sẽ xuất ra một điểm số (được tính bằng cách lấy mẫu nhiều lần) cho mỗi trích dẫn. Tuy nhiên, vì điểm số G-Eval được hiệu chỉnh kém, chúng tôi chuẩn hóa chúng để có cùng trung bình và phương sai như Số lượng từ điều chỉnh theo vị trí nhằm tạo điều kiện cho một so sánh công bằng và có ý nghĩa. Chúng tôi cung cấp các mẫu chính xác được sử dụng trong Phụ lục B.3.

Bảng 1: Các chỉ số ấn tượng tuyệt đối của các phương pháp GEO trên GEO-bench. Hiệu suất được đo trên hai chỉ số và các chỉ số con của chúng. So với các tiêu chuẩn cơ bản, các phương pháp đơn giản như Nhồi từ khóa (Keyword Stuffing) thường được sử dụng trong SEO không đạt hiệu quả cao. Tuy nhiên, các phương pháp mà chúng tôi đề xuất như Thêm thống kê (Statistics Addition) và Thêm trích dẫn (Quotation Addition) cho thấy sự cải thiện hiệu suất mạnh mẽ trên tất cả các chỉ số. Các phương pháp tốt nhất cải thiện so với tiêu chuẩn cơ bản lần lượt là 41% và 28% trên Số lượng từ điều chỉnh theo vị trí và Ấn tượng chủ quan. Để dễ đọc, các điểm số Ấn tượng chủ quan được chuẩn hóa liên quan đến Số lượng từ điều chỉnh theo vị trí, dẫn đến các điểm số cơ bản tương tự.

Hơn nữa, tất cả các chỉ số ấn tượng được chuẩn hóa bằng cách nhân chúng với một hệ số cố định sao cho tổng số ấn tượng của tất cả các trích dẫn trong một phản hồi bằng 1. Trong phân tích của chúng tôi, chúng tôi so sánh các phương pháp bằng cách tính toán sự cải thiện tương đối trong ấn tượng. Đối với một phản hồi được tạo ra ban đầu 𝑟 từ các nguồn 𝑆𝑖 ∈ {𝑠1, . . . , 𝑠𝑚}, và một phản hồi đã được chỉnh sửa 𝑟 ′, sự cải thiện tương đối trong ấn tượng cho mỗi nguồn 𝑠𝑖 được đo bằng:

Phản hồi đã được chỉnh sửa 𝑟 ′ được tạo ra bằng cách áp dụng phương pháp GEO đang được đánh giá cho một trong các nguồn 𝑠𝑖. Nguồn 𝑠𝑖 được chọn để tối ưu hóa được chọn ngẫu nhiên nhưng vẫn giữ nguyên cho một truy vấn cụ thể qua tất cả các phương pháp GEO.

4. Kết quả

Chúng tôi đánh giá các phương pháp Tối ưu hóa Động cơ Tạo Sinh khác nhau được thiết kế để tối ưu hóa nội dung trang web nhằm cải thiện khả năng hiển thị trong các phản hồi của Động cơ Tạo Sinh, so sánh với một tiêu chuẩn cơ bản không có tối ưu hóa. Đánh giá của chúng tôi sử dụng GEO-bench, một tiêu chuẩn đa dạng về các truy vấn người dùng từ nhiều miền và bối cảnh khác nhau. Hiệu suất được đo bằng hai chỉ số: Số lượng từ điều chỉnh theo vị trí và Ấn tượng chủ quan. Chỉ số đầu tiên xem xét số lượng từ và vị trí trích dẫn trong phản hồi của Động cơ Tạo Sinh, trong khi chỉ số thứ hai tính toán nhiều yếu tố chủ quan, cung cấp một điểm số ấn tượng tổng thể.

Bảng 1 chi tiết các chỉ số ấn tượng tuyệt đối của các phương pháp khác nhau trên nhiều chỉ số. Kết quả cho thấy các phương pháp GEO của chúng tôi liên tục vượt trội hơn so với tiêu chuẩn cơ bản trên tất cả các chỉ số trong GEO-bench. Điều này chứng tỏ tính ổn định của các phương pháp này trước các truy vấn khác nhau, mang lại những cải thiện đáng kể mặc dù có sự đa dạng trong truy vấn. Cụ thể, các phương pháp có hiệu suất tốt nhất của chúng tôi, bao gồm Trích dẫn Nguồn (Cite Sources), Thêm Trích dẫn (Quotation Addition) và Thêm Thống kê (Statistics Addition), đạt được sự cải thiện tương đối từ 30-40% trên chỉ số Số lượng từ điều chỉnh theo vị trí và 15-30% trên chỉ số Ấn tượng chủ quan. Những phương pháp này, bao gồm việc thêm các thống kê liên quan (Thêm Thống kê), tích hợp các trích dẫn đáng tin cậy (Thêm Trích dẫn), và bao gồm các trích dẫn từ các nguồn đáng tin cậy (Trích dẫn Nguồn) trong nội dung trang web, yêu cầu thay đổi tối thiểu nhưng cải thiện đáng kể khả năng hiển thị trong các phản hồi của Động cơ Tạo Sinh, nâng cao cả độ tin cậy và sự phong phú của nội dung.

Thú vị thay, các thay đổi về phong cách như cải thiện độ lưu loát và khả năng đọc hiểu của văn bản nguồn (Tối ưu hóa Lưu loát và Dễ hiểu) cũng dẫn đến sự gia tăng khả năng hiển thị đáng kể từ 15-30%. Điều này gợi ý rằng các Động cơ Tạo Sinh không chỉ đánh giá nội dung mà còn cả cách trình bày thông tin.

Bảng 2: Thay đổi khả năng hiển thị thông qua các phương pháp GEO cho các nguồn với thứ hạng khác nhau trong Công cụ Tìm kiếm. GEO đặc biệt hữu ích cho các trang web có thứ hạng thấp hơn.

Hơn nữa, vì các mô hình sinh thường được thiết kế để tuân theo hướng dẫn, người ta có thể mong đợi một tông giọng thuyết phục và có thẩm quyền hơn trong nội dung trang web để tăng cường khả năng hiển thị. Tuy nhiên, chúng tôi không thấy sự cải thiện đáng kể nào, cho thấy rằng các Động cơ Tạo Sinh đã có phần ổn định với những thay đổi như vậy. Điều này nhấn mạnh nhu cầu của các chủ sở hữu trang web trong việc tập trung vào việc cải thiện cách trình bày và độ tin cậy của nội dung.

Cuối cùng, chúng tôi đánh giá việc nhồi nhét từ khóa, tức là thêm nhiều từ khóa liên quan vào nội dung trang web. Mặc dù phương pháp này được sử dụng rộng rãi cho Tối ưu hóa Công cụ Tìm kiếm, chúng tôi nhận thấy rằng những phương pháp này mang lại ít hoặc không có cải thiện nào trong các phản hồi của động cơ tạo sinh. Điều này nhấn mạnh nhu cầu của các chủ sở hữu trang web trong việc suy nghĩ lại về các chiến lược tối ưu hóa cho các động cơ tạo sinh, vì các kỹ thuật hiệu quả trong công cụ tìm kiếm có thể không mang lại thành công trong mô hình mới này.

5. Phân tích

5.1 Tối ưu hóa Động cơ Tạo Sinh theo miền cụ thể

Trong Mục 4, chúng tôi đã trình bày những cải tiến đạt được bởi GEO trên toàn bộ tiêu chuẩn GEO-bench. Tuy nhiên, trong các tình huống SEO thực tế, các tối ưu hóa theo miền cụ thể thường được áp dụng. Với điều này trong tâm trí, và xem xét rằng chúng tôi cung cấp các danh mục cho mỗi truy vấn trong GEO-bench, chúng tôi đi sâu vào hiệu suất của các phương pháp GEO khác nhau trong các danh mục này.

Bảng 3 cung cấp một phân tích chi tiết về các danh mục mà các phương pháp GEO của chúng tôi đã chứng minh được hiệu quả nhất. Một phân tích cẩn thận về những kết quả này tiết lộ một số quan sát thú vị. Ví dụ, phương pháp Chuyên quyền (Authoritative) cải thiện đáng kể hiệu suất trong các câu hỏi theo phong cách tranh luận và các truy vấn liên quan đến miền “lịch sử”. Điều này phù hợp với trực giác của chúng tôi, vì một hình thức viết thuyết phục hơn có khả năng mang lại giá trị cao hơn trong các cuộc tranh luận.

Tương tự, việc thêm trích dẫn thông qua Trích dẫn Nguồn (Cite Sources) đặc biệt có lợi cho các câu hỏi mang tính chất thực tế, có thể vì các trích dẫn cung cấp một nguồn xác minh cho các thông tin được trình bày, từ đó nâng cao độ tin cậy của phản hồi. Hiệu quả của các phương pháp GEO khác nhau thay đổi theo các miền. Ví dụ, như được chỉ ra ở hàng 5 của Bảng 3, các miền như ‘Luật & Chính phủ’ và các loại câu hỏi như ‘Ý kiến’ hưởng lợi đáng kể từ việc thêm các thống kê liên quan vào nội dung trang web, như được thực hiện bởi Thêm Thống kê (Statistics Addition). Điều này gợi ý rằng bằng chứng dựa trên dữ liệu có thể nâng cao khả năng hiển thị của một trang web trong các ngữ cảnh cụ thể. Phương pháp Thêm Trích dẫn (Quotation Addition) hiệu quả nhất trong các miền ‘Con người & Xã hội’, ‘Giải thích’, và ‘Lịch sử’. Điều này có thể là do những miền này thường liên quan đến các câu chuyện cá nhân hoặc sự kiện lịch sử, nơi mà các trích dẫn trực tiếp có thể thêm tính xác thực và chiều sâu cho nội dung. Tổng thể, phân tích của chúng tôi gợi ý rằng các chủ sở hữu trang web nên nỗ lực thực hiện các điều chỉnh nhắm mục tiêu theo miền cụ thể cho trang web của họ nhằm nâng cao khả năng hiển thị.

Bảng 3: Các danh mục hoạt động tốt nhất cho từng phương pháp GEO. Các chủ sở hữu trang web có thể chọn chiến lược GEO phù hợp dựa trên miền mục tiêu của họ.

Hình 4: Cải thiện tương đối khi sử dụng sự kết hợp của các chiến lược GEO. Việc sử dụng Tối ưu hóa Lưu loát (Fluency Optimization) và Thêm Thống kê (Statistics Addition) đồng thời mang lại hiệu suất tối đa. Cột bên phải nhất cho thấy việc sử dụng Tối ưu hóa Lưu loát cùng với các chiến lược khác là có lợi nhất.

5.2. Tối ưu hóa Nhiều Trang web

Trong bối cảnh đang phát triển của các Động cơ Tạo Sinh, các phương pháp GEO được kỳ vọng sẽ trở nên phổ biến, dẫn đến một kịch bản mà tất cả nội dung nguồn đều được tối ưu hóa bằng GEO. Để hiểu rõ những tác động, chúng tôi đã tiến hành đánh giá các phương pháp GEO bằng cách tối ưu hóa tất cả nội dung nguồn đồng thời, với kết quả được trình bày trong Bảng 2. Một quan sát quan trọng là tác động khác nhau của GEO đối với các trang web dựa trên thứ hạng của chúng trên các Trang Kết quả Tìm kiếm (SERP). Đặc biệt, các trang web có thứ hạng thấp, thường gặp khó khăn trong việc thu hút sự chú ý, hưởng lợi đáng kể hơn từ GEO. Điều này bởi vì các công cụ tìm kiếm truyền thống dựa vào nhiều yếu tố, chẳng hạn như số lượng liên kết ngược và sự hiện diện của miền, điều mà các nhà sáng tạo nhỏ rất khó đạt được. Tuy nhiên, vì các Động cơ Tạo Sinh sử dụng các mô hình sinh điều kiện dựa trên nội dung trang web, các yếu tố như xây dựng liên kết ngược sẽ không gây bất lợi cho các nhà sáng tạo nhỏ. Điều này được thể hiện qua những cải thiện tương đối về khả năng hiển thị được chỉ ra trong Bảng 2. Ví dụ, phương pháp Trích dẫn Nguồn (Cite Sources) đã dẫn đến sự tăng trưởng đáng kể 115,1% trong khả năng hiển thị cho các trang web xếp hạng thứ năm trên SERP, trong khi trung bình, khả năng hiển thị của trang web xếp hạng cao nhất giảm 30,3%.

Phát hiện này làm nổi bật tiềm năng của GEO như một công cụ để dân chủ hóa không gian kỹ thuật số. Nhiều trang web có thứ hạng thấp được tạo ra bởi các nhà sáng tạo nội dung nhỏ hoặc các doanh nghiệp độc lập, những người thường gặp khó khăn trong việc cạnh tranh với các tập đoàn lớn trong các kết quả tìm kiếm hàng đầu. Sự xuất hiện của các Động cơ Tạo Sinh có thể ban đầu có vẻ bất lợi cho những thực thể nhỏ hơn này. Tuy nhiên, việc áp dụng các phương pháp GEO mang lại cơ hội cho các nhà sáng tạo nội dung này cải thiện đáng kể khả năng hiển thị của họ trong các phản hồi của Động cơ Sinh. Bằng cách nâng cao nội dung của họ với GEO, họ có thể tiếp cận một đối tượng rộng hơn, tạo ra sự công bằng trong cuộc chơi và cho phép họ cạnh tranh hiệu quả hơn với các tập đoàn lớn.

Bảng 4: Các ví dụ đại diện về các phương pháp GEO tối ưu hóa trang web nguồn. Các phần bổ sung được đánh dấu bằng màu xanh lá cây và các phần xóa được đánh dấu bằng màu đỏ. Mà không cần thêm bất kỳ thông tin mới nào đáng kể, các phương pháp GEO đã tăng cường đáng kể khả năng hiển thị của nội dung nguồn.

5.3 Kết hợp các chiến lược GEO

Mặc dù các chiến lược GEO riêng lẻ mang lại những cải thiện đáng kể trong nhiều lĩnh vực, trên thực tế, chủ sở hữu trang web thường áp dụng nhiều chiến lược cùng lúc. Để nghiên cứu những cải thiện hiệu suất đạt được từ việc kết hợp các chiến lược GEO, chúng tôi xem xét tất cả các cặp kết hợp của 4 phương pháp GEO hàng đầu, bao gồm: Trích dẫn nguồn, Tối ưu hóa độ trôi chảy, Bổ sung thống kê và Bổ sung trích dẫn. Hình 4 hiển thị bản đồ nhiệt về mức cải thiện tương đối trong chỉ số khả kiến Số lượng Từ Điều chỉnh Theo Vị trí đạt được khi kết hợp các chiến lược GEO khác nhau.

Phân tích cho thấy rằng việc kết hợp các phương pháp Tối ưu hóa Công cụ Tạo Sinh có thể cải thiện hiệu suất, với sự kết hợp tốt nhất (Tối ưu hóa độ trôi chảy và Bổ sung thống kê) vượt trội hơn bất kỳ chiến lược GEO đơn lẻ nào trên 5,5%. Hơn nữa, Trích dẫn nguồn mang lại sự cải thiện đáng kể khi được sử dụng cùng với các phương pháp khác (Trung bình: 31,4%), mặc dù tương đối kém hiệu quả hơn khi được sử dụng riêng lẻ (thấp hơn 8% so với Bổ sung trích dẫn).

Những phát hiện này nhấn mạnh tầm quan trọng của việc nghiên cứu các phương pháp GEO theo tổ hợp, vì chúng có khả năng được các nhà sáng tạo nội dung sử dụng trong thực tế.

5.4 Phân tích định tính

Chúng tôi trình bày phân tích định tính về các phương pháp GEO trong Bảng 4, bao gồm các ví dụ đại diện cho việc các phương pháp GEO tăng cường khả năng hiển thị của nguồn với những thay đổi tối thiểu. Mỗi phương pháp tối ưu hóa một nguồn thông qua việc thêm hoặc xóa văn bản phù hợp.

Trong ví dụ đầu tiên, chúng ta thấy rằng chỉ cần thêm nguồn gốc của một tuyên bố có thể tăng đáng kể khả năng hiển thị trong câu trả lời cuối cùng, yêu cầu ít nỗ lực từ người tạo nội dung.

Ví dụ thứ hai cho thấy rằng việc thêm số liệu thống kê liên quan ở bất cứ nơi nào có thể sẽ đảm bảo tăng cường khả năng hiển thị nguồn trong phản hồi cuối cùng của công cụ tạo nội dung.

Cuối cùng, hàng thứ ba gợi ý rằng chỉ cần nhấn mạnh các phần của văn bản và sử dụng phong cách văn bản thuyết phục cũng có thể dẫn đến cải thiện khả năng hiển thị.

6. GEO tự nhiên: Thí nghiệm với Động cơ tạo sinh đã triển khai

Bảng 5: Các chỉ số ấn tượng tuyệt đối của các phương pháp GEO trên GEO-bench với Perplexity.ai làm GE. Trong khi các phương pháp SEO như Nhồi nhét từ khóa hoạt động kém hiệu quả, các phương pháp GEO được đề xuất của chúng tôi tổng quát hóa tốt với nhiều công cụ tạo nội dung, cải thiện đáng kể khả năng hiển thị nội dung.

Để tăng cường hiệu quả của các phương pháp Tối ưu hóa Công cụ Sinh tạo (Generative Engine Optimization – GEO) mà chúng tôi đề xuất, chúng tôi đã đánh giá chúng trên Perplexity.ai, một công cụ sinh tạo đã được triển khai thực tế với lượng người dùng lớn. Kết quả được trình bày trong Bảng 5. Tương tự như công cụ sinh tạo của chúng tôi, phương pháp Bổ sung Trích dẫn (Quotation Addition) đạt hiệu suất tốt nhất trên chỉ số Số lượng Từ Điều chỉnh theo Vị trí (Position-Adjusted Word Count) với mức cải thiện 22% so với cơ sở. Các phương pháp từng đạt hiệu suất tốt trong công cụ sinh tạo của chúng tôi như Trích dẫn Nguồn (Cite Sources) và Bổ sung Thống kê (Statistics Addition) cũng cho thấy mức cải thiện lần lượt lên đến 9% và 37% trên hai chỉ số. Các quan sát của chúng tôi, chẳng hạn như việc các phương pháp SEO truyền thống như Nhồi nhét Từ khóa (Keyword Stuffing) không hiệu quả, cũng được nhấn mạnh thêm khi phương pháp này kém hiệu quả hơn cơ sở 10%.

Kết quả này có ý nghĩa quan trọng vì ba lý do:

1. Chúng nhấn mạnh tầm quan trọng của việc phát triển các phương pháp GEO khác nhau để hỗ trợ người sáng tạo nội dung,
2. Chúng làm nổi bật tính tổng quát của các phương pháp GEO mà chúng tôi đề xuất trên các công cụ sinh tạo khác nhau,
3. Chúng chứng minh rằng người sáng tạo nội dung có thể trực tiếp áp dụng các phương pháp GEO dễ triển khai mà chúng tôi đề xuất, qua đó mang lại tác động cao trong thực tế.

Chúng tôi mời bạn đọc tham khảo Phụ lục C.1 để biết thêm chi tiết.

7. Các công trình liên quan

Tạo câu trả lời dựa trên bằng chứng: Các nghiên cứu trước đây đã sử dụng nhiều kỹ thuật khác nhau để tạo câu trả lời được hỗ trợ bởi nguồn tài liệu. Nakano và cộng sự đã huấn luyện GPT-3 để điều hướng các môi trường web nhằm tạo ra các câu trả lời có nguồn gốc rõ ràng. Tương tự, các phương pháp khác tìm kiếm nguồn tài liệu thông qua công cụ tìm kiếm để tạo câu trả lời. Nghiên cứu của chúng tôi hợp nhất các cách tiếp cận này và cung cấp một tiêu chuẩn chung để cải thiện các hệ thống này trong tương lai. Trong một bản thảo gần đây, Kumar và Lakkaraju đã chỉ ra rằng các chuỗi văn bản chiến lược có thể thao túng khuyến nghị của các mô hình ngôn ngữ lớn (LLM) để tăng cường khả năng hiển thị sản phẩm trong các công cụ tạo nội dung. Trong khi cách tiếp cận của họ tập trung vào việc tăng khả năng hiển thị sản phẩm thông qua văn bản đối kháng, phương pháp của chúng tôi giới thiệu các chiến lược không đối kháng để tối ưu hóa nội dung website nhằm cải thiện khả năng hiển thị trong kết quả tìm kiếm của công cụ tạo nội dung.

Mô hình ngôn ngữ bổ sung thông tin (Retrieval-Augmented Language Models): Nhiều nghiên cứu gần đây đã giải quyết vấn đề giới hạn bộ nhớ của các mô hình ngôn ngữ bằng cách tìm kiếm các nguồn thông tin liên quan từ cơ sở tri thức để hoàn thành nhiệm vụ. Tuy nhiên, công cụ Generative Engine cần tạo câu trả lời và cung cấp nguồn trích dẫn xuyên suốt câu trả lời. Hơn nữa, Generative Engine không bị giới hạn trong một loại văn bản duy nhất đối với cả đầu vào và đầu ra. Ngoài ra, khung hoạt động của Generative Engine không chỉ dừng lại ở việc tìm kiếm nguồn thông tin phù hợp mà còn bao gồm nhiều nhiệm vụ như cải tiến truy vấn, chọn nguồn tài liệu và đưa ra quyết định về cách thức và thời điểm thực hiện các nhiệm vụ đó.

Tối ưu hóa công cụ tìm kiếm (SEO): Trong gần 25 năm qua, đã có nhiều nghiên cứu tối ưu hóa nội dung web cho các công cụ tìm kiếm. Các phương pháp này được chia thành SEO trên trang (On-Page SEO), cải thiện nội dung và trải nghiệm người dùng, và SEO ngoài trang (Off-Page SEO), tăng cường uy tín của website thông qua xây dựng liên kết. Ngược lại, GEO (Generative Engine Optimization) xử lý một môi trường phức tạp hơn, liên quan đến đa phương tiện và các thiết lập hội thoại. Vì GEO được tối ưu hóa chống lại một mô hình tạo nội dung không chỉ dựa trên việc khớp từ khóa đơn giản, các chiến lược SEO truyền thống sẽ không phù hợp với các thiết lập của Generative Engine, nhấn mạnh nhu cầu cần có GEO.

8. Kết luận

Trong nghiên cứu này, chúng tôi xây dựng các công cụ tìm kiếm được tăng cường bằng các mô hình sinh nội dung mà chúng tôi gọi là generative engines (công cụ sinh nội dung). Chúng tôi đề xuất Generative Engine Optimization (GEO) nhằm hỗ trợ các nhà sáng tạo nội dung tối ưu hóa nội dung của họ trên các công cụ sinh nội dung.

Chúng tôi định nghĩa các chỉ số hiển thị (impression metrics) cho công cụ sinh nội dung và đề xuất cũng như phát hành GEO-bench: một bộ chuẩn đánh giá bao gồm các truy vấn người dùng đa dạng từ nhiều lĩnh vực và bối cảnh khác nhau, cùng với các nguồn liên quan cần thiết để trả lời các truy vấn đó. Chúng tôi đề xuất nhiều cách để tối ưu hóa nội dung cho các công cụ sinh nội dung và chứng minh rằng những phương pháp này có thể tăng khả năng hiển thị nguồn lên đến 40% trong các phản hồi của công cụ sinh nội dung.

Trong số các phát hiện, chúng tôi chỉ ra rằng việc bao gồm các trích dẫn, câu trích từ các nguồn liên quan, và thống kê có thể cải thiện đáng kể khả năng hiển thị nguồn. Hơn nữa, chúng tôi phát hiện sự phụ thuộc của hiệu quả các phương pháp GEO vào lĩnh vực truy vấn cũng như tiềm năng kết hợp nhiều chiến lược GEO cùng lúc. Chúng tôi đạt được những kết quả đầy hứa hẹn trên một công cụ sinh nội dung được triển khai thương mại với hàng triệu người dùng hoạt động, minh chứng cho tác động thực tiễn của nghiên cứu này.

Tóm lại, công trình của chúng tôi là nỗ lực đầu tiên trong việc chính thức hóa khái niệm GEO quan trọng và kịp thời, đồng thời phát hành các thuật toán và cơ sở hạ tầng (các bộ chuẩn đánh giá, tập dữ liệu, và chỉ số) nhằm thúc đẩy sự tiến bộ nhanh chóng của cộng đồng trong lĩnh vực công cụ sinh nội dung. Đây là bước đầu tiên hướng đến việc hiểu rõ tác động của công cụ sinh nội dung lên không gian kỹ thuật số và vai trò của GEO trong kỷ nguyên mới của công cụ tìm kiếm này.

9. Giới hạn

Mặc dù chúng tôi đã kiểm tra kỹ lưỡng các phương pháp đề xuất trên hai công cụ tạo nội dung, bao gồm một công cụ công khai, các phương pháp này có thể cần điều chỉnh theo thời gian khi các công cụ tạo nội dung (GEs) phát triển, tương tự như sự tiến hóa của SEO.

Thêm vào đó, mặc dù chúng tôi đã nỗ lực để đảm bảo các truy vấn trong GEO-bench của chúng tôi giống với các truy vấn thực tế, bản chất của các truy vấn có thể thay đổi theo thời gian, đòi hỏi phải cập nhật liên tục.

Hơn nữa, do tính chất “hộp đen” của các thuật toán công cụ tìm kiếm, chúng tôi chưa đánh giá cách các phương pháp GEO ảnh hưởng đến thứ hạng tìm kiếm. Tuy nhiên, chúng tôi lưu ý rằng các thay đổi do phương pháp GEO thực hiện là những thay đổi có mục tiêu trong nội dung văn bản, có một số điểm tương đồng với các phương pháp SEO, nhưng không ảnh hưởng đến các siêu dữ liệu khác như tên miền, liên kết ngược, v.v., do đó, ít có khả năng ảnh hưởng đến thứ hạng tìm kiếm.

Ngoài ra, khi các mô hình ngôn ngữ có độ dài ngữ cảnh lớn hơn trở nên kinh tế hơn, dự kiến rằng các mô hình tạo nội dung trong tương lai sẽ có thể tiếp nhận nhiều nguồn hơn, do đó làm giảm tác động của thứ hạng tìm kiếm.

Cuối cùng, mặc dù mọi truy vấn trong GEO-bench đề xuất của chúng tôi đều được gắn thẻ và kiểm tra thủ công, vẫn có thể xảy ra sự khác biệt do cách diễn giải chủ quan hoặc lỗi trong việc gắn nhãn.

10. Lời cảm ơn

Tài liệu này dựa trên công việc được hỗ trợ bởi Quỹ Khoa học Quốc gia (National Science Foundation) theo Hợp đồng Số 2107048. Mọi ý kiến, phát hiện và kết luận hoặc khuyến nghị được trình bày trong tài liệu này là của tác giả và không nhất thiết phản ánh quan điểm của Quỹ Khoa học Quốc gia.

References:

[1] Daria Alexander, Wojciech Kusa, and Arjen P. de Vries. 2022. ORCAS-I: Queries Annotated with Intent using Weak Supervision. Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval (2022). https://api.semanticscholar.org/CorpusID:248495926

[2] Prashant Ankalkoti. 2017. Survey on Search Engine Optimization Tools & Techniques. Imperial journal of interdisciplinary research 3 (2017). https://api.semanticscholar.org/CorpusID:116487363

[3] Akari Asai, Xinyan Velocity Yu, Jungo Kasai, and Hannaneh Hajishirzi. 2021. One Question Answering Model for Many Languages with Cross-lingual KDD ’24, August 25–29, 2024, Barcelona, Spain Pranjal Aggarwal et al. Dense Passage Retrieval. In Neural Information Processing Systems. https://api.semanticscholar.org/CorpusID:236428949

[4] Sergey Brin and Lawrence Page. 1998. The Anatomy of a Large-Scale Hypertextual Web Search Engine. Comput. Networks 30 (1998), 107–117. https://api.semanticscholar.org/CorpusID:7587743

[5] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. 2020. Language Models are Few-Shot Learners. In Advances in Neural Information Processing Systems, H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin (Eds.), Vol. 33. Curran Associates, Inc., 1877–1901. https://proceedings.neurips.cc/paper_files/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf

[6] Nick Craswell, Bhaskar Mitra, Emine Yilmaz, Daniel Fernando Campos, and Jimmy J. Lin. 2021. MS MARCO: Benchmarking Ranking Models in the Large-Data Regime. Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval (2021). https://api.semanticscholar.org/CorpusID:234336491

[7] Brian Dean. 2023. We Analyzed 4 Million Google Search Results. Here’s What We Learned About Organic Click Through Rate. https://backlinko.com/googlectr-stats Accessed: 2024-06-08.

[8] Danny Goodwin. 2011. Top Google Result Gets 36.4% of Clicks [Study]. https://www.searchenginewatch.com/2011/04/21/top-google-resultgets-36-4-of-clicks-study/

[9] Kelvin Guu, Kenton Lee, Zora Tung, Panupong Pasupat, and Ming-Wei Chang. 2020. REALM: Retrieval-Augmented Language Model Pre-Training. ArXivabs/2002.08909 (2020). https://api.semanticscholar.org/CorpusID:211204736

[10] Ziwei Ji, Nayeon Lee, Rita Frieske, Tiezheng Yu, Dan Su, Yan Xu, Etsuko Ishii, Ye Jin Bang, Andrea Madotto, and Pascale Fung. 2023. Survey of hallucination in natural language generation. Comput. Surveys 55, 12 (2023), 1–38.

[11] Aounon Kumar and Himabindu Lakkaraju. 2024. Manipulating Large Language Models to Increase Product Visibility. arXiv:2404.07981 [cs.IR] [12] R.Anil Kumar, Zaiduddin Shaik, and Mohammed Furqan. 2019. A Survey on Search Engine Optimization Techniques. International Journal of P2P Network Trends and Technology (2019). https://doi.org/10.14445/22492615/IJPTT-V9I1P402

[13] Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur P. Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, Kristina Toutanova, Llion Jones, Matthew Kelcey, Ming-Wei Chang, Andrew M. Dai, Jakob Uszkoreit, Quoc V. Le, and Slav Petrov. 2019. Natural Questions: A Benchmark for Question Answering Research. Transactions of the Association for Computational Linguistics 7 (2019), 453–466. https://api.semanticscholar.org/CorpusID:86611921

[14] Nelson F. Liu, Tianyi Zhang, and Percy Liang. 2023. Evaluating Verifiability in Generative Search Engines. ArXiv abs/2304.09848 (2023). https://api.semanticscholar.org/CorpusID:258212854

[15] Yang Liu, Dan Iter, Yichong Xu, Shuo Wang, Ruochen Xu, and Chenguang Zhu. 2023. G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment. ArXivabs/2303.16634 (2023). https://api.semanticscholar.org/CorpusID:257804696

[16] G. D. Maayan. 2023. How Google SGE will impact your traffic – and 3 SGE recovery case studies. Search Engine Land (5 Sep
2023). https://searchengineland.com/how-google-sge-will-impact-your-trafficand-3-sge-recovery-case-studies-431430

[17] Jacob Menick, Maja Trebacz, Vladimir Mikulik, John Aslanides, Francis Song, Martin Chadwick, Mia Glaese, Susannah Young, Lucy Campbell-Gillingham, Geoffrey Irving, and Nathan McAleese. 2022. Teaching language models to support answers with verified quotes. ArXiv abs/2203.11147 (2022). https://api.semanticscholar.org/CorpusID:247594830

[18] Grégoire Mialon, Roberto Dessì, Maria Lomeli, Christoforos Nalmpantis, Ramakanth Pasunuru, Roberta Raileanu, Baptiste Rozière, Timo Schick, Jane Dwivedi-Yu, Asli Celikyilmaz, Edouard Grave, Yann LeCun, and Thomas Scialom. 2023. Augmented Language Models: a Survey. ArXiv abs/2302.07842 (2023). https://api.semanticscholar.org/CorpusID:256868474

[19] Reiichiro Nakano, Jacob Hilton, S. Arun Balaji, Jeff Wu, Ouyang Long, Christina Kim, Christopher Hesse, Shantanu Jain, Vineet Kosaraju, William Saunders, Xu Jiang, Karl Cobbe, Tyna Eloundou, Gretchen Krueger, Kevin Button, Matthew Knight, Benjamin Chess, and John Schulman. 2021. WebGPT: Browser-assisted question-answering with human feedback. ArXiv abs/2112.09332 (2021). https://api.semanticscholar.org/CorpusID:245329531

[20] OpenAI. 2022. Introducing ChatGPT. https://openai.com/index/chatgpt/

[21] OpenAI, Josh Achiam, Steven Adler, Sandhini Agarwal, Lama Ahmad, Ilge Akkaya, Florencia Leoni Aleman, Diogo Almeida, Janko Altenschmidt, Sam Altman, Shyamal Anadkat, Red Avila, Igor Babuschkin, Suchir Balaji, Valerie Balcom, Paul Baltescu, Haiming Bao, Mohammad Bavarian, Jeff Belgum, Irwan Bello, Jake Berdine, Gabriel Bernadett-Shapiro, Christopher Berner, Lenny Bogdonoff, Oleg Boiko, Madelaine Boyd, Anna-Luisa Brakman, Greg Brockman, Tim Brooks, Miles Brundage, Kevin Button, Trevor Cai, Rosie Campbell, Andrew Cann, Brittany Carey, Chelsea Carlson, Rory Carmichael, Brooke Chan, Che Chang, Fotis Chantzis, Derek Chen, Sully Chen, Ruby Chen, Jason Chen, Mark Chen, Ben Chess, Chester Cho, Casey Chu, Hyung Won Chung, Dave Cummings, Jeremiah Currier, Yunxing Dai, Cory Decareaux, Thomas Degry, Noah Deutsch, Damien Deville, Arka Dhar, David Dohan, Steve Dowling, Sheila Dunning, Adrien Ecoffet, Atty Eleti, Tyna Eloundou, David Farhi, Liam Fedus, Niko Felix, Simón Posada Fishman, Juston Forte, Isabella Fulford, Leo Gao, Elie Georges, Christian Gibson, Vik Goel, Tarun Gogineni, Gabriel Goh, Rapha Gontijo-Lopes, Jonathan Gordon, Morgan Grafstein, Scott Gray, Ryan Greene, Joshua Gross, Shixiang Shane Gu, Yufei Guo, Chris Hallacy, Jesse Han, Jeff Harris, Yuchen He, Mike Heaton, Johannes Heidecke, Chris Hesse, Alan Hickey, Wade Hickey, Peter Hoeschele, Brandon Houghton, Kenny Hsu, Shengli Hu, Xin Hu, Joost Huizinga, Shantanu Jain, Shawn Jain, Joanne Jang, Angela Jiang, Roger Jiang, Haozhun Jin, Denny Jin, Shino Jomoto, Billie Jonn, Heewoo Jun, Tomer Kaftan, Łukasz Kaiser, Ali Kamali, Ingmar Kanitscheider, Nitish Shirish Keskar, Tabarak Khan, Logan Kilpatrick, Jong Wook Kim, Christina Kim, Yongjik Kim, Jan Hendrik Kirchner, Jamie Kiros, Matt Knight, Daniel Kokotajlo, Łukasz Kondraciuk, Andrew Kondrich, Aris Konstantinidis, Kyle Kosic, Gretchen Krueger, Vishal Kuo, Michael Lampe, Ikai Lan, Teddy Lee, Jan Leike, Jade Leung, Daniel Levy, Chak Ming Li, Rachel Lim, Molly Lin, Stephanie Lin, Mateusz Litwin, Theresa Lopez, Ryan Lowe, Patricia Lue, Anna Makanju, Kim Malfacini, Sam Manning, Todor Markov, Yaniv Markovski, Bianca Martin, Katie Mayer, Andrew Mayne, Bob McGrew, Scott Mayer McKinney, Christine McLeavey, Paul McMillan, Jake McNeil, David Medina, Aalok Mehta, Jacob Menick, Luke Metz, Andrey Mishchenko, Pamela Mishkin, Vinnie Monaco, Evan Morikawa, Daniel Mossing, Tong Mu, Mira Murati, Oleg Murk, David Mély, Ashvin Nair, Reiichiro Nakano, Rajeev Nayak, Arvind Neelakantan, Richard Ngo, Hyeonwoo Noh, Long Ouyang, Cullen O’Keefe, Jakub Pachocki, Alex Paino, Joe Palermo, Ashley Pantuliano, Giambattista Parascandolo, Joel Parish, Emy Parparita, Alex Passos, Mikhail Pavlov, Andrew Peng, Adam Perelman, Filipe de Avila Belbute Peres, Michael Petrov, Henrique Ponde de Oliveira Pinto, Michael, Pokorny, Michelle Pokrass, Vitchyr H. Pong, Tolly Powell, Alethea Power, Boris Power, Elizabeth Proehl, Raul Puri, Alec Radford, Jack Rae, Aditya Ramesh, Cameron Raymond, Francis Real, Kendra Rimbach, Carl Ross, Bob Rotsted, Henri Roussez, Nick Ryder, Mario Saltarelli, Ted Sanders, Shibani Santurkar, Girish Sastry, Heather Schmidt, David Schnurr, John Schulman, Daniel Selsam, Kyla Sheppard, Toki Sherbakov, Jessica Shieh, Sarah Shoker, Pranav Shyam, Szymon Sidor, Eric Sigler, Maddie Simens, Jordan Sitkin, Katarina Slama, Ian Sohl, Benjamin Sokolowsky, Yang Song, Natalie Staudacher, Felipe Petroski Such, Natalie Summers, Ilya Sutskever, Jie Tang, Nikolas Tezak, Madeleine B. Thompson, Phil Tillet, Amin Tootoonchian, Elizabeth Tseng, Preston Tuggle, Nick Turley, Jerry Tworek, Juan Felipe Cerón Uribe, Andrea Vallone, Arun Vijayvergiya, Chelsea Voss, Carroll Wainwright, Justin Jay Wang, Alvin Wang, Ben Wang, Jonathan Ward, Jason Wei, CJ Weinmann, Akila Welihinda, Peter Welinder, Jiayi Weng, Lilian Weng, Matt Wiethoff, Dave Willner, Clemens Winter, Samuel Wolrich, Hannah Wong, Lauren Workman, Sherwin Wu, Jeff Wu, Michael Wu, Kai Xiao, Tao Xu, Sarah Yoo, Kevin Yu, Qiming Yuan, Wojciech Zaremba, Rowan Zellers, Chong Zhang, Marvin Zhang, Shengjia Zhao, Tianhao Zheng, Juntang Zhuang, William Zhuk, and Barret Zoph. 2024. GPT-4 Technical Report. arXiv:2303.08774 [cs.CL] [22] A. Shahzad, Deden Witarsyah Jacob, Nazri M. Nawi, Hairulnizam Bin Mahdin, and Marheni Eka Saputri. 2020. The new trend for search engine optimization, tools and techniques. Indonesian Journal of Electrical Engineering and Computer Science 18 (2020), 1568. https://api.semanticscholar.org/CorpusID:213123106

[23] Kurt Shuster, Jing Xu, Mojtaba Komeili, Da Ju, Eric Michael Smith, Stephen Roller, Megan Ung, Moya Chen, Kushal Arora, Joshua Lane, Morteza Behrooz, W.K.F. Ngan, Spencer Poff, Naman Goyal, Arthur Szlam, Y-Lan Boureau, Melanie Kambadur, and Jason Weston. 2022. BlenderBot 3: a deployed conversational agent that continually learns to responsibly engage. ArXiv abs/2208.03188 (2022). https://api.semanticscholar.org/CorpusID:251371589

[24] Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, YaGuang Li, Hongrae Lee, Huaixiu Steven Zheng, Amin Ghafouri, Marcelo Menegali, Yanping Huang, Maxim Krikun, Dmitry Lepikhin, James Qin, Dehao Chen, Yuanzhong Xu, Zhifeng Chen, Adam Roberts, Maarten Bosma, Vincent Zhao, Yanqi Zhou, Chung-Ching Chang, Igor Krivokon, Will Rusch, Marc Pickett, Pranesh Srinivasan, Laichee Man, Kathleen Meier-Hellstern, Meredith Ringel Morris, Tulsee Doshi, Renelito Delos Santos, Toju Duke, Johnny Soraker, Ben Zevenbergen, Vinodkumar Prabhakaran, Mark Diaz, Ben Hutchinson, Kristen Olson, Alejandra Molina, Erin Hoffman-John, Josh Lee, Lora Aroyo, Ravi Rajakumar, Alena Butryna, Matthew Lamm, Viktoriya Kuzmina, Joe Fenton, Aaron Cohen, Rachel Bernstein, Ray Kurzweil, Blaise Aguera-Arcas, Claire Cui, Marian Croak, Ed Chi, and Quoc Le. 2022. LaMDA: Language Models for Dialog Applications. arXiv:2201.08239 [cs.CL] [25] Chunting Zhou, Pengfei Liu, Puxin Xu, Srini Iyer, Jiao Sun, Yuning Mao, Xuezhe Ma, Avia Efrat, Ping Yu, L. Yu, Susan Zhang, Gargi Ghosh, Mike Lewis, Luke Zettlemoyer, and Omer Levy. 2023. LIMA: Less Is More for Alignment. ArXivabs/2305.11206 (2023). https://api.semanticscholar.org/CorpusID:258822910