Thuật toán thuyết phục với AI Nudge

Kiểm tra thực tế có thể làm giảm sự lan truyền của những tin tức không đáng tin cậy. Nó cũng có thể làm đối diện.

(bài đăng này ban đầu xuất hiện trên civilservant.io)

Độc giả của r / worldnews trên reddit thường báo cáo tin tức lá cải cho người điều hành tình nguyện, yêu cầu họ cấm báo lá cải cho các bài báo giật gân của họ. Những câu chuyện được tô điểm này thu hút mọi người trong mắt, thu hút sự tranh cãi và được chú ý bởi thuật toán xếp hạng reddit, điều này làm cho chúng lan rộng hơn nữa.

Cấm tin tức lá cải có thể chấm dứt vòng phản hồi này, nhưng người điều hành cộng đồng cộng đồng trái ngược với lệnh cấm chăn. Để giải quyết câu đố này, người điều hành cần trả lời một câu hỏi tại trung tâm của các cuộc tranh luận về cái gọi là tin giả giả mạo: làm thế nào chúng ta có thể bảo vệ những người đóng góp Tự do trong khi cũng ảnh hưởng đến hành vi lẫn nhau của mọi người và thuật toán vì lợi ích của cộng đồng?

Mùa đông này, người điều hành đã làm việc với CivilServant để kiểm tra một ý tưởng: những tác động của việc khuyến khích kiểm tra thực tế đối với phản ứng với tin tức không đáng tin cậy là gì? Chúng tôi muốn xem cộng đồng r / worldnews sẽ phản hồi như thế nào. Chúng tôi cũng quan sát thấy hiệu ứng trên bảng xếp hạng reddit. Nếu các thuật toán reddit, diễn giải việc kiểm tra thực tế là phổ biến, các bài viết không đáng tin cậy có thể còn lan rộng hơn nữa.

Tin tức lá cải là khoảng 2,3% của tất cả các đệ trình cho cộng đồng 15 triệu thuê bao này thảo luận về tin tức bên ngoài Hoa Kỳ. Trong r / worldnews, 70 người điều hành xem xét khoảng 450 bài viết mỗi ngày và cho phép 68% các bài viết đó được giữ nguyên. Vì nó là một subreddit mặc định, hầu hết các độc giả reddit nhận được tin tức thế giới thông qua cộng đồng này. Trong khi phạm vi tiếp cận cộng đồng bị Facebook lấn át, r / worldnews có thể là nhóm duy nhất lớn nhất để thảo luận về tin tức thế giới ở bất cứ đâu trên internet nói tiếng Anh. Ngay cả những hiệu ứng nhỏ trong cộng đồng này cũng có thể tạo ra sự khác biệt lớn trong cách hàng triệu người hiểu được thông tin có khả năng không đáng tin cậy về thế giới.

Trong nghiên cứu của chúng tôi từ ngày 27 tháng 11 đến ngày 20 tháng 1, chúng tôi đã kiểm tra các tin nhắn khuyến khích cộng đồng kiểm tra thực tế và bỏ phiếu cho tin tức lá cải. Đây là những gì chúng tôi tìm thấy:

Hiệu quả của việc khuyến khích kiểm tra thực tế đối với hành vi của cộng đồng

Trong các cuộc thảo luận về việc đệ trình lá cải trên r / worldnews, việc khuyến khích kiểm tra thực tế làm tăng tỷ lệ bình luận với các liên kết trung bình gấp 2 lần và khuyến khích kiểm tra thực tế + bỏ phiếu có hiệu quả tương tự.

Hiệu quả của việc khuyến khích kiểm tra thực tế đối với các thuật toán Reddit

Quan sát trong hơn 24 giờ, chúng tôi cũng nhận thấy rằng trung bình, các bình luận dính vào khuyến khích kiểm tra thực tế đã làm giảm 2 lần số điểm đỏ của bài nộp lá cải, một hiệu ứng có ý nghĩa thống kê có khả năng ảnh hưởng đến thứ hạng trong subreddit. Khi chúng tôi cũng khuyến khích độc giả bỏ phiếu, hiệu ứng này biến mất.

AI Nudges: Thuyết phục thuật toán trong khi bảo tồn tự do

Các câu hỏi của chúng tôi về tin tức lá cải đã bổ sung một khía cạnh thuật toán cho câu hỏi quản trị cổ điển: làm thế nào những người có quyền lực có thể làm việc vì lợi ích chung trong khi giảm thiểu các ràng buộc đối với quyền tự do cá nhân?

chúng ta có thể thuyết phục các thuật toán hành xử khác nhau bằng cách thuyết phục mọi người hành xử khác nhau.

Trên internet, mọi người học cách sống với các hệ thống AI mà họ có thể điều khiển. Ví dụ, các tài xế Uber điều chỉnh lái xe để tối ưu hóa thu nhập của họ. Hành vi tập thể của chúng ta đã ảnh hưởng đến các hệ thống AI mọi lúc, nhưng cho đến nay, công chúng thiếu thông tin về ảnh hưởng thực sự đó là gì. Những kết quả mờ đục này có thể là một vấn đề khi các thuật toán thực hiện vai trò chính trong xã hội, như sức khỏe, an toàn và công bằng. Để giải quyết vấn đề này, một số nhà nghiên cứu đang thiết kế các hệ thống xã hội trong vòng lặp [4]. Những người khác đang phát triển các phương pháp để kiểm toán các thuật toán [5] [6]. Tuy nhiên, cả hai cách tiếp cận đều không cung cấp cách quản lý hành vi hàng ngày của các hệ thống có mã mà chúng ta có thể kiểm soát. Nghiên cứu của chúng tôi với r / worldnews cung cấp một hướng thứ ba; chúng ta có thể thuyết phục các thuật toán hành xử khác nhau bằng cách thuyết phục mọi người hành xử khác nhau.

Một số người có thể tự hỏi liệu thử nghiệm này có cấu thành thao túng phiếu bầu, điều này chống lại các chính sách của Reddit. Ghi chú dán của chúng tôi không vi phạm bất kỳ quy tắc reddit nào vì lợi ích cá nhân (chúng tôi cũng đã tạo ra các tài khoản giả mạo, cho mọi người biết cách bỏ phiếu hoặc tổ chức một khối bỏ phiếu). Nhưng chúng tôi đã chỉ ra rằng việc khuyến khích mọi người kiểm tra thực tế có ảnh hưởng có hệ thống đối với các thuật toán reddit.

Ý tưởng về AI AI thúc đẩy, cho chúng ta một cách suy nghĩ về những nỗ lực ủng hộ xã hội để tác động đến hành vi của con người và máy móc trong khi bảo vệ quyền tự do cá nhân. Richard Thaler và Cass Sunstein lần đầu tiên đề xuất về vấn đề này là cách để các tổ chức thực thi quyền lực của họ trong khi bảo vệ quyền tự do cá nhân [7]. So với việc cấm tin tức lá cải, việc AI khuyến khích kiểm tra thực tế là hành động chạm nhẹ nhất mà người điều hành có thể thực hiện. Không có người nào có khả năng chia sẻ tin tức, bình luận hoặc bỏ phiếu, nhưng ảnh khỏa thân của AI vẫn làm giảm sự lan truyền của những tin tức không đáng tin cậy.

Như Sunstein và Thaler chỉ ra, nó không phải lúc nào cũng rõ ràng nếu những can thiệp chạm nhẹ này sẽ có kết quả mong muốn. Đó là lý do tại sao chúng ta nên kiểm tra một cách có hệ thống các tác động của chúng, đặc biệt là khi các hệ thống chưa được kiểm tra có thể có kết quả không mong muốn.

Quản trị và đạo đức của AI Nudges

Ảnh khỏa thân từ các chính phủ và các thử nghiệm xã hội của các nền tảng trực tuyến thường thu hút những lời chỉ trích tương tự. Tôi nghĩ mọi người có quyền mong đợi trách nhiệm giải trình từ những người thực thi quyền lực. Bằng cách làm việc với những người điều hành tình nguyện, tôi đã có thể làm việc với mức độ minh bạch và trách nhiệm cao hơn so với điển hình trong điện toán xã hội. Tất cả các nghiên cứu của CivilServant đều được thiết kế với và bởi các nhóm kiểm duyệt, và tất cả các kết quả được tiết lộ trước tiên cho cộng đồng trong một cuộc phỏng vấn dưới quyền. Các thiết kế nghiên cứu của chúng tôi được liệt kê công khai trên Khung khoa học mở trước khi chúng tôi bắt đầu và tất cả mã của chúng tôi là nguồn mở. Chi tiết phân tích đầy đủ cũng được công khai, vì vậy bất cứ ai cũng có thể kiểm tra kết luận của chúng tôi. Điều duy nhất chúng tôi giữ lại là dữ liệu thực tế, vì chúng tôi tôn trọng quyền riêng tư của mọi người liên quan.

Nhìn chung, tôi hy vọng rằng AI thúc đẩy, đặc biệt là khi được dẫn dắt bởi chính cộng đồng, đưa ra một hướng thú vị cho công chúng để quản lý vai trò của các thuật toán trong xã hội, đồng thời bảo vệ quyền tự do cá nhân.

Nghiên cứu đã hoạt động như thế nào

Đối với thử nghiệm này, người điều hành bắt đầu với một danh sách các nguồn tin tức thường xuyên nhận được khiếu nại. Từ ngày 27 tháng 11 đến ngày 20 tháng 1, chúng tôi đã gán ngẫu nhiên mỗi liên kết lá cải mới vào một trong ba điều kiện: (a) không có bình luận dính, (b) một bình luận dính khuyến khích sự hoài nghi, (c) một bình luận dính khuyến khích sự hoài nghi + bỏ phiếu (chi tiết đầy đủ tại đây ).

Chúng tôi đã đăng thông điệp này lên đầu các cuộc thảo luận tin tức lá cải

Thứ hai khuyến khích mọi người kiểm tra thực tế bài viết và xem xét hạ cấp liên kết nếu họ có thể tìm thấy bằng chứng hỗ trợ cho tuyên bố của mình:

Thông điệp thứ hai này khuyến khích mọi người xem xét hạ cấp

Có thể ảnh hưởng đến hành vi kiểm tra thực tế Làm thế nào các thuật toán Reddit Xem các tin tức không đáng tin cậy?

Mặc dù chúng tôi tin tưởng rằng các độc giả r / worldnews sẽ giúp đỡ nếu người kiểm duyệt hỏi, chúng tôi cũng tự hỏi: nếu chúng tôi tăng bình luận về tin tức lá cải, chúng tôi có thể vô tình gây ra các thuật toán reddit để quảng bá các liên kết lá cải đó không?

Nếu kiểm tra thực tế làm tăng sự phổ biến của các nguồn tin tức không đáng tin cậy, cộng đồng có thể cần phải suy nghĩ lại về nơi để nỗ lực của họ. Đó là lý do tại sao người điều hành đã thử nghiệm một bình luận dính thứ hai, một trong đó khuyến khích người đọc xem xét hạ cấp.

Để kiểm tra tác động của các bình luận dính trên các thuật toán reddit, phần mềm CivilServant đã thu thập dữ liệu về điểm số của bài đăng cứ sau bốn phút. Nền tảng này không xuất bản chính xác những gì đi vào điểm số hoặc chính xác cách thức xếp hạng của nó hoạt động (tôi đã hỏi). Tuy nhiên, chúng tôi đã có thể dự đoán một cách đáng tin cậy thứ hạng trang HOT subreddit của một bài đăng từ tuổi và điểm số của nó (chi tiết đầy đủ ở đây). Về cơ bản, nếu kiểm tra thực tế có ảnh hưởng lớn đến điểm số của bài viết, thì có lẽ nó có ảnh hưởng đến xếp hạng Bài viết theo thời gian trên trang nhất của subreddit. Tôi đã thử nghiệm điều này theo hai cách: bằng cách so sánh điểm số sau 24 giờ và bằng cách mô hình hóa các thay đổi về điểm số theo thời gian.

Tôi đã sử dụng mô hình nhị thức âm tính để kiểm tra hiệu ứng về điểm số sau 24 giờ. Vì các thuật toán reddit đã đứng trong thử nghiệm của chúng tôi, việc khuyến khích kiểm tra thực tế đã khiến cho việc đệ trình lá cải nhận được 49,1% (thấp hơn 2,04 lần) số điểm gửi mà không có nhận xét dính, sau 24 giờ, trung bình trong r / worldnews. Hiệu quả có ý nghĩa thống kê. Trong mô hình này, tôi đã không tìm thấy một hiệu ứng từ các bình luận dính mà khuyến khích độc giả xem xét hạ cấp.

Tôi cũng đã kiểm tra ảnh hưởng của việc kiểm tra thực tế đến tốc độ tăng trưởng của điểm số bài viết theo thời gian. Để đặt câu hỏi này, tôi phù hợp với mô hình hồi quy tuyến tính chặn ngẫu nhiên trên điểm số được chuyển đổi nhật ký cho một bài đăng cứ sau bốn phút. Tôi thấy rằng việc kiểm tra thực tế đáng khích lệ khiến tốc độ tăng trưởng điểm thấp hơn. Ở đây, tôi đã thấy rằng bỏ phiếu đáng khích lệ thực sự có ảnh hưởng tích cực nhỏ đến tốc độ tăng trưởng về điểm số theo thời gian, trung bình. Vì chúng tôi đã chạy thử nghiệm trong khi thay đổi thuật toán reddit, vào đầu tháng 12 năm 2016, tôi cũng thấy rằng tác động của những bình luận dính trên thuật toán reddit có thể đã thay đổi sau khi reddit điều chỉnh thuật toán của nó (chi tiết).

Ai đã giúp kiểm tra thực tế các bài báo?

Trong số 930 bình luận không phải bot với các liên kết mà người điều hành được phép duy trì, 737 tài khoản người dùng đã đóng góp liên kết để làm bằng chứng. Trong số này, 133 tài khoản đã thực hiện nhiều hơn một bình luận với các liên kết. Nhiều người đã kiểm tra thực tế các bài nộp của chính họ, với những người gửi bài đăng 81 bình luận để biết thêm thông tin.

Những gì chúng ta có thể biết từ nghiên cứu này?

Thử nghiệm này xem xét kết quả trong các cuộc thảo luận thay vì các tài khoản cá nhân, vì vậy chúng tôi có thể biết được liệu những người cá nhân có bị thuyết phục hay hoài nghi hơn không, hoặc nếu các bình luận dính khiến những người đã nghi ngờ điều tra và chia sẻ. Tôi cũng không có bằng chứng nào về tác dụng của việc kiểm tra thực tế đối với độc giả, mặc dù các nghiên cứu khác cho thấy việc kiểm tra thực tế có ảnh hưởng đến niềm tin của độc giả [2] [3].

Nghiên cứu này có thể nói với chúng tôi nhiều về lý do tại sao chúng tôi thấy một sự thay đổi lớn như vậy trong các hiệu ứng thuật toán khi chúng tôi sửa đổi thông điệp bằng cách khuyến khích độc giả xem xét giảm giá. Sự khác biệt này có thể là một ví dụ về những gì các nhà tâm lý học gọi là phản ứng của hồi giáo, một sự phản kháng đối với các đề xuất từ ​​chính quyền. Hoặc nếu người gửi tin tức lo lắng rằng các liên kết của họ có thể bị hạ cấp, họ có thể yêu cầu trợ giúp, điều này giúp cân bằng hành vi của độc giả.

Điều này sẽ hoạt động với các loại liên kết khác, trong các tài liệu con khác, hoặc trên các trang web khác? Nghiên cứu này được giới hạn trong một cộng đồng cụ thể và danh sách các trang web. Mặc dù tôi nghi ngờ rằng nhiều cộng đồng độc giả trực tuyến lớn sẽ giúp kiểm tra các liên kết thực tế nếu người kiểm duyệt hỏi, những phát hiện của chúng tôi về thuật toán reddit có vị trí hơn nhiều.

Chúng tôi có thể trả lời những câu hỏi này nếu nhiều subreddits quyết định thử các thí nghiệm tương tự. Nếu bạn quan tâm, liên hệ với tôi trên reddit để thảo luận về việc chạy thử nghiệm tương tự và đăng ký cập nhật email.

Tìm hiểu thêm về thí nghiệm này

Tiến sĩ của tôi liên quan đến việc hỗ trợ các cộng đồng để kiểm tra hiệu quả của các hoạt động kiểm duyệt của chính họ. Tôi đã thiết kế thí nghiệm này cùng với người điều hành r / worldnews và nó đã được Ủy ban MIT phê chuẩn về việc sử dụng con người làm đối tượng thử nghiệm. Nếu bạn có bất kỳ câu hỏi hoặc mối quan tâm, xin vui lòng liên hệ với nHRatias trên redditmail.

Thử nghiệm này, giống như tất cả các nghiên cứu của tôi về reddit cho đến nay, được tiến hành độc lập với nền tảng reddit, người không có vai trò trong việc lập kế hoạch hoặc thiết kế thử nghiệm. Thí nghiệm chưa được đánh giá ngang hàng. Tất cả các kết quả từ CivilServant được đăng công khai trở lại các cộng đồng liên quan ngay khi kết quả sẵn sàng, với các ấn phẩm học thuật đến sau.

Chi tiết đầy đủ của thí nghiệm đã được công bố trước trong kế hoạch phân tích trước tại osf.io/hmq5m/. Nếu bạn quan tâm đến số liệu thống kê, tôi đã công bố đầy đủ các chi tiết của phân tích.

Người giới thiệu

[1] Salganik, M. J., & Watts, D. J. (2008). Dẫn dắt lạc lối: Một nghiên cứu thực nghiệm về những lời tiên tri tự hoàn thành trong một thị trường văn hóa nhân tạo. Tâm lý học xã hội hàng quý, 71 (4), 338 Đỉnh355.

[2] Stephan Lewandowsky, Ullrich K. H. Ecker, Colleen M. Seifert, Norbert Schwarz và John Cook. Thông tin sai lệch và sửa chữa của nó tiếp tục ảnh hưởng và gỡ rối thành công. Khoa học tâm lý vì lợi ích công cộng, 13 (3): 106 trừ131, tháng 12 năm 2012.

[3] Thomas Wood và Ethan Porter. Hiệu ứng Backfire khó nắm bắt: Thái độ đại chúng Nghiêm túc tuân thủ thực tế. ID giấy học thuật SSRN 2819073, Mạng nghiên cứu khoa học xã hội, Rochester, NY, tháng 8 năm 2016.

[4] Rahwan, Iyad (2016) Hiệp hội xã hội: Lập trình hợp đồng xã hội thuật toán. Trung bình

[5] Christian Sandvig, Kevin Hamilton, Karrie Karahalios và Cedric Langbort. 2014. Thuật toán kiểm toán: Phương pháp nghiên cứu phát hiện phân biệt đối xử trên nền tảng internet. Dữ liệu và phân biệt đối xử: Chuyển đổi các mối quan tâm quan trọng thành Điều tra năng suất, Hội nghị thường niên của Hiệp hội truyền thông quốc tế, 2014

[6] Diakopoulos, N., & Koliska, M. (2016). Thuật toán minh bạch trong các phương tiện truyền thông tin tức. Báo chí kỹ thuật số, 1 Tiếng20.

[7] Thaler, R. H., & Sunstein, C. R. (2003). Chủ nghĩa gia trưởng tự do. Tạp chí kinh tế Mỹ, 93 (2), 175 Ảo179.