Danh sách mong muốn đánh giá ngang hàng của tôi

Nó đã được khoảng một tháng kể từ khi tôi đăng lên đây. Tại sao? Tôi đã đọc thay vì viết. Tôi đã xem xét các bài báo SIGCSE, bài báo ICSE, Giao dịch của IEEE về bài viết Kỹ thuật phần mềm, Giao dịch ACM trên bài báo Giáo dục điện toán. Tôi đã chỉnh sửa 7 bài nộp của sinh viên tiến sĩ tuyệt vời của tôi. Tôi đã hướng dẫn hai sinh viên học bổng nghiên cứu sau đại học NSF và một ứng dụng học cao học khác. Và tôi đã đọc vài chục đề cử Đại học xuất sắc của CRA.

Bây giờ, một số người không thích xem xét. Tôi thích nó, đặc biệt là đánh giá ngang hàng! Tôi (thỉnh thoảng) tìm hiểu về những ý tưởng mới, tôi giúp cộng đồng học thuật của mình cải thiện học bổng của mình và tôi có thể giải một loại câu đố rất cụ thể: tôi có thể nói gì trong 500 Lời 1000 sẽ thay đổi quan điểm của tác giả về tác phẩm của họ? Giáo viên trong tôi có cơ hội cố gắng suy luận từ một người nào đó viết về cách họ suy nghĩ, và sau đó tìm ra những từ thích hợp để thay đổi suy nghĩ của họ đối với thẩm mỹ nghiên cứu của riêng tôi. Tôi không phải lúc nào cũng thành công (đặc biệt là trong những tháng bận rộn như thế này), nhưng tôi thường rất vui khi làm việc đó.

Thật không may, nhiều nhà nghiên cứu trong cộng đồng của tôi không có nhiều đánh giá thú vị. Và tôi không đổ lỗi cho họ: chúng tôi nhận được các mốc thời gian ngắn, công việc tình nguyện chủ yếu là vô ơn (do ẩn danh), và hầu như không có bất kỳ tương tác nào với các tác giả hoặc đánh giá khác, ngoài các cuộc thảo luận không đồng bộ và rất không chính xác về các cuộc thảo luận kém, được thiết kế kém phần mềm nhóm như PCS hoặc EasyChair (không hề chống lại các nhà phát triển duy trì những điều này: bạn có những công việc khó khăn, có nguồn lực lớn chỉ giữ cho các trang web này hoạt động).

Sau 15 năm xem xét, tuy nhiên, có một vài điều mà tôi nghĩ có thể khiến mọi người thực sự thích nó, và sẽ khiến tôi muốn làm nhiều hơn nữa. Ở đây, danh sách mong muốn của tôi để đánh giá học tập ngang hàng.

Đánh giá theo các tiêu chí rõ ràng

Không có gì khiến tôi phát điên hơn một hộp có nội dung Viết Viết đánh giá của bạn ở đây. Các quy trình đánh giá ngang hàng hoàn toàn vô căn cứ này thất bại theo hai cách: chúng dẫn đến nhiều ý kiến ​​khác nhau về nghiên cứu, nhưng chúng cũng không báo hiệu cho những người đánh giá mới những khía cạnh nào của nghiên cứu về giá trị cộng đồng hoặc cách đánh giá chúng. Có một loại chỉ là một loại đánh giá, có vô hạn, và đó là một công việc biên tập viên để thu hẹp phạm vi.

Hội nghị quốc tế về Kỹ thuật phần mềm đã đạt được một số tiến bộ về vấn đề này gần đây, thêm các tiêu chí cụ thể như:

  • Âm thanh. Là các công trình tuyên bố được hỗ trợ bởi các lập luận và bằng chứng được trình bày?
  • Mới lạ. Làm thế nào nhiều công việc nâng cao kiến ​​thức của chúng tôi?
  • Trong trẻo. Làm thế nào rõ ràng là văn bản và trình bày của công việc?
  • Khả năng nhân rộng. Với một số chuyên môn về miền, công việc (kỹ thuật, thực nghiệm hoặc cách khác) có thể được nhân rộng?

Điều tuyệt vời về những điều này là họ giảm được nhiều hình thức thiên vị ngầm trong quá trình đánh giá, đánh giá các nhà phê bình để giải quyết từng chiều. Tôi đã sử dụng chúng để cấu trúc các đánh giá của mình và để đảm bảo rằng tôi đã công bằng với những gì ICSE muốn chọn.

Bây giờ, quá trình ICSE vẫn còn rất nhiều mong muốn. Những tiêu chí này không áp dụng cho tất cả các loại học bổng, loại trừ một số loại tác phẩm mới. Những người đánh giá có nhiều ý tưởng khác nhau về các tiêu chí này, điều này vẫn dẫn đến rất nhiều sự đa dạng trong các đánh giá của họ. Và ở đó, không có hướng dẫn nào từ các chủ tịch chương trình về nơi mà thanh bar: một bài báo có thể gặp ba trong số này khá tốt, nhưng thất bại ở tính mới, và vẫn được xuất bản? Và cái cuối cùng là khá dễ sửa: đăng những thứ này lên giấy gọi để mọi người biết những gì họ đã bị đánh giá.

Mặc dù có những hạn chế này, tôi nghĩ rằng tất cả các quy trình đánh giá ngang hàng nên có tiêu chí rõ ràng. Cộng đồng nên đến với nhau để tạo ra và phát triển chúng theo thời gian.

Người đánh giá đào tạo

Một trong những vấn đề với các tiêu chí rõ ràng ở trên là các nhà phê bình khác nhau có thể có khả năng nhất quán để đánh giá từng người trong số họ. Tại sao không? Bởi vì chúng tôi don dạy cho các nhà nghiên cứu xem xét nghiên cứu.

Tôi đã luôn luôn thấy đây là khoảng cách lớn nhất trong giáo dục tiến sĩ. Bằng tiến sĩ. sinh viên cần càng nhiều cơ hội để thực hành đánh giá nghiên cứu theo các tiêu chí rõ ràng càng tốt, nhưng rất ít người được mời xem xét cho đến khi họ cấp cao. Và nếu họ được mời xem xét, các hội nghị và tạp chí hiếm khi cung cấp cho họ bất kỳ đào tạo nào.

Tôi nhớ lần đầu tiên tôi xem xét cho một hội nghị. Đó là một bài báo CHI, có lẽ vào năm 2006 hoặc 2007, ngay trước khi tôi xóa xong bằng tiến sĩ. Tôi nhận được một hộp có ghi là Viết Viết đánh giá của bạn ở đây. Và Và suy nghĩ đầu tiên của tôi là, Cái gì tôi phải đánh giá? Mọi điều? Chỉ chia sẻ ý kiến ​​của tôi? Tôi có rất nhiều ý kiến, bạn có chắc tất cả chúng đều quan trọng không? Tất nhiên, tất cả chúng đều quan trọng, và những người khác cũng vậy, và vì vậy bài báo có điểm số rất khác nhau, có lẽ chỉ khiến các tác giả bối rối. Các đánh giá khác nhau mà tôi luôn nhận được tại CHI (và vẫn làm cho đến ngày nay) tiếp tục mất phương hướng.

Là một tiến sĩ. Cố vấn, tôi thất bại trong việc đào tạo sinh viên của tôi quá. Khi nào tôi dạy sinh viên tiến sĩ của mình để đánh giá người khác làm việc? Ai làm việc với tôi để họ đánh giá nếu xem xét là bí mật? Các nhóm đọc là một nơi để làm điều này, nhưng họ lại tập trung vào việc đọc những công việc tốt nhất và phù hợp nhất trong lĩnh vực này, chứ không phải trong công việc cần sự giúp đỡ. Hầu hết xem xét là các giấy tờ cần giúp đỡ.

Cá nhân, tôi không nghĩ rằng đó là một công việc cố vấn của Google để quyết định các tiêu chí mà các giấy tờ được xem xét. Tôi nghĩ rằng, một cộng đồng hàn lâm, một công việc học tập, và các hội nghị và tạp chí là nơi chúng tôi làm cho các tiêu chí này rõ ràng và đào tạo chúng. Lần tới khi tôi lập trình một cuộc hội thảo hoặc trở thành biên tập viên của một tạp chí, tôi sẽ đi đào tạo cho tất cả các nhà phê bình.

Xuất bản mọi thứ, bao gồm cả đánh giá

Khi tôi nói với mọi người về ý tưởng này, họ nghĩ tôi điên. Trước khi bạn nghĩ như vậy, hãy nghe tôi nói.

Đây là ý tưởng cơ bản: khi chúng tôi gửi một cái gì đó để xuất bản, chúng tôi nên tiến hành các quy trình đánh giá bình thường của mình, nhưng sau đó xuất bản bất cứ điều gì tác giả muốn xuất bản, với điều kiện tất cả các đánh giá về tác phẩm của họ cũng được công bố và mở ra để xem xét công khai hơn nữa bởi mọi người trong học viện. Ngoài ra, các tác giả có thể quyết định rút công việc của họ và cải thiện nó hơn nữa. Tương lai của đánh giá ngang hàng nên được mở, liên tục và minh bạch, với mọi tác phẩm trên thế giới phải chịu sự phê phán (kiểm duyệt) vĩnh cửu. Ví dụ, tôi sẽ có thể quay lại các bài báo cũ hơn được xuất bản trong Thư viện số ACM và đăng một bình luận, nói rằng, Giấy này là rác rưởi. Bài báo khác mà tôi đã xuất bản này có lý lẽ tốt hơn nhiều. Và tôi có thể làm điều tương tự với các đồng nghiệp của mình. Và tất cả mọi người, bao gồm cả công chúng, sẽ có thể xem các bình luận của chúng tôi về tất cả các công trình được công bố, cho phép truyền thông khoa học được tiến hành trước công chúng.

Tại sao làm điều này?

  • Đầu tiên, chúng tôi đã qua một thời gian khi chúng tôi phải lo lắng về chi phí in ấn. Lưu trữ là giá rẻ và tài liệu của chúng tôi là nhỏ.
  • Thứ hai, chúng tôi đã đọc và đánh giá mọi thứ. Điều gì có ý nghĩa trong việc thực hiện tất cả các văn bản và đánh giá đó, chỉ để 75% trong số đó không được đọc bởi các học viện?
  • Thứ ba, tại sao công việc gác cổng giả tạo mà chúng tôi tin là có giá trị, ngay cả khi công việc không hoàn hảo?
  • Thứ tư, bằng cách từ chối quá nhiều công việc, chúng tôi từ chối các ý tưởng và nỗ lực của cộng đồng của chúng tôi, đó là làm mất tinh thần.
  • Thứ tư, sự mờ đục của đánh giá ngang hàng đang gây tổn hại cho quan điểm của cộng đồng về khoa học. Chỉ cho họ cách làm xúc xích được làm.

Hầu hết các lập luận chống lại tầm nhìn ở trên đều hiểu rõ điều này: các học giả muốn sử dụng các ấn phẩm hội nghị và tạp chí để báo hiệu công đức, bên cạnh nghiên cứu sâu hơn. Chúng tôi phải từ chối các giấy tờ để các giấy tờ được chấp nhận có giá trị, họ nói, về mặt khác, làm sao chúng tôi biết công việc nào là tốt và xấu? Một điều nực cười về lập luận này là trong ngắn hạn và dài hạn chúng tôi không ' T độc quyền sử dụng ấn phẩm để quyết định công việc nào là tốt và xấu. Chúng tôi sử dụng thư giới thiệu, chúng tôi sử dụng giải thưởng giấy tốt nhất, chúng tôi sử dụng giải thưởng giấy có ảnh hưởng nhất 10 năm, chúng tôi xem xét trích dẫn. Tất cả chúng ta đều biết rằng các hội nghị và tạp chí - thậm chí là những tạp chí hàng đầu - có đầy đủ các bài báo rất hay, bởi vì các quy trình đánh giá ngang hàng của chúng tôi rất tuyệt. Có rất ít tác hại khi mất một tín hiệu khi chúng ta đã có quá nhiều.

Hơn nữa, chúng tôi đã đạt được những tín hiệu mới. Những loại hộp thoại về một tác phẩm được xuất bản đã xảy ra kể từ khi xuất bản? Ai nói về công việc? Làm thế nào họ nói về nó? Chỉ cần tưởng tượng cách đánh giá một ứng cử viên khoa sẽ thay đổi: nó sẽ không phải là một danh sách các bài báo được xuất bản, mà thay vào đó, một tập hợp các chủ đề sôi động về ý nghĩa và tầm quan trọng của một ấn phẩm - hoặc im lặng, nói điều khác.

Các lập luận khác chống lại tầm nhìn này tập trung vào nỗi sợ rằng mọi người đã giành được đánh giá của Google nữa nếu các đánh giá của họ trở nên công khai. Đối với tôi, đây chỉ là một dấu hiệu cho thấy chúng ta có thể giáo dục trí thức công cộng đúng cách. Có phải bản ngã của chúng ta mong manh đến mức ai đó nhìn thấy những lời phê bình có lý do của chúng ta sẽ phá vỡ danh tiếng của chúng ta? Hay chúng ta sợ rằng những lời phê bình của chúng ta không hợp lý?

Rõ ràng, có rất nhiều thứ để tìm ra một mô hình như vậy hoạt động. Nếu có bất kỳ cộng đồng nào có thể làm điều đó, thì đó là cộng đồng khoa học máy tính và thông tin, đặc biệt là tương tác giữa người và máy tính.

Băng thông giới hạn tầm nhìn của chúng tôi

Tất nhiên, thực hiện bất kỳ thay đổi nào ở trên đòi hỏi thời gian. Và cho rằng chúng tôi đã tình nguyện, thời gian có hạn. Một số người trong chúng ta cần phải cam kết một số thời gian của chúng tôi, đặc biệt là các giáo sư được thuê như chúng tôi, để biến những thay đổi này thành hiện thực. Hãy để thể hiện phần còn lại của học viện về những đánh giá ngang hàng có thể. Ai là người với tôi?