Học tập hợp tác giữa người và máy

Vadim Tschernezki, Moin Nabi và Tassilo Klein (ML Research Berlin)

Chúng tôi đã bước vào một kỷ nguyên mới, nơi chúng tôi đang trải qua một sự cải thiện mạnh mẽ và ổn định về sức mạnh tính toán, lưu trữ và tính sẵn có của dữ liệu lớn. Học sâu đã được chứng minh là kỹ thuật lý tưởng để tận dụng các xu hướng này, thiết lập bản thân như một tiêu chuẩn thực tế trong học tập có giám sát. Tuy nhiên, kiểu học này đòi hỏi dữ liệu phải được dán nhãn, thường kéo theo chi phí đáng kể trong việc quản lý dữ liệu. Do đó, các mô hình thay thế đang xuất hiện cho phép tối đa hóa tiềm năng của lượng lớn thông tin theo một cách mới và khác biệt. Trong bài đăng trên blog này, chúng tôi giới thiệu một khái niệm kết hợp các điểm mạnh của con người và máy móc theo cách hợp tác. Nhưng trước khi đi sâu vào chi tiết hơn, hãy bắt đầu với một câu chuyện chứng minh lợi ích của phương pháp này.

Năm 1997, Garry Kasparov đã bị đánh bại bởi một siêu máy tính (Deep Blue) trong một trận đấu cờ theo quy định của giải đấu. Đó là một sự kiện tiêu biểu, nơi một nhà vô địch cờ vua thế giới trị vì đã bị đánh bại bởi một cỗ máy. Trong khi Kasparov vẫn đang hồi phục từ trải nghiệm này, anh cũng đã lấy cảm hứng từ Deep Blue. Anh tự hỏi: Nếu tôi có thể chơi với máy tính - với một máy tính khác ở bên cạnh - kết hợp sức mạnh của chúng tôi, trực giác của con người cộng với tính toán máy, chiến lược của con người, chiến thuật máy móc, kinh nghiệm của con người, bộ nhớ máy?

Ý tưởng về sự hợp tác giữa người và máy trong cờ vua của Kasparov đã được hiện thực hóa thành công vào năm 2005 trong một giải đấu cờ vua trực tuyến có sự trợ giúp của máy tính, nơi các đại kiện tướng hợp tác với các siêu máy tính. Kết quả khá bất ngờ: người chiến thắng là một cặp cờ vua nghiệp dư người Mỹ điều hành ba PC bình thường cùng một lúc. Dường như, trong trường hợp này, kỹ năng của người chơi để hướng dẫn các máy tính đóng một vai trò rất quan trọng. Điều này đặt ra câu hỏi liệu loại cộng tác như vậy cũng có thể được sử dụng cho các nhiệm vụ khác. Các đoạn sau đây sẽ làm sáng tỏ các phương pháp tiếp cận mới nổi trong bối cảnh này.

Cách tiếp cận và xu hướng

Máy là đồng nghiệp, không chỉ là công cụ

Khi so sánh con người và máy móc, hiển nhiên là cả hai bên đều có những đặc điểm và thế mạnh rất độc đáo. Con người rất giỏi trong việc đưa ra quyết định trực quan và sáng tạo dựa trên kiến ​​thức của họ. Máy tính rất giỏi trong việc xử lý lượng dữ liệu khổng lồ để tạo ra thông tin có ý nghĩa cô đọng để thu được kiến ​​thức mới và đưa ra quyết định tốt hơn. Tận dụng sức mạnh tổng hợp của những thế mạnh đặc biệt này dường như là một bước tiếp theo tự nhiên.

Trong nghiên cứu, những sự kết hợp như vậy đã được khám phá sâu hơn trong những năm qua và đang dần có nhiều động lực hơn. Một cách tiếp cận đã được đề xuất bởi Mintz et al. sử dụng dữ liệu chưa được gắn nhãn để tăng cường các mô hình trích xuất quan hệ thông qua giám sát từ xa. Cụ thể, họ sử dụng một cơ sở dữ liệu do con người quản lý để thiết kế chức năng ghi nhãn heuristic và kết hợp nó vào quy trình đào tạo của một bộ phân loại. Bộ phân loại sau đó có thể trích xuất các mẫu có độ chính xác cao cho một số lượng lớn các mối quan hệ hợp lý. Do các nhà nghiên cứu thiết kế một chức năng ghi nhãn gần đúng với hành vi ghi nhãn của một chú thích con người, nó làm cho sự giám sát của xa xa.

Một kỹ thuật khác, được phát triển bởi Wang et al. trong lĩnh vực thị giác máy tính, cải thiện phát hiện đối tượng từ các hình ảnh không được gắn nhãn thông qua Khai thác mẫu tự giám sát. Một phần quan trọng của phương pháp này dựa trên việc tự động phát hiện và giả mạo các đề xuất khu vực đáng tin cậy để tăng cường phát hiện đối tượng. Điều này đạt được bằng cách dán các đề xuất này vào các hình ảnh được dán nhãn khác nhau để đánh giá toàn diện các giá trị nhất quán của chúng trong các bối cảnh hình ảnh khác nhau. Mặc dù những hình ảnh này được dán nhãn giả, nhưng chúng góp phần hiệu quả trong việc cải thiện độ chính xác phát hiện và độ mạnh mẽ chống lại các mẫu nhiễu. Cuối cùng, cả hai cách tiếp cận được mô tả chú thích dữ liệu không được gắn nhãn tự động và do đó làm giảm lượng giám sát của con người trong quá trình đào tạo.

Kết hợp hướng dẫn của con người vào học tập tích cực

So với khái niệm trước đây, nơi bộ dữ liệu được mở rộng bằng dữ liệu chú thích bằng máy, chúng tôi cũng có thể cho phép người học chọn các mẫu khó và yêu cầu một người huấn luyện con người chú thích chúng, do đó tên là học tập tích cực. Phương pháp này chứng tỏ tính hiệu quả cao, đặc biệt là trong các tình huống có ngân sách hạn chế để đào tạo mẫu - các chuyên gia có thể tập trung vào các trường hợp thử thách trong khi máy chiếm phần lớn các mẫu thường dễ giải quyết.

Để giải thích trực giác đằng sau việc học tích cực, hãy xem xét nhiệm vụ đơn giản là dán nhãn hình ảnh của những chú chó liên quan đến giống. Chúng tôi bắt đầu với một bộ dữ liệu cơ sở có chứa hình ảnh được dán nhãn của chó. Bộ dữ liệu này có thể đặt ra một thách thức cho việc huấn luyện theo nhiều cách: Nó chủ yếu có thể chứa hình ảnh những con chó hướng về phía máy ảnh, do đó làm cho một mô hình được đào tạo bất biến đối với những con chó được hiển thị từ bên cạnh. Nó cũng có thể chứa một lượng mẫu mất cân đối cho mỗi giống. Hoặc, nó có thể chứa các giống chó giống như chó Malinois của Bỉ và Chó chăn cừu Đức. Trong những trường hợp như vậy, cả con người và máy móc sẽ cần nhiều ví dụ hơn về mỗi giống chó để học cách phân loại chó một cách chính xác. Học tập tích cực giúp giải quyết các vấn đề của loại này.

Hãy tưởng tượng rằng chúng ta sẽ có thể đạt được độ chính xác 80% với một mô hình được đào tạo trên một bộ dữ liệu cơ sở nhất định. Chúng tôi được cấp ngân sách để dán nhãn lên tới 100 hình ảnh mới trong số 1000 hình ảnh chưa được gắn nhãn và nhằm mục đích sử dụng ngân sách này một cách khôn ngoan, vì sự hỗ trợ của chuyên gia cho việc ghi nhãn rất tốn kém. Do đó, thay vì chọn ngẫu nhiên 100 mẫu, chúng ta nên để người học máy của mình chọn những mẫu khó nhất hoặc những mẫu thu thập phân phối dữ liệu cơ bản tốt nhất và giảm thiểu dư thừa. Chúng tôi để mô hình đề xuất 100 mẫu đó cho chuyên gia để ghi nhãn, trong đó mô hình sẽ gán nhãn với độ tin cậy thấp hoặc độ không chắc chắn cao. Bằng cách này, độ chính xác của người học máy của chúng tôi có thể tăng lên 95% sau khi đào tạo thay vì 90% trong một thiết lập nơi các mẫu được dán nhãn ngẫu nhiên được sử dụng. Ngoài ra, chúng tôi cũng có thể chỉ cần giảm lượng dữ liệu được dán nhãn và do đó, đào tạo một mô hình với độ chính xác tương tự 90% nhưng chi phí thấp hơn.

Đào tạo nghịch cảnh: Kết hợp tốt nhất của cả hai

Để kết hợp học tập tích cực và cải tiến tăng dần của ghi nhãn tự động, chúng tôi cần một người học máy bao gồm hai mô hình. Đầu tiên, một mô hình phân biệt để đo độ không đảm bảo về độ chính xác dự đoán cho các mẫu nhất định (học tích cực) và thứ hai, một mô hình tổng quát để dự đoán sự thật giả cho các mẫu (ghi nhãn tự động). Để tăng hiệu quả đào tạo của người học, chúng tôi hướng đến việc cùng nhau tối ưu hóa cả hai mô hình thông qua đào tạo đối thủ. Theo cách này, mô hình phân biệt cũng có thể được sử dụng để gán các yếu tố không chắc chắn cho các dự đoán của mô hình tổng quát và lần lượt tăng độ chính xác của các dự đoán. Một mô hình tiên tiến đã đạt được danh tiếng mạnh mẽ trong cộng đồng nghiên cứu và đáp ứng các yêu cầu đã nêu được gọi là Mạng đối thủ sáng tạo (GAN).

Học tập hợp tác giữa người và máy với GAN

Xem xét khuôn khổ được hiển thị trong hình trên, trước tiên chúng tôi sử dụng trình tạo (G) để dự đoán sự thật mặt đất giả cho dữ liệu không chú thích. Vì người phân biệt đối xử (D) có thể gán không chỉ sự không chắc chắn cho sự thật thực tế mà còn là dự đoán của G, chúng tôi có thể sắp xếp các mẫu không được gắn nhãn theo độ khó hoặc không chắc chắn của D. Chúng tôi xác định các mẫu có phân phối chưa được nắm bắt hoàn toàn bởi mô hình chưa khó và để D gợi ý chúng cho chú thích con người. Chúng tôi sử dụng các mẫu dễ dàng khác với độ không chắc chắn thấp để tạo dữ liệu chú thích tự động với G. Hướng dẫn của con người dẫn đến D mạnh hơn, phù hợp với yêu cầu của nhiệm vụ do giáo viên chỉ định (học tích cực). Đổi lại, D được cải tiến sẽ thúc đẩy G dự đoán sự thật mặt đất giả có chất lượng cao hơn (chú thích tự động). Do sự cải tiến lặp đi lặp lại này, GAN thể hiện một khuôn khổ tự nhiên để kết hợp con người và máy móc thành một quy trình đào tạo được tối ưu hóa chung.

Trong khi khoa học viễn tưởng chứa đầy máy móc và robot đe dọa loài người và từ đó tạo ra bầu không khí nghi ngờ, khái niệm học tập hợp tác của con người với đào tạo đối nghịch cho thấy máy móc có thể bổ sung hợp lý công việc của chúng ta và sống theo cách tích cực như thế nào. Trong thực tế, cách tiếp cận được mô tả có tiềm năng mạnh mẽ để biến đổi vô số ứng dụng, ví dụ trong lĩnh vực y tế. Đặc biệt, nhóm của chúng tôi hiện đang phát triển một phương pháp phân đoạn hình ảnh cộng hưởng từ tim mạch (MR) 3D, đây là điều kiện tiên quyết quan trọng để tạo ra các mô hình tim đặc trưng cho bệnh nhân và do đó để điều trị các bệnh tim phức tạp. Mục tiêu của chúng tôi là tạo ra một mô hình học hỏi từ các phân đoạn tự tạo và chủ động đề xuất các hình ảnh MR khó khăn cho các chuyên gia để phân khúc thủ công. Điều này có thể giảm đáng kể chi phí và thời gian cho thủ tục phức tạp này, nhờ đó các bác sĩ X quang có thể dành nhiều thời gian hơn cho việc chăm sóc bệnh nhân. Trong khi ví dụ cụ thể này thể hiện độc đáo khái niệm Tác động tích cực đến xã hội, có vô số lĩnh vực ứng dụng ngoài lĩnh vực y tế, sẽ được hưởng lợi từ kết quả nghiên cứu trong lĩnh vực này.

Tìm tài liệu nghiên cứu đầy đủ cho MIDL 2019 tại đây: Phân đoạn ngữ nghĩa không chắc chắn được thúc đẩy thông qua học tập hợp tác giữa người và máy