Gọi để nghiên cứu

Trong quá trình làm việc tại Octavian, chúng tôi đã gặp phải một loạt các vấn đề mà chúng tôi yêu thích khi thấy nhiều công việc tập trung hơn. Chúng tôi chia sẻ danh sách này ở đây để hy vọng giúp đỡ những người đang tìm kiếm những vấn đề thú vị.

Chúng tôi rất vui khi được giúp đỡ những người làm việc về những vấn đề này, cũng như công khai các giải pháp của bạn thông qua các kênh Trung bình và Twitter của chúng tôi.

  • QA Lý do về đồ thị kiến ​​thức: Đây là một chủ đề gần nhà đối với chúng tôi. Chúng tôi tin rằng một cách tiếp cận dựa trên RNN kết hợp sự chú ý và kết luận đồ thị có thể rất mạnh mẽ và đã giải quyết thách thức dữ liệu của chính chúng tôi để chứng minh điều này. Một nơi tốt để bắt đầu là MacGraph, giải pháp chung của chúng tôi cho bộ dữ liệu CLEVR-Graph.
  • Các khả năng thuật toán của Transformers: Kiến trúc Transformer đã nhanh chóng trở thành mạng xử lý chuỗi thực tế. Mặc dù nó cực kỳ mạnh mẽ trong việc tương quan trình tự khai thác và dường như có nhiều lợi ích hơn từ quy mô lớn hơn, chúng tôi tin rằng Transformers không hiệu quả cũng không đủ để thực hiện nhiều loại hoạt động lý luận / thuật toán mà AGI yêu cầu. Có khả năng họ sẽ cần tăng cường với các cơ sở khác. Chứng minh điều này bằng cách tạo các cặp dịch công thức & thuật toán và đầu ra của chúng, huấn luyện một mô hình dịch biến áp trên chúng và xem khi dịch sai.
  • Cách viết vào biểu đồ: Sử dụng sự chú ý là một cách dễ dàng để đọc từ biểu đồ trong mạng lưới thần kinh tuy nhiên cách viết không quá rõ ràng. Tạo ra một mạng (dựa trên việc học có giám sát hoặc củng cố) mà cả đọc và ghi từ biểu đồ trong quá trình thực thi để đạt được điều gì đó hữu ích. Ví dụ: lấy một trong các tác vụ MacGraph đã giải quyết và tạo một phiên bản trong đó một số sự kiện biểu đồ quan trọng được đưa vào làm đầu vào tách biệt với biểu đồ.
  • Điểm chất lượng tốt hơn cho GAN: Các số liệu phổ biến nhất cho GAN dựa trên việc sử dụng mạng Inception được đào tạo để giúp đo lường mức độ hình thành của hình ảnh được tạo. Điều này có một thiếu sót lớn: nó chỉ mạnh như mạng Inception và mạng chập dường như chủ yếu dựa vào kết cấu cục bộ. Các GAN hiện đại phối hợp rất chi tiết (xem ảnh trong Phụ lục). Số liệu chất lượng hiện tại của chúng tôi không có khả năng phát hiện điều này. Nghiên cứu này có hai phần: (1) chứng minh sự thiếu hụt về số liệu chất lượng hiện tại, (2) đề xuất một số liệu tốt hơn
  • Giáo trình tự động: Các mạng học thuật toán thường cần các chương trình học (ví dụ: các ví dụ đào tạo ban đầu dễ dàng hơn, dần dần trở nên khó khăn hơn khi mạng đào tạo) để học các nhiệm vụ của họ. Những giáo trình này thường được tạo ra bằng tay. Tạo ra một kế hoạch để tự động triển khai một chương trình giảng dạy (ví dụ: đến một DNC ​​để học cách sắp xếp). Để truyền cảm hứng, Mạng Đối thủ Sáng tạo sử dụng mạng thứ hai học như mạng chính học để cung cấp một chương trình giảng dạy. Hơn nữa, mất mạng có thể là một tín hiệu tốt khi tập huấn luyện có thể được thực hiện khó hơn.
  • Ngôn ngữ như một cấu trúc điều khiển cho lý luận: Tiếng nói trong đầu chúng ta là một phần quan trọng trong cách chúng ta suy luận và đạt được mục tiêu của mình. Bạn có thể xây dựng một mô hình Transformer có một câu hỏi, nói chuyện với chính nó một lúc, sau đó cung cấp câu trả lời không?
  • Đào tạo GAN trên quy mô Internet: OpenAI đã chỉ ra rằng việc thu thập dữ liệu trên internet để xây dựng bộ dữ liệu đào tạo khổng lồ, sau đó đào tạo mô hình Transformer trên đó, có thể trả về kết quả có giá trị. Làm tương tự cho GAN. Điều này có một vài thách thức đáng chú ý: (1) Tài nguyên tính toán để đào tạo một mô hình đủ lớn để khai thác tập dữ liệu, (2) Bạn có thể tạo tín hiệu có điều kiện hữu ích cho GAN từ bối cảnh hình ảnh không?
  • Câu tự động mã hóa biểu đồ tri thức: Đồ thị là một cách tuyệt vời để thể hiện các khái niệm liên quan. Đồ thị mở ra nhiều cách để vượt qua và rút ra kiến ​​thức. Văn bản đã được sử dụng để đại diện cho nhiều kiến ​​thức của con người. Xây dựng một số dạng cấu trúc bộ mã hóa tự động lấy một tập hợp các câu đầu vào, biến đổi chúng thành một biểu đồ, sau đó chuyển đổi biểu đồ đó thành một tập hợp các câu có mức độ tương đương với tập hợp đầu vào. Lưu ý rằng biểu đồ tạm thời không cần phải là định dạng mà con người có thể hiểu (như thường thấy trong các từ nhúng, hình ảnh và câu).
  • Phát triển kiến ​​trúc trong quá trình đào tạo: GAN tiến bộ cho thấy rằng việc thêm các nơ-ron theo thời gian vào mạng trong khi nó đào tạo có thể thành công. Phương pháp đào tạo này có lợi thế là các mạng trước đó được đào tạo nhanh hơn vì chúng có ít tham số hơn. Ngoài ra, nó mở ra khả năng thêm vừa đủ tế bào thần kinh cho đến khi đạt được hiệu suất mong muốn. Nó thậm chí còn cho phép thử nghiệm phân tách các kiến ​​trúc khác nhau song song (như Đào tạo dựa trên dân số). Hãy thử áp dụng một cách tiếp cận phát triển lũy tiến trong một cài đặt khác (phân loại tiếp theo, tuần tự, phân loại hình ảnh) và xem nếu nó hoạt động.

Nếu bạn quan tâm đến những điều này, hãy nói chuyện với cộng đồng của chúng tôi!

ruột thừa

BigGAN đấu tranh với sự phối hợp kết cấu

Được tạo bằng bản demo Google BigGAN