Từ Novice đến Nhà nghiên cứu; Hai năm học hỏi sâu với Fast.ai

Khi trở về sau thời gian nghỉ sinh con vào tháng 3 này, tôi đã hào hứng chia sẻ rằng tôi đã tham gia NVidia để áp dụng nghiên cứu sâu học toàn thời gian, làm việc tại giao điểm giữa dữ liệu Tabular (đôi khi được gọi là có cấu trúc) và rapids.ai. Cuộc hành trình này sẽ có thể thực hiện được nếu không có khóa học, thư viện và cộng đồng tuyệt vời đó là fast.ai.

Giống như Sylvain Gugger, một phèn khác của khóa học hiện đang làm Nhà nghiên cứu cho Fastai và bài đăng trên blog đã truyền cảm hứng cho bài viết này, fastai đã thay đổi cuộc đời tôi và tôi biết ơn sâu sắc về Jeremy và Rachel vì tầm nhìn của họ sâu sắc hơn học tập giáo dục cho tất cả mọi người. Theo tinh thần bài đăng của anh ấy, tôi muốn chia sẻ hành trình của mình và những điều đã giúp tôi trên đường đi với hy vọng họ sẽ hỗ trợ và truyền cảm hứng cho những người khác đang bắt đầu con đường này.

Chuyến đi

Không giống như nhiều sinh viên fastai, tôi đến từ một nền tảng học máy. Một lần nữa tập trung vào tương tác máy tính của con người và học sâu trước, vì vậy công việc tôi đã làm trong suốt quá trình làm luận án có thể được thực hiện bởi một sinh viên fastai trong vài giờ, nhưng nền tảng của toán học / lập trình và khả năng đọc các bài báo chắc chắn có ích. Tuy nhiên, tôi hiếm khi quay lại thời điểm đó và tôi hoàn toàn đồng ý với đánh giá của Jeremy, rằng một tiến sĩ là không cần thiết để thực hiện công việc học tập sâu.

Sau Đại học, tôi làm việc cho trang web hẹn hò trực tuyến rất nhiều cá, viết các thuật toán phù hợp, hệ thống phát hiện gian lận và cuối cùng là lãnh đạo nhóm nghiên cứu. Tôi đã rời khỏi năm sau khi bán nó cho nhóm Match và thấy mình đang ở ngã ba đường, xem xét các lựa chọn kỹ thuật dữ liệu và không thực sự quan tâm đến việc quay lại khoa học dữ liệu.

Khóa học Fastai v1 ra mắt vào mùa xuân năm đó, và khi tôi tìm hiểu về nó và làm quen với mọi người trên diễn đàn, tôi càng ngày càng bị cuốn hút. Từ trên xuống, phát triển ứng dụng là một phương pháp học tập phù hợp với tôi, và tôi nhanh chóng yêu thích phong cách giảng dạy của Jeremy. Khi tôi phát hiện ra có một phần 2, tôi đã nộp đơn ngay lập tức và thực sự nhảy lên vì sung sướng khi phát hiện ra tôi đã bước vào.

Với nền tảng của mình trong các hệ thống đề xuất, tôi rất hứng thú với thành phần đó của khóa học, và bắt đầu nghiên cứu về lĩnh vực đó ngày càng nhiều. Trong quá trình tôi đã nhận được một vai trò tại Realtor.com làm việc trên các dự án xếp hạng đề xuất và tìm kiếm, và đó là nơi tôi thực sự bắt đầu thấy tiềm năng của những gì tôi đang được dạy. Học sâu cho các hệ thống đề xuất đã trở thành niềm đam mê của tôi và trước tiên tôi đọc, đọc mọi bài báo về chủ đề này và tiêu thụ mọi thứ tôi có thể tìm thấy trên Youtube. Tôi sẽ nói nhiều hơn về những thói quen tôi đã hình thành trong hai năm qua dẫn đến vai trò nghiên cứu trong phần sau, nhưng lần này là rất quan trọng đối với tôi về việc phát triển bộ kỹ năng và kiến ​​thức dẫn đến hiện tại của tôi vai trò tại NVidia.

Trên đường đi, tôi đã thực hiện mọi đề nghị của fastai. Tôi hiện đang ở lần lặp thứ ba và mỗi lớp tôi học được một điều mới. Nếu bạn đã xem các khóa học cũ, tôi rất khuyến khích quay lại, và điều tương tự cũng xảy ra với khóa học máy, điều này đã dạy tôi những gì tôi biết về các mô hình rừng ngẫu nhiên. Chất lượng giáo dục do fastai cung cấp rất cao, tôi đã cấu trúc đội ngũ của mình xung quanh nó tại Realtor, sử dụng các lớp học để nhảy điểm cho các dự án, điều này tỏ ra vô cùng thành công.

Các bước trên đường đi

Trong khi hành trình của tôi là duy nhất đối với tôi, tôi muốn cung cấp một số trợ giúp cho những người muốn đạt được ước mơ tương tự trở thành một nhà nghiên cứu học tập sâu hoặc một học viên tốt hơn.

Lời khuyên cho cách hoàn thành hiệu quả fastai rất nhiều trên diễn đàn, và tôi khuyên bạn nên tìm kiếm chúng và theo dõi chúng nếu bạn chưa có. Vượt ra ngoài lớp học cần thêm nỗ lực, nhưng trong suy nghĩ của tôi, đó là khi phép thuật thực sự bắt đầu xảy ra. Một số thói quen đã thực sự giúp tôi trở thành một nhà nghiên cứu tốt hơn và một nhà phát triển tốt hơn. Họ đơn giản, nhưng hiệu quả. Nó dễ dàng lướt qua chúng như bạn có thể chuyển tab qua sổ ghi chép, nhưng nếu bạn có thể thực hiện chúng, tôi đảm bảo chúng sẽ có tác động.

  1. Thoải mái với giấy tờ. Kiểm tra Arxiv hàng tuần, đọc một tờ giấy mỗi tối. Tôi đã từng sử dụng arxiv-sanity nhưng thật đáng buồn là nó dường như không còn được duy trì nữa. Tôi vẫn đang tìm kiếm một giải pháp vì vậy nếu bạn có điều gì đó hãy cho tôi biết. Tôi sẽ khuyên bạn nên chọn một khu vực nghiên cứu cụ thể nơi bạn có thể đọc hầu hết các bài báo sắp ra. Tìm một chủ đề mà bạn thích đề xuất hoặc chuyển giao phong cách và theo kịp lĩnh vực nhỏ đó. Tập thói quen thường xuyên đọc báo bây giờ là siêu năng lực của tôi. Nó một trong những bạn có thể có quá nếu bạn hình thành thói quen.
  2. Chuyển đổi video fastai thành âm thanh chỉ để nghe dưới dạng ‘podcast trên đường đi. Đối với tôi, việc tìm thời gian để xem video hai hoặc ba lần là không khả thi, đặc biệt là bây giờ tôi có hai cậu bé, nhưng mật độ của tài liệu đòi hỏi điều đó. Xem nó một lần, và nghe đi nghe lại trên đường đi làm, đi bộ hoặc bất cứ nơi nào. Tôi đã nghe hàng chục lần và tôi vẫn tiếp thu những khái niệm và ý tưởng mới.
  3. Thực hiện một cái gì đó mà khác với các máy tính xách tay cung cấp, từ đầu đến cuối. Đây là chìa khóa để tôi mở khóa tiềm năng của fastai. Tôi đã tạo lại bộ mã hóa tự động khử nhiễu từ giải pháp cho cuộc thi trình điều khiển an toàn porto seguro. Điều đó hóa ra là điểm khởi đầu cho toàn bộ nghiên cứu về việc tìm hiểu sâu về dữ liệu dạng bảng và dẫn đến vai trò hiện tại của tôi. Chọn một cái gì đó khác với những gì hầu hết mọi người đang thực hiện và thực hiện nó tốt.
  4. Luôn tích cực trên các diễn đàn và tham gia vào cộng đồng. Nó là một trong những khía cạnh bị bỏ qua nhất của khóa học trong tâm trí của tôi, cung cấp cho cả một nhóm người cũng hào hứng với việc học sâu như bạn. Đối với tôi, nó là một chất xúc tác lớn cho ý tưởng, kiến ​​thức và sở thích.
  5. Tìm kiếm các khóa học khác để mở rộng tầm nhìn của bạn. Tôi đánh giá cao khóa học Stanford Stanford NLP CS224n do Chris Manning giảng dạy, CS231n do Andrej Karpathy giảng dạy, khóa học Gene Kogan nam về học sâu áp dụng cho nghệ thuật Thẩm mỹ thần kinh và PyData thường xuyên có các bài nói chuyện học sâu tuyệt vời.

Fastai đã cho tôi rất nhiều, và tiếp tục làm như vậy, và tôi phấn khích khi được chuyển đến một vị trí mà cuối cùng tôi có thể trả lại một cái gì đó. Nếu bạn nói với tôi khi bắt đầu hành trình của tôi khi tôi xem video đầu tiên trên youtube rằng một MOOC trực tuyến miễn phí sẽ đưa tôi đến vai trò nghiên cứu tại một trong những công ty công nghệ hàng đầu trên thế giới, tôi không chắc mình sẽ có tin bạn, nhưng tôi đây Tôi không có nghi ngờ gì về việc nó gần như hoàn toàn do fast.ai.