Thuật toán CPU huấn luyện mạng lưới thần kinh sâu nhanh hơn 15 lần so với các GPU hàng đầu

Các nhà khoa học máy tính của Đại học Rice đã chứng minh phần mềm trí tuệ nhân tạo (AI) chạy trên bộ xử lý thông thường có thể đào tạo mạng thần kinh sâu nhanh hơn 15 lần so với các nền tảng sử dụng bộ xử lý đồ họa GPU.

Anshumali Shrivastava, một trợ lý giáo sư về khoa học máy tính tại Trường Kỹ thuật Rice’s Brown cho biết: “Chi phí huấn luyện là điểm nghẽn thực sự trong AI. Các công ty đang chi hàng triệu đô la mỗi tuần chỉ để huấn luyện và tinh chỉnh khối lượng công việc cho AI.”

Shrivastava cùng các cộng tác viên từ Rice và Intel sẽ trình bày nghiên cứu giải quyết được điểm nghẽn này vào ngày 8 tháng 4 tại hội nghị hệ thống học máy MLSys.

 

Mạng thần kinh sâu (DNN-Deep Neural Networks) là một dạng trí tuệ nhân tạo mạnh mẽ có thể làm tốt hơn con người trong một số nhiệm vụ. Đào tạo DNN thường là một loạt các phép tính nhân ma trận, đây là khối lượng công việc lý tưởng dành cho các đơn vị xử lý đồ họa (GPU), chi phí cao hơn khoảng ba lần so với các đơn vị xử lý trung tâm thông thường (CPU).

“Toàn bộ ngành công nghiệp đều tập trung vào một loại cải tiến – phép nhân ma trận nhanh hơn”, Shrivastava nói.

“Mọi người đều đang xem xét đến các phần cứng và kiến ​​trúc chuyên biệt để đẩy tốc độ phép nhân ma trận. Mọi người thậm chí còn đang nói về các stack phần cứng-phần mềm chuyên biệt dành cho cho mỗi loại học sâu cụ thể. Thay vì sử dụng một thuật toán đắt tiền và ném cả thế giới tối ưu hóa hệ thống vào nó”, tôi sẽ nói, “‘Hãy xem lại thuật toán.”

Phòng thí nghiệm của Shrivastava đã thực hiện điều này vào năm 2019, làm lại quá trình huấn luyện DNN như một vấn đề tìm kiếm có thể được giải quyết bằng bảng băm. “Công cụ học sâu dưới tuyến tính” (SLIDE) của họ được thiết kế đặc biệt để chạy trên các CPU thông dụng, Shrivastava cùng các cộng sự từ Intel đã cho thấy nó có thể hoạt động tốt hơn so với việc huấn luyện sử dụng GPU khi họ công bố tại MLSys 2020.

Nghiên cứu mà họ trình bày trong tuần này tại MLSys 2021 sẽ cho thấy liệu hiệu suất của SLIDE có thể được cải thiện với các bộ tăng tốc tối ưu hóa bộ nhớ  và vectơ hóa trong các CPU hiện đại hay không.

Đồng tác giả nghiên cứu Shabnam Daghaghi, một sinh viên tốt nghiệp đại học Rice, cho biết: “Khả năng tăng tốc dựa trên bảng băm đã vượt trội hơn GPU, nhưng CPU cũng đang phát triển. “Chúng tôi đã tận dụng những đổi mới đó để đưa SLIDE đi xa hơn nữa, cho thấy rằng nếu bạn không bị gò bó vào phép nhân ma trận, bạn có thể tận dụng sức mạnh trong các CPU hiện đại và đào tạo các mô hình AI nhanh hơn bốn đến 15 lần so với giải pháp thay thế phần cứng chuyên dụng tốt nhất.”

Đồng tác giả nghiên cứu Nicholas Meisburger, một sinh viên đại học Rice, cho biết “CPU vẫn là phần cứng phổ biến nhất trong máy tính. Lợi ích của việc làm cho chúng trở nên hấp dẫn hơn đối với khối lượng công việc của AI không thể bị đánh giá thấp hơn.”

* CPU algorithm trains deep neural nets up to 15 times faster than top GPU trainers (techxplore.com)

Trả lời

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *

Back to top button