Yann LeCun rời Meta và làm điều mà tất cả đều chờ đợi.
Ông thành lập AMI Labs, hoàn tất vòng gọi vốn hạt giống 1,03 tỷ USD, định giá 3,5 tỷ USD – vòng hạt giống lớn nhất từ trước đến nay ở châu Âu. Sau đó ông nói: Tôi sẽ xây dựng một AI không hoạt động dựa trên việc dự đoán từ tiếp theo.
Tại sao LeCun không thích mô hình ngôn ngữ lớn
Đây không phải quan điểm mới. LeCun đã chỉ trích hướng đi của LLM trong nhiều năm. Quan điểm cốt lõi của ông chỉ một điều: Dự đoán văn bản tự nó không đủ để tạo ra sự hiểu biết thực sự.
Dù bạn nhồi bao nhiêu văn bản vào mô hình, nó chỉ học được các quy luật thống kê của ngôn ngữ, chứ không phải cách thế giới thực sự vận hành. Một đứa trẻ thấy cốc thủy tinh rơi khỏi bàn, không cần đọc bất kỳ văn bản nào về trọng lực, cũng biết cốc sẽ vỡ. LLM không làm được điều đó vì nó không có bất kỳ cảm nhận trực tiếp nào về thế giới vật lý.
LeCun gọi vấn đề này là grounding, tạm dịch là: mô hình phải tiếp xúc với thế giới thực, không thể chỉ sống trong ngôn từ.
AMI Labs là câu trả lời thực tiễn của ông cho vấn đề này.
JEPA là gì và khác LLM như thế nào
Công nghệ cốt lõi của công ty là JEPA, Joint Embedding Predictive Architecture, một khung kiến trúc do LeCun đề xuất năm 2022.
Sự khác biệt căn bản nhất với LLM nằm ở đối tượng dự đoán:
- LLM: dự đoán token tiếp theo (đoạn từ)
- JEPA: dự đoán biểu diễn trạng thái trừu tượng
Nghe có vẻ phức tạp, nhưng khác biệt thực chất khá lớn. LLM coi mỗi từ là mục tiêu dự đoán, bao gồm các từ hư ít thông tin như "của", "và", "à" – một lượng lớn dung lượng mô hình bị lãng phí vào việc học những nhiễu này. JEPA bỏ qua chúng, dự đoán trực tiếp ở mức trừu tượng hơn: nếu bạn thực hiện hành động này, thế giới sẽ chuyển sang trạng thái nào.
Đây cũng là lý do nó được gọi là mô hình thế giới – nó cố gắng xây dựng bên trong một mô hình về cách thế giới vận hành, chứ không chỉ học các quy luật bề mặt của ngôn ngữ.
Tác động đến ứng dụng thực tế:
- Robot: cần dự đoán hậu quả của hành động, JEPA phù hợp tự nhiên
- Chẩn đoán y tế: cần khả năng suy luận nhân quả về quá trình vật lý
- Điều khiển công nghiệp: cần theo dõi liên tục sự thay đổi trạng thái
CEO của AMI Labs, Alexandre LeBrun, nói một câu rất thú vị:
Tôi dự đoán mô hình thế giới sẽ sớm trở thành buzzword gọi vốn tiếp theo. Trong vòng sáu tháng, mọi công ty sẽ tự gọi mình là công ty mô hình thế giới để gọi vốn.
Một người vừa nhận được tỷ đô hạt giống nói điều này, mỉa mai đến tột cùng.
Cấu hình của công ty
Trụ sở chính của AMI Labs ở Paris, nhưng đồng thời có mặt tại New York (LeCun giảng dạy tại NYU), Montreal và Singapore, với đội ngũ ở cả bốn thành phố.
Đội ngũ cốt lõi:
- Chủ tịch điều hành: Yann LeCun (Giải Turing 2018, cựu Giám đốc AI của Meta)
- CEO: Alexandre LeBrun (doanh nhân liên tục, có công ty AI từng được Facebook mua lại)
- CSO: Saining Xie (nhà nghiên cứu học biểu diễn thị giác)
Dẫn đầu vòng gọi vốn là Bezos Expeditions, Cathay Innovation, Greycroft, Hiro Capital và HV Capital. Sự tham gia của tiền Bezos cho thấy đây không chỉ là trò chơi học thuật.
Thời điểm đáng chú ý
Sự kiện này diễn ra một tháng sau khi World Labs của Fei-Fei Li huy động được 1 tỷ USD. Cả hai công ty đều đặt cược vào mô hình thế giới, đều là các học giả hàng đầu trong lĩnh vực AI khởi nghiệp, và đều nhận được vòng hạt giống đáng kinh ngạc.
Đây không phải trùng hợp. Các nhà đầu tư đang ngửi thấy một khả năng: hướng scaling LLM hiện tại đã tiến gần đến một loại trần nào đó, và thế hệ AI tiếp theo có thể cần một kiến trúc hoàn toàn khác.
Câu nói của LeCun rằng dự đoán văn bản là không đủ, trước đây chỉ là tranh cãi học thuật. Giờ đây có một tỷ USD đứng sau, tranh cãi đã trở thành canh bạc.
Tại sao việc này không dễ thành công
JEPA đã tồn tại dưới dạng bài báo khoa học được bốn năm, nhưng bằng chứng về việc nó vận hành trong hệ thống thực tế vẫn còn rất hạn chế. Trong bốn năm qua, tiến bộ của LLM trên các benchmark là rõ ràng, trong khi tiến bộ của JEPA tương đối kín tiếng.
LeCun chỉ ra vấn đề là đúng, nhưng chỉ ra vấn đề và tạo ra giải pháp tốt hơn là hai chuyện khác nhau.
Hơn nữa, ngay cả khi hướng đi JEPA là đúng, AMI Labs vẫn phải cạnh tranh trực diện với một ngành công nghiệp đã có lợi thế đi trước rất lớn. OpenAI, Anthropic, Google không phải không biết LLM có hạn chế; họ cũng đang đi theo hướng đa phương thức và tác nhân, chỉ là không triệt để như LeCun.
AMI Labs đã được định giá 3,5 tỷ USD mà chưa có bất kỳ sản phẩm nào. Đây là niềm tin tài trợ, không phải tài trợ dựa trên sản phẩm.
Nhưng nếu LeCun đúng, thì 1,03 tỷ USD vào lúc này có thể là canh bạc đáng giá nhất trong thập kỷ này.
Nguồn tham khảo: Yann LeCun's AMI Labs Raises $1.03B for World Models Development (TechCrunch); AMI Labs Secures $1B Seed Round Led by Yann LeCun (Crunchbase News); Yann LeCun's AMI Labs Raises $1B in Seed Round to Develop World Model AI Systems (The AI Insider); CocoLoop; [AINews] Yann LeCun's AMI Labs launches with a $1B seed @ $3.5B to build world models around JEPA (Latent Space)