Việc này đặc biệt có ích khi một chương trình phải xử lý song song các khối dữ liệu khổng lồ mà không làm tốc độ thực thi chậm hơn.
Các dữ liệu lớn ngày nay đặt ra các vấn đề khác nhau cho các kỹ thuật quản lý bộ nhớ hiện tại, vốn dựa trên nguyên tắc cục bộ (principle of locality). Nguyên tắc này được diễn giải như sau: nếu một chương trình cụ thể phải truy cập vào dữ liệu tại một vị trí trên bộ nhớ, nó cũng cần cả các khối bộ nhớ xung quanh.
Nhưng khi một chương trình phải xử lý dữ liệu lớn, bao gồm hàng núi dữ liệu nằm phân tán ở nhiều nơi trên thanh ghi của bộ nhớ, nguyên tắc cục bộ này lại trở thành một trở lực về hiệu năng khi nó dẫn đến việc thực thi chương trình trở nên chậm chạp hơn. Để giải quyết vấn đề này, các nhà nghiên cứu tại Phòng thí nghiệm về Khoa học máy tính và Trí tuệ nhân tạo của MIT (CSAIL) đã phát triển một ngôn ngữ lập trình mới, có tên gọi là Milk.
Ngôn ngữ lập trình mới có tên gọi là Milk.
Khi so sánh với các ngôn ngữ lập trình hiện nay khi được sử dụng để xử lý dữ liệu lớn, một chương trình viết bằng Milk chạy nhanh gấp 4 lần. Tại sao nó lại có thể đạt được tốc độ như vậy? Bí mật nằm ở cách các lõi bộ xử lý thu thập và lưu dữ liệu trong bộ nhớ đệm.
Các chip máy tính ngày nay không được tối ưu cho xử lý các dữ liệu phân tán. Do việc lấy dữ liệu từ thanh ghi bộ nhớ chính của con chip rất chậm, nên mỗi nhân của bộ xử lý trong con chip hiện đại đều có một bộ nhớ đệm riêng, một thanh ghi bộ nhớ tốc độ cao, tương đối nhỏ và gắn liền bên trong, để lưu dữ liệu. Thông thường, thay vì lấy về một mục dữ liệu duy nhất từ bộ nhớ chính, mỗi lõi sẽ lấy về cả khối dữ liệu, gồm mục dữ liệu cần thiết và các dữ liệu ở lân cận.
Trong khi đó, Milk tiếp cận theo một cách khác. Nó đơn giản chỉ thêm một vài dòng lệnh (command) vào OpenMP, một phần mở rộng được sử dụng bởi các ngôn ngữ lập trình khác như C và Fortran để việc viết code cho các bộ xử lý đa nhân trở nên dễ dàng hơn. Với Milk, các lập trình viên có thể chèn một vài dòng code bổ sung vào bất kỳ tập lệnh nào của lõi đang tìm kiếm dữ liệu. Sau đó, trình biên dịch của Milk sẽ giải quyết các vấn đề về bộ nhớ theo cách như sau:
Với chương trình viết bằng Milk, khi lõi bộ xử lý phát hiện nó cần một mục dữ liệu nào đó, nó không yêu cầu mục dữ liệu đó (cũng như các mục dữ liệu lân cận) từ bộ nhớ chính. Thay vào đó, nó thêm địa chỉ của mục dữ liệu vào một danh sách địa chỉ, được lưu cục bộ trên lõi bộ xử lý.
Với Milk, các lập trình viên có thể chèn một vài dòng code bổ sung vào bất kỳ tập lệnh nào của lõi đang tìm kiếm dữ liệu.
Khi tất cả các danh sách đã có đủ địa chỉ của những mục dữ liệu, các lõi bộ xử lý sẽ gộp các danh sách đó lại, nhóm các địa chỉ ở gần nhau lại với nhau, và tái phân phối chúng về các lõi của bộ xử lý. Bằng cách này, mỗi lõi sẽ chỉ yêu cầu các mục dữ liệu mà nó cần và việc lấy dữ liệu về cũng sẽ diễn ra hiệu quả hơn.
Dưới đây là nhận xét của Matei Zaharia, trợ lý giáo sư tại Đại học Stanford, khi nói về Milk:
"Milk giúp giải quyết thiếu sót này bằng cách tối ưu hóa việc truy cập bộ nhớ trong cấu trúc lập trình thông thường. Công trình này kết hợp các kiến thức chi tiết về thiết kế của bộ điều khiển bộ nhớ với kiến thức về trình biên dịch, để làm tốt việc tối ưu trên các phần cứng hiện tại".