Phòng thí nghiệm Caltech tại Mỹ đang phát triển một thiết bị trợ lý âm thanh đã được không gian hóa, kết hợp với việc nhận dạng đối tượng giúp cho việc đi lại của người khiếm thị trở nên dễ dàng hơn.
Trong cuộc thử nghiệm, khi cô sinh viên càng tiến tới gần vật cản, giọng nói tổng hợp càng trở nên to hơn và sắc nét hơn.
Giọng nói tổng hợp này được phát ra từ hai chiếc loa nhỏ tích hợp vào hai nhánh của thiết bị Hololens mà cô gái đang đeo. Đây là một chiếc tai nghe hỗn hợp của Microsoft có hình dạng tương tự chiếc kính thực tế ảo VR (virtual reality).
Ảnh đồ họa cho thấy chiếc laptop trên bàn tự kêu lên “Laptop, laptop, laptop” thông báo cho người mang Hololens biết sự có mặt cùng vị trí của mình nhằm giúp việc đi lại được an toàn.
Được kết hợp với một camera và các bộ cảm biến, Hololens sẽ hiển thị hình ảnh ba chiều tương ứng với tầm nhìn về phía vật cản, sau đó cung cấp thông tin mà thiết bị quan sát được tới người đeo.
Trong trường hợp thử nghiệm trên, cô sinh viên không phải là người khiếm thị, nhưng cô vẫn đi được về phía trước trong khi mắt nhắm nghiền và tai chỉ chú ý tới âm thanh thông báo.
Cụ thể khi tiến tới gần chiếc laptop đặt trên chiếc bàn sát tường, Hololens lập tức lên tiếng hướng dẫn bằng cách mô tả những gì thấy trước mặt rằng: “Laptop, laptop, laptop”.
Đây là công trình của Yang Liu, một nghiên cứu sinh của Caltech. Lưu ý, đừng lầm với tập đoàn dầu mỏ Caltex, Caltech ở đây là California Institute of Technology (Học viện Công nghệ California) danh tiếng tại Pasadena, ngoại ô Los Angeles.
Yang Liu đã sử dụng tai nghe của Microsoft để phát triển CARA (Cognitive Augmented Reality Assistant, trợ lý tăng cường nhận thức thực tế), một công nghệ hỗ trợ người khiếm thị bằng cách “phiên dịch” môi trường chung quanh sang thành ngôn ngữ tự nhiên.
Theo GS. Markus Meister, giáo sư Khoa học thần kinh và giám đốc phòng thí nghiệm nơi Yang Liu đang làm luận án, hãy hiểu rằng CARA là “gán” tiếng nói cho các đối tượng, hay nói dễ hiểu hơn là làm cho các đối tượng vật thể phát ra tiếng nói báo hiệu sự có mặt và vị trí của mình, từ đó người khiếm thị có thể “thấy” được mà tránh chúng.
Về mặt kỹ thuật, camera của Hololens phát hiện các vật thể trong phòng để phần mềm nhận dạng và tự gọi tên chúng, đồng thời nhờ vậy mà người khiếm thị còn có thể xác định được vị trí của mình.
Còn theo nhà nghiên cứu Yang Liu, “Giọng nói này dường như tới từ chính các vật thể, và tùy thuộc vào vị trí của chúng, âm thanh sẽ to hơn hơn khi ta càng tiến tới gần, ở đây chúng tôi đã sử dụng một thuật toán để gắn card âm thanh lên các đối tượng được phát hiện”.
Theo đánh giá của giới truyền thông, việc âm thanh hóa cho môi trường không gian này là một kỳ tích và vô cùng hữu ích cho những người khiếm thị.