Mission: Impossible Language Models

AI Language ACL2025
Mission: Impossible Language Models

আজকে যে গবেষণাপত্র পড়লাম সেইটা এতই ইন্টারেস্টিং যে পড়তে পড়তে আমার উপন্যাস পড়ার মত রোমাঞ্চ হচ্ছিল। তো যাক, এইটা ২০২৪ এ ACL এ সবচেয়ে ভাল গবেষণাপত্রের এওয়ার্ড পেয়েছে। যাইহোক যা বুঝলাম তুলে ধরছি।

এআই কি আসলেই ভাষা বোঝে? এই প্রশ্নটা নিয়ে পৃথিবীর সব বড় বড় বিজ্ঞানীরা দুই ভাগে ভাগ হয়ে গেছেন। একদলে আছেন বিখ্যাত ভাষাবিদ নোয়াম চমস্কি। তিনি খুব জোর গলায় বলেছেন যে চ্যাটজিপিটির মতো এআই মডেলগুলো আসলে ভাষার কিছুই বোঝে না। ওরা শুধু শব্দ পাশাপাশি সাজাতে পারে। তাঁর যুক্তি হলো, এআই নাকি 'আসল' মনুষের ভাষা (যেমন বাংলা বা ইংরেজি) আর একটা 'অসম্ভব' বা উদ্ভট ভাষার (যেমন, যে ভাষার নিয়ম হলো প্রতিটা বাক্য উল্টো করে বলতে হবে) মধ্যে পার্থক্য করতে পারে না। ওদেরকে যা শেখানো হবে, ওরা তাই শিখবে।

কিন্তু সম্প্রতি স্ট্যানফোর্ড ইউনিভার্সিটির একদল গবেষক ভাবলেন, আচ্ছা, কথাটা কি আসলেই সত্যি? চলুন, পরীক্ষা করে দেখা যাক।

ওরা যে গবেষণাটা করলেন, তার নাম দিলেন "মিশন: ইম্পসিবল ল্যাঙ্গুয়েজ মডেলস"। এই গবেষণাপত্রটা বেরোনোর সাথে সাথেই হৈচৈ ফেলে দেয় এবং এআই দুনিয়ার সবচেয়ে বড় কনফারেন্সগুলোর একটায় সেরা পেপারের পুরস্কার জিতে নেয়।

গবেষকদের প্ল্যানটা ছিল খুব সহজ কিন্তু দারুণ। ওরা ঠিক করলেন, এআই কে শুধু ভালো ভাষা নয়, কিছু জগাখিচুড়ি আর অসম্ভব ভাষাও শেখানোর চেষ্টা করবেন। তারপর দেখবেন এআই কী করে।

ওদের পরীক্ষাটা ছিল এইরকম:

  • ধাপ ১: একটা 'বাচ্চা' এআই নেওয়া হলো, অর্থ্যাত ছোট সাইজ, এখনোও কিছুই শিখে নাই এমন। তাঁরা জিপিটি-২ মডেল নিলেন। এই মডেলটাকে একদম গোড়া থেকে শেখাতে হবে, অনেকটা একটা শিশুর মতো যে কোনো ভাষা জানে না।

  • ধাপ ২: অসম্ভব সব ভাষা তৈরি করা হলো। এই ধাপটাই সবচেয়ে মজার। ওরা ইংরেজি ভাষাকে ভেঙেচুরে কয়েকটা উদ্ভট ভাষা তৈরি করলেন। যেমন:

  1. ভাষা এক - র‍্যান্ডম শাফল___ মানে একটা বাক্যের সব শব্দকে পুরোপুরি এলোমেলো করে দেওয়া। ধরুন, "He cleans his room" হয়ে গেল "room cleans his he"। এই ভাষার কোনো মানে হয় না।

  2. ভাষা দুই - রিভার্সড___ মানে পুরো বাক্যটাকেই উল্টো করে লেখা। "He cleans his room" হয়ে গেল, "room his cleans he"।

  3. ভাষা তিন: কাউন্ট বেসড বা গোনার নিয়ম। এটা ছিল সবচেয়ে গুরুত্বপূর্ণ পরীক্ষা। মানুষের ভাষা সাধারণত নির্দিষ্ট কাঠামোর ওপর চলে (যেমন বিশেষ্যের পর ক্রিয়াপদ)। কিন্তু এই কৃত্রিম ভাষায় ওরা নিয়ম বানালেন গোনার ওপর। যেমন, ইংরেজিতে আমরা বলি "He cleans his room"। এখানে 'clean' এর সাথে 's' যোগ হয়েছে কারণ 'He' হলো থার্ড পারসন। এই 's' টা ক্রিয়াপদের ঠিক পাশেই বসে। গবেষকরা নিয়ম বানালেন, এই 's' টা ক্রিয়াপদের পাশে বসবে না। এটা বসবে ঠিক ৩টা শব্দ বা টোকেন পরে। তাহলে বাক্যটা দাঁড়াবে "He clean his room very 's well." এর মতো একটা কিছু। খেয়াল করেন 's বসা উচিত ছিল clean এর সাথে কিন্তু এই গোনার পদ্ধতিতে ৩ টা শব্দ পরে বসল। মানুষের কোনো ভাষাই এভাবে কাজ করে না। আমরা কথা বলার সময় এক দুই তিন চার করে শব্দ গুনি না। তাই এটা একটা 'অসম্ভব' ভাষা।

  • ধাপ ৩: গবেষকরা ওই 'বাচ্চা' এআই টিকে একেকবার একেকটা ভাষা শেখালেন। মানে, একটা এআই মডেলকে শুধু এলোমেলো ভাষা শেখানো হলো। আরেকটা মডেলকে শুধু ওই ৪ শব্দ পরের উদ্ভট ভাষা শেখানো হলো। আর সবশেষে একটা মডেলকে আসল, শুদ্ধ ইংরেজি ভাষা শেখানো হলো।

এবার ফলাফলের পালা। এআই কি সবগুলো ভাষাই সমানভাবে শিখতে পারলো? দেখা গেল, নোয়াম চমস্কির দাবি একদম ঠিক নয়।

এআই মডেলগুলো এই অসম্ভব ভাষাগুলো শিখতে গিয়ে রীতিমতো হিমশিম খাচ্ছে!

গবেষকরা যখন দেখলেন এআই কতটা 'কনফিউজড' বা বিভ্রান্ত হচ্ছে, তারা অবাক হলেন। যেখানে আসল ইংরেজি ভাষাটা এআই খুব সহজে এবং দ্রুত শিখে ফেলছে, সেখানে ওই এলোমেলো ভাষার বাক্য দেখে ও প্রায় কিছুই বুঝতে পারছে না।

সবচেয়ে বড় ধাক্কাটা খেল ওই '৪ শব্দ পরে' নিয়মটার ক্ষেত্রে। এআই কোনোভাবেই এই নিয়মটা ঠিকমতো ধরতে পারছিল না। ও বারবার চেষ্টা করছিল ক্রিয়াপদের ঠিক পরেই 's' টাকে বসাতে, কারণ এটাই স্বাভাবিক ভাষার নিয়ম। যখন ওকে জোর করে ৪ শব্দ পরে 's' বসাতে বাধ্য করা হলো, ও পুরো তালগোল পাকিয়ে ফেলল।

তবে এই গবেষণারও কিছু সীমাবদ্ধতা আছে, যা গবেষকরা নিজেরাই উল্লেখ করেছেন।

​প্রথমত, এই পুরো পরীক্ষাটা চালানো হয়েছে শুধু জিপিটি-২ মডেলের ওপর, যা কিনা আজকের তুলনায় বেশ ছোট এবং পুরনো একটা মডেল। এখনকার বিশাল ক্ষমতাবান মডেল যেমন জিপিটি-৪ বা অন্য আর্কিটেকচারের মডেলগুলো এই অসম্ভব ভাষা শিখতে গিয়ে একই রকম সমস্যায় পড়বে কিনা, সেটা কিন্তু আমরা এই গবেষণা থেকে জানতে পারছি না।

​দ্বিতীয়ত, গবেষকরা যতগুলো 'অসম্ভব' ভাষা তৈরি করেছেন, তার সবই করেছেন ইংরেজি ভাষাকে ভিত্তি ধরে। বাংলা, আরবি, চাইনিজ বা অন্য কোনো ভাষার ব্যাকরণগত কাঠামো ভেঙে যদি এমন উদ্ভট ভাষা তৈরি করা হতো, তাহলে এআই কী করতো, সেই পরীক্ষাটা করা হয়নি।

এর মানে কী দাঁড়ায়? এর মানে হলো, এই এআই মডেলগুলো চমস্কির বলা 'তোতাপাখি' নয়। ওদেরও একটা নিজস্ব 'অভ্যাস' বা 'পক্ষপাত' আছে। ওরা সব ভাষা সমানভাবে শেখে না।

ওরা সেই ভাষাই সহজে শেখে যেটা 'স্বাভাবিক' এবং মানুষের ভাষার মতো। ওরা এমন ভাষা পছন্দ করে যেখানে সম্পর্কিত শব্দগুলো কাছাকাছি থাকে। যেমন, 'clean' এর সাথের 's' টা 'clean' এর কাছেই থাকবে। ঠিক যেমনটা আমরা মানুষরা করি।

এই গবেষণাটা প্রথমবার হাতে কলমে প্রমাণ করল যে এআই মডেলগুলোরও ভাষা শেখার ব্যাপারে নিজস্ব পছন্দ-অপছন্দ আছে, যেটা আশ্চর্যজনকভাবে মানুষের ভাষার কাঠামোর সাথে মিলে যায়। ওরা হয়তো আমাদের ধারণার চেয়ে বেশি 'মানুষের মতো' করেই ভাষাকে চেনে।

আমার পার্সোনালি অবস্য এখানে আরও একটা অবজারভেশন আছে। দেখুন একটা মডেল যখন কিছুই জানে না তার মানে ইংরেজী ভাষাই বা কেন তার কাছে অর্থপূর্ণ হবে ? বাংলা ভাষায় "কর্তা কর্ম ক্রীয়া" হয়, ইংরেজীতে হয় "কর্তা ক্রীয়া কর্ম"। মানে হল বাংলায় যখন হয় "আমি ভাত খাই" যেখানে কর্তা আমি, কর্ম ভাত আর ক্রীয়া হল খাই। ইংরেজী করলে কী হয় ? I Eat Rice. শব্দে শব্দে বাংলা করলে কী হয় ? আমি খাই ভাত। কাব্যিক ভাবে মোটামুটি এইটার মানে থাকলেও স্বাভাবিক বাংলায় কিন্তু এভাবে জিনিসটা আমরা বলি না। "আমি ভাত খাই" ই বাংলার স্বাভাবিক ক্রমবিন্যাস। তাহলে ঐযে প্রথম পরীক্ষায় যে ইংরেজী ভাষার শব্দ উলটা পালটা অর্ডারে দেওয়ার কারনে মডেল বুঝতে পারেনি, আর মাল্টিলিংগুয়াল মডেলেরও বাংলা বুঝতে যে কষ্ট হয় এই দুটি বিষয়কে কি আমরা নিছকই কাকতালীয় বলে উড়িয়ে দিতে পারি ?

বিষয়টা এতই ইন্টারেস্টিং আমার কাছে যে এক্সপেরিমেন্ট করে দেখার লোভ সামলাতে পারছি না। কিন্তু উপযুক্ত কম্পিউটেশন পাওয়ার খুজে বের করা দুঃসাধ্য। কেউ যদি আগ্রহী থাকেন আর উপায় হাতে থাকে, আমার মাথায় একটা দারুন এক্সপেরিমেন্টের আইডিয়া আছে, করে দেখতে চাই। জানাবেন। ধন্যবাদ।

Share this article

Sakhawat Adib

Written by Sakhawat Adib

I'm a Software Engineering undergraduate at IUT passionate about AI/ML/DL research. Love to read academic discoveries. Would love to spread the knowledge of science throughout the world.

Get an email whenever Sakhawat Adib publishes.

References

[1]

Mission: Impossible Language Models

Kallini, Julie and Papadimitriou, Isabel and Futrell, Richard and Mahowald, Kyle and Potts, Christopher · 2024

Chomsky and others have very directly claimed that large language models (LLMs) are equally capable of learning languages that are possible and impossible for humans to learn. However, there is very l...

Read the paper