সালটা ১৯৪৯ সালের ১৩ এপ্রিল, দেশভাগের ঠিক দু’বছর পর, তান্ত্রিক সাধক হরিপদ চক্রবর্তী এই স্থানে মা কালীর সাধনা শুরু করেন। তখন এই এলাকা ছিল প্রায় জনমানব শূন্য। একটি ছোট পাতার কুটিরে শুরু হয় মায়ের সাধনা, যা পরবর্তী সময়ে রূপ নেয় আজকের লেক কালী বাড়িতে।
লেক কালীবাড়ির ইতিহাসে সবচেয়ে গুরুত্বপূর্ণ অধ্যায় ছিল পঞ্চমুন্ডির আসনে বসে সাধনা। তান্ত্রিক শাস্ত্র অনুযায়ী, পাঁচটি মুন্ডির প্রতীকের উপর নির্মিত এই আসনে বসেই হরিপদ চক্রবর্তী দীর্ঘদিন সাধনা করতেন। ভক্তদের বিশ্বাস, এই আসনে বসে সাধনার মাধ্যমেই বহু মানুষের শারীরিক ও মানসিক সমস্যার সমাধান করতেন তিনি। তবে বর্তমানে সেই আসন সংরক্ষিত রয়েছে। এই মন্দিরের সঙ্গে জড়িয়ে রয়েছে এক রহস্যময়ী শিশুকন্যার গল্প। লোককথা এবং মন্দিরের ইতিহাস থেকে জানা যায়, এক সময় প্রায়ই একটি ছোট মেয়ে হরিপদ চক্রবর্তীর কাছে আসত। সে কোলে উঠতে চাইত, তাঁর পাশে বসে থাকত। একজন তান্ত্রিক সাধক হিসেবে প্রথমদিকে তিনি মেয়েটিকে একেবারেই কাছে নিতে চাইতেন না।

তবে ধীরে ধীরে মেয়েটিই তার মেয়ের মত তাঁর ঘরে থাকতে শুরু করে। সাধকের পছন্দ অনুযায়ী রান্না করত, নিঃশব্দে তাঁর সেবা করত। শোনা যায় মেয়েটি যেন সাধকের মনের কথা আগে থেকেই বুঝতে পারত। একদিন কোনও কারণে সাধক মেয়েটিকে বকাঝকা করেন। অভিমান করে একদিন হঠাৎই চলে যায় মেয়েটি। এরপর থেকেই সাধক গভীর শোকে ভেঙে পড়েন। মেয়েটিকে খুঁজেও আর পাওয়া যায়নি। জনশ্রুতি অনুযায়ী এরপর একদিন রাতে স্বপ্নে সেই শিশুকন্যা এসে সাধককে জানায় এতদিন যাঁর সাধনা করে তিনি জীবন কাটিয়েছেন, সেই মা কালীই মেয়েটির রূপে এসে তাঁর সেবা করেছিলেন। মেয়েটি চলে গেলেও তাঁর পায়ের ছাপ রেখে যায় সাধকের ঘরে। এক রাতে স্বপ্নে মা কালী হরিপদ চক্রবর্তীকে দর্শন দেন। মা তাঁকে জানান, স্থানটি তাঁর জন্য পবিত্র এবং সেখানেই মন্দির প্রতিষ্ঠা করে মানবকল্যাণের কাজ করার নির্দেশ দেন মা কালী। তৎকালীন সময়ে হরিপদ চক্রবর্তী ছিলেন অত্যন্ত দরিদ্র। মন্দির নির্মাণের মতো অর্থ তাঁর কাছে ছিল না। ধীরে ধীরে মায়ের কৃপায় অর্থের ব্যবস্থা হয়। একটি ছোট কুটির থেকেই শুরু হয় লেক কালীবাড়ি মন্দির তৈরির যাত্রা।