পূর্ব বর্ধমানের বোরহাট এলাকায় অবস্থিত কমলাকান্ত কালিবাড়ি। কথিত আছে, সাধক কমলাকান্ত তাঁর মামাবাড়ি গলসির চান্না গ্রামে থাকতেন। সেখানেই তিনি সাধনভজন করে সিদ্ধিলাভ করেছিলেন। রাজার আমন্ত্রণে তিনি আসেন বর্ধমানের রাজ দরবারে এবং সেখানে একটি গান করেন তিনি। তার গান শুনে মুগ্ধ হয়ে রাজা তেজচাঁদ তাকে তার সভাপণ্ডিত করে বর্ধমানে রেখে দেন। তিনি যেহেতু তন্ত্রসাধক ছিলেন তাই রাজা তাকে ১৮০৯ খ্রিস্টাব্দের এই মন্দির প্রতিষ্ঠা করে দেন।
এখানেই তিনি পঞ্চমুন্ডীর আসন স্থাপন করে শুরু করেন দেবীর সাধনা। এই মন্দিরে সাধকের অনেক অলৌকিক কাহিনী রয়েছে। যেমন- রাজাকে আমাবস্যার রাতে পূর্ণিমার চাঁদ দেখিয়েছিলেন তিনি, কারণকে দুধে পরিণত করেছিলেন। এছাড়াও শোনা যায় নানান কাহিনি। একদিন সাধনা করার সময় অন্য একজন সাধক এসেছিলেন তার কাছে। আলাপ আলোচনার পর তিনি যাওয়ার সময় সাধক কমলাকান্তকে একটি কাঁচের পুতুল উপহার দিয়েছিলেন। পুতুলটি পাওয়ার পরই তিনি বলেন রাজকে খবর দাও আমার যাওয়ার সময় হয়ে গেছে। তখনকার দিনে অন্তরজলী যাত্রা করা হত। তাই বর্ধমানের মহারাজ ওনাকে কাশি নিয়ে যাওয়ার কথা বলেছিলেন। সাধক বলেছিলেন আমি মাকে ছেড়ে যেতে চাই না আমাকে মায়ের থেকে আলাদা করবেন না। সাধক কমলাকান্তের জীবনের শেষ গান ‘কি গরজ আমি গঙ্গা তীরে যাব, কালো মায়ের কালো ছেলে বিমাতার কি স্মরণ নেব’ এই গান গাইতে গাইতেই উনি দেহত্যাগ করেন।
