লোকসভা ভোটে হারের জের, জেলা সভাপতির পদ খোয়ালেন মন্ত্রী রবীন্দ্রনাথ ঘোষ