భద్రకుడని వార్తాపత్రికలలో వేయబడిన బొమ్మను చూచి గుర్తించి, ఆతడు జీవించియుండగా తాను అతనిని కలిసికొనలేక పోతినని కావ్యకంఠుడు పరితపించెను.
తండ్రి యభిలాషను తీర్చుటకై గణపతిశాస్త్రి కలువఱాయి నుండి ఆయనను గైకొనిపోయి కాశీయాత్ర చేయించెను. గంగలో స్నానము చేసినంతనే ఆయనకు నేత్ర రోగము ఉపశమించెను. స్వగ్రామమునకు చేరగానే వేలూరులో తన కుమారుడైన మహాదేవునకు మశూచి వ్యాధి సోకినట్లు తెలిసి ఆయన భార్యతో వెంటనే బయలుదేరి వేలూరునకు వచ్చెను. కుమారుని చూచి ఆయన ఉగ్రమారీచి నాహ్వానించి శ్లోకములను చెప్పినంతనే మశూచి మాయమయ్యెను.
తరువాత దసరా యుత్సవములలో గణపతిశాస్త్రి సకుటుంబముగా "పడైవీడు" లోని రేణుకాదేవిని దర్శించెను. నాటి నుండి ఆయనకు తపస్సుపై ఇచ్ఛ తీవ్రము కాజొచ్చెను. ఒకనాడు ధామస్ హారిస్ అను ప్రధానోపాధ్యాయుడు ప్రసంగవశమున 'సంసారమును విడచి నిజముగా తపస్సు చేయువారు ఇప్పుడు ఎవ్వ రున్నారు?' అని పలికెను. వెంటనే కావ్యకంఠుడు 'నేను చేసెదను' అని ఉద్యోగమునకు అప్పుడే రాజీనామా ఇచ్చి 3 - 11 - 1907 వ తేది తపస్సు చేయుటకు తిరువణ్ణామలైకి తిరిగి వచ్చెను.