江戸中期の文人画家。岡山藩の支藩鴨方藩の藩邸に生まれる。幼名磯之進。16歳のころに出仕し、以後大いに文武の道に励み順調に出世する。江戸在勤中、多紀藍渓に琴を、玉田黙翁に儒学を師事、画家の谷文晁らの文人と交わり、琴や詩、書画などひろい学芸、教養を身につけた。35歳のとき、中国・明の顧元昭作と伝わる「玉堂清韻」の銘のある名琴を入手したことから「玉堂」を名乗るようになる。藩務もよく努めたが、詩書画にふける生活を送っていたことから、周囲の評判は芳しくなく、49歳のとき官職を退き、50歳で2人の息子をつれて脱藩。以後、全国各地を遊歴しながら得意の琴や書画を中心とする自由な生活をおくった。