坂本龍馬が残した言葉の一つで、中でも有名なものであるらしいです。下の句は谷崎潤一郎の「我といふ人の心はたゞひとり われより外に知る人はなし」と似ていますが、上の句がいいですね。言いたい奴には言わせおけ、という開き直りの気持ちが表現されているように思います。
「亭主の好きな赤烏帽子」という言葉がありますが、赤烏帽子を被っている当の亭主は、その赤烏帽子を好む気持ちを家族から理解されていないことになります。まぁ、これは例えが適切ではありませんでしたが、要するに男のロマンとか夢とか思想とか、人の趣味嗜好というものは往々にして他人に理解されないということです。だから「われより外に知る人はなし」だし、「我なす事は我のみぞ知る」ではないかと思います。
共鳴者や理解者が身近なところにいればいいですが、そう都合よくいるものでもありません。それは辛い状況かとは思いますが、だからといって周囲に迎合などしなくて良い。また、今のネット社会なら発信し続けることで反応が返ってくることも多く、諦めてはいけないと思います。