「方外之士」出自《宋史•隱逸傳》，又作「方外之人」。「方外」，世外的意思。
宋朝太宗時有一個叫陳摶的人，曾在五代後唐明宗時中過進士，但他不願做官，而是去武當山、華山隱居修行。
太宗太平興國年間，陳摶來見太宗，太宗對他十分禮遇。太平興國九年，陳摶再次來見太宗，講述道法。太宗更加以禮相待。太宗對宰相宋琪等人說：「陳摶獨善其身，不貪求權勢和金錢，真是『方外之人』啊。他在華山已經隱居了40年，年齡差不多快一百歲了。他自己說，經歷了五代時期的離亂之苦後，幸好遇到了大宋的太平之世，所以到朝中覲見。同他談話，很值得一聽。」
「方外之士」就是從這個故事來的，後人用此指言行超脫於世俗之人，也用來指佛家和道家的出家人。
