当然，张天师出生时到底是不是真有异象其实也无关大局，反正我们也知道张天师从小就不凡了。不过张天师并不是从小就有志投身于道教行业的，而是读的儒家圣贤书，走的是仕途，只不过并不是很顺利罢了。
《神仙传》里记载，张天师50岁时弃儒修道，开始追求长生大道。原因说法也比较多，但也基本上没有证据，通过后来他创立五斗米道的行为来分析，应该是有了看透了当时政治**的社会，想自己拯救这个世界的想法吧。
修道之初，张天师选择了在洛阳北边的北邙山隐居。为什么江苏人跑到离洛阳这么近的地方隐居，洛阳是都城，这就耐人寻味了。有人说，北邙山风水好啊，张天师那可是神仙人物，当然是看中了北邙山的好风水才来的。当然，北邙山风水好是得到历代高人的普遍承认的，不是常说生在苏杭，葬在北邙嘛，唐诗也说“北邙山头少闲土，尽是洛阳人旧墓”、“何事不随东洛水，谁家又葬北邙山”。北邙山上埋葬的名人真的不少，比如吕不韦、刘秀、司马懿的后人、南陈和南唐的后主、杜甫、颜真卿等等。有点扯远了，接着说张天师，都说了是隐居去了，就应该老老实实隐着，别让人发现了才对，而张天师偏偏又弄出了不少动静，以至于引起了皇帝的注意，还三次下诏请他出山做官。当自以为看透张天师心思的人以为他会欣然出山找皇帝报到时，让人费解的是，张天师对皇帝说了NO，最后干脆带上弟子云游四海去了。
这次外出，张天师和弟子应该是走了很多地方，最后来到江西贵溪云锦山，认为这又是一个风水宝地，因为曾经有古仙人在这里住过，于是就和弟子在山上结庐而居。在这段时间，张天师最主要的工作就是开坛炼丹，因为那时他得了一部《黄帝九鼎丹法》。其间的过程不必细说，三年后终于炼成神丹，丹成之时天上有龙虎异象，所以就有了现在江西龙虎山。如果大家熟悉道教的话应该知道，这里的龙虎其实并不是表面上简单的龙和虎，特别是在内丹派里是和阴阳、性命双修有关系的，暂且按下不表，内丹派是后面的重点要讲的部分。
在今后很长一段时间内，张天师和弟子在龙虎山上住了下来，张天师没事给弟子讲讲课，炼炼丹，倒也留下了不少遗迹。