江山一统，国富人衍，天下尽显多少年来鲜见的泰然平和景象。文帝杨坚终于可以喘歇一时了，他采纳了几位大臣的奏议，诏令修造一座离宫，作避暑休息之用。几位大臣说得不错，节俭极为必要，但是，身为泱泱中国之皇帝的气势排场还是不可或缺的，修造离宫便是其一。
文帝命术士章仇太翼为离宫选址。章仇太翼是颇得文帝信赖的术士，善于观天象、察地理、看风水，预卜凶吉宜忌诸事很是灵验。章仇太翼在几位宦臣的陪伴下奔波一月有余，将离宫的位置选在了渭水以北的岐山。
文帝在皇宫里看着章仇太翼标画的图址，又听了他一番绘声绘色的描述，自然喜不胜喜，遂赏赐了章仇太翼许多物件，章仇太翼谢恩退下。地址选好了，修造离宫的心情一下子急切起来。独孤皇后与文帝有着同样的心思，人在大殿深宫里呆得时日长久了就会枯燥乏味，没了精神，还是得不时地有点新鲜的感觉才好。
独孤皇后问杨坚：“陛下打算派谁监修离宫？”
杨坚说：“朕正在思量此事呢。”又反问道：“皇后以为谁可以担当此任？”
独孤皇后脱口而出：“越国公杨索可以！”
杨坚一听就笑了，说：“难怪文武群臣称朕与皇后为宫中二圣，你我商议之事往往不谋而合！”
“宫中二圣”的称谓在皇城内传扬已久了。独孤皇后出身鲜卑贵族，鲜卑王朝自古就有夫人干政的习俗。而文帝杨坚自知多亏鲜卑贵人提携恩宠才有了今天，因而对其旧习也颇为尊崇。朝中之事多与皇后商讨，甚至有许多旨意圣裁就直接出自独孤氏之口。
就这样，在严苛无情的监督逼迫之下，只用了一年多的时间，一片辉煌华丽的宫阙殿宇就在岐山中落成了。杨坚闻奏大喜，竟一刻也等不得了，立即传旨要与独孤皇后驾幸岐山离宫。
杨素没料到皇上这么快就要到来，一时有些慌乱。他并不是怕离宫哪些地方修造得还不完善，让皇上挑出刺儿来，而是另有原故。原来，修造离宫期间，病死、累死或被坍塌山石砸死的丁役数以千计。起初杨素还命将死者扔进石坑中填土埋掉了事。后来为了赶工期，埋也顾不得埋了，就扔在一旁。直到今日，还有许多尸体散落在山道两边和宫墙内外。杨素接到皇上即将驾幸的圣旨，即刻命部下将这些尸体堆集在离宫旁边的一道石沟里，挖坑掩埋怕是来不及了，便架起枯树干柴一把火焚之。一时间浓烟冲天而起，阵阵骨肉焦糊的气味弥漫了山谷。不过还好，总算在皇上驾临之前处置完了。
文帝杨坚与独孤皇后对新建的离宫非常满意，大加赞赏。
文帝亲自为离宫取名，叫作“仁寿官”。
当晚，文帝与皇后就在仁寿宫住下。并赐宴犒赏杨素等修造仁寿官的有功之臣，直至夜半。
文帝在仁寿富住了几日，因牵挂朝政，便回到长安皇宫。可是在执理朝政之余，却时时惦念着仁寿官，他自己也说不清这座新建的宫殿到底有什么值得如此牵肠挂肚的地方。这样，他多则一个月，少则二十天便要与皇后幸临仁寿宫一回，住个三天五日再回来。可每次回到长安，又总感觉兴致未尽。他越加佩服章仇太翼慧眼独具，真的选到了一块世间少有的吉祥宝地。
如此过了半年。这天，朝中无事，文帝又与独孤皇后商议再去仁寿官住上几日。可是皇后却说：“这几日恐是有些着凉，浑身酸痛，懒散得很，一点也不想挪动。”
文帝叹了一声，觉得很扫兴。
善解人意的独孤皇后看出了文帝的心思，就说：“妾身不适，陛下此次去仁寿宫，还望宽恕不便陪驾之罪。妾只望陛下在离宫好好休养，还要早些回京，不要耽误了国事。”
这就是说，虽然皇后我不能陪同，皇帝陛下可以自己去嘛。文帝真是高兴极了，也说了些请皇后多多保重的话，又命太医好好照料，随后便起驾往仁寿官去了。
这仁寿官建造得的确不同一般。整个格局依山傍势，曲回得体。看上去极似天公自然造化，又不乏人为的匠心独运。真乃天人合一的杰作。这片殿宇虽然没有皇宫的雄浑肃穆，却多了怡人的恬静温馨。如果说皇宫的气势是为了向外显示皇帝国家的尊严和威仪，那么仁寿宫的布局则是对内，也即更多地满足帝王内心平和宁静和愉悦欢畅。这些愉悦欢畅在威严的大殿上是看不到的，只有在这里，在这青石山道和椒房绣闼之间，在没有皇后体贴陪伴的时候才能释放得出来。