先是杨慎矜发动了韦坚的冤狱，可在审案的过程中，他发现皇上无意易储，便持观望态度。这一案主要是李林甫的亲信王鉷、吉温和罗希奭主持。其中吉温和罗希奭是李林甫最忠心也最得力的酷吏，号称“吉钳罗网”。以后又引入杨贵妃的哥哥杨国忠。李林甫对杨慎矜的中立态度很不满，再加上他逐渐得到玄宗的赏识，对自己的首相地位构成威胁，便有意将之除掉。杨慎矜和王鉷的父亲原为中表兄弟，王鉷就是他的表侄，两人私交一直很好，后来却因故交恶。李林甫和王鉷便合谋以杨慎矜家藏“谶书”为由，诬告他想推翻大唐王朝，兴复隋室，原来杨慎矜是隋炀帝的玄孙。玄宗震怒，严旨一查到底。结果不仅杨慎矜一家兄弟皆被赐死，株连的群臣遍及朝野。
史仲文先生主编的《中国通史》称：“李林甫屡起大狱，别置推事院，以杨钊为御史，与酷吏吉温、罗希奭共同制造冤狱，所挤陷诛夷者数百家。”至此李林甫已和来俊臣的行径一样了。他在家中盖了一间像偃月的厅堂，号称“月堂”。他想对谁下手时，便住进去，筹思方略。一旦他笑着从里面走出来，京城中便要有许多家族破碎了。他儿子将作监李岫见他如此疯狂，也不免心中畏惧，恐怕有报应临头。一天和李林甫在后园散步，看到一个家人拉着一辆重车走过，便借机跪下对李林甫哭道：“大人，将来有一天我们想像这人一样还有可能吗？”李林甫明白他的意思，发怒道“事情已经到这份上了，你说怎么办？”
他也是心里有苦说不出啊。他已经杀了一个太子、两个亲王，又逼得当今太子、未来的皇上废了两个老婆。他就算悬崖勒马，一样要坠入深渊！他疯狂诛除朝廷内外所有异己者。不过是尽力推迟那灭族大祸的到来。而他也知道，这种大祸迟早会来的。这一点还是清初大儒王夫之看的最准，他在《读通鉴论》中说：李林甫之谮杀太子瑛及二王，为寿王地也。武惠妃薨，寿王宠渐衰，而林甫欲树私恩、怙权势，志终不移，谋之愈很，持之愈坚。凡可以荧惑主听、曲成邪计者，尤剧于惠妃未死之前，以其为己死生祸福之枢机也，可以得当者，无所不用。“死生祸福之枢机”道尽了李林甫的动机。
只是没想到，还没到太子当皇上，大祸就已经临头了。
不久，他就遭遇到了最有力的阻击。王鉷虽是李林甫一手提拔上来的，但他为玄宗生财有道。圣眷日隆，威权日盛，连李林甫都要怕他三分。也是他倒霉，偏巧有一桩谋反案把他弟弟牵连进去。原本没有他的事，可他虽然坏，却对弟弟最好。死保弟弟。杨国忠断言王鉷一定也参与了谋反，玄宗认为王鉷受自己恩重。不会谋反，李林甫虽然不满王鉷骑在自己脖子上。但害怕牵连到自己，便也帮王鉷说好话。杨国忠正是想借此案对付李林甫，而一向对李林甫唯唯诺诺、比儿子还听话的左相陈希烈也反了水，极言王鉷大逆当诛。杨国忠则利用自己御史中丞的权力，用酷刑屈打成招，把李林甫也牵扯进来，说李林甫和王鉷兄弟密切，又和蕃将阿布思暗地勾通，图谋不轨，陈希烈也极力附会。玄宗虽然不全信，却也开始鄙薄李林甫，对他的信任度也降低了。李林甫从此开始走下坡路了。
6.玄宗真是受骗了吗
后世一直认为李林甫把唐玄宗蒙蔽在其中而不觉，才能在朝廷上任意作威作福。其实这是个天大的误解，既抬举了李林甫，又看低了唐玄宗。
唐玄宗是什么样的人？一代圣明君主。这样说并不过分，一直到开元二十四年前，他的一切所作所为都丝毫不逊色与唐太宗李世民、清圣祖玄烨，他的过错只是自认为过了创业期，就想进入享受期，却忘了自己肩上的天下责任。他对李林甫的为人品行都是了解的，不然也不会说出“此子嫉贤妒能，举世无比”这样精确的话。对李林甫所作所为也并非全然无知，实际上大部分都是知道的，李林甫并没能阻止朝臣和他见面，也没能阻碍他行使君主的权力。他之所以把政务都交给李林甫，是因为他需要这样的宰相。