崔子陵开元十四年四月，宇文融和李林甫等人弹劾张说，张说被罢相，张九龄也受牵连，张九龄改任太常少卿。崔子陵知道历史的定数无法改变，李林甫这个小人迟早要登上相位，所以向李隆基递交了辞呈，希望罢官归隐。李隆基没有批准，只是授予了他特进、同中书门下平章事的二品闲职，也让他有了更多的时间可以在家里陪着家人。

这一天府里来了两个客人一大一小、一男一女，男的是杨丽的三哥杨玄璬，现任河南府土曹。小女孩是杨丽二哥前任蜀州司户杨玄琰的女儿杨玉奴，因杨玄琰在蜀州病逝，所以才来洛阳投奔三叔杨玄璬。到了洛阳之后，杨玄璬特意带着杨玉奴来看望姑父崔子陵。虽然杨丽只是崔子陵的小妾，但崔子陵来自于现代，并无嫡庶观念，热情的招待了两人。尤其是这个小姑娘长的眉清目秀甚是可爱，崔子陵拿出了许多糖果招待这位妻侄女。当听说小姑娘父母双亡、无依无靠之时，当即又拿出数千两银子交给杨玄璬让他好好抚养这个相貌十分好看、又乖巧懂事的侄女。此刻让他没想到的是这个杨玉奴就后世被广为流传的四大美人之一的杨玉环！

开元二十年，侍中裴光庭病逝。裴光庭死后，武慧儿就成了寡妇，她为了保持自己在朝中的影响力就向高力士提出请求，希望他能推荐李林甫接任宰相，高力士却未敢答应。唐玄宗因中书令萧嵩的举荐，任命尚书右丞韩休为侍中。高力士将这个消息泄露给了武慧儿，让李林甫提前告诉韩休。韩休拜相后，与萧嵩不和，却对李林甫非常感激，便推荐李林甫，认为他有宰相之才。武惠妃也暗中相助，李林甫因此被授为黄门侍郎。

开元二十一年，李林甫被拜为礼部尚书、同中书门下三品，加银青光禄大夫，与侍中裴耀卿、中书令张九龄一同担任宰相，后又历任户部尚书、兵部尚书。当时，太子李瑛、鄂王李瑶、光王李琚皆因母亲失宠而有所怨言，被驸马都尉杨洄告知给了武惠妃，武惠妃又向玄宗哭诉。玄宗大怒，与宰相商议，欲废黜三子。张九龄极力劝阻，表示不敢奉诏执行。李林甫当面一言不发，退朝后却私下对宦官道：“此乃天子家事，何必与外人商议。”

以前李林甫与武慧儿私会都是在暗中进行，因为他既怕被裴光庭知道，也怕被崔子陵知道，毕竟这两人都是他得罪不起的。可现在不同了，他在朝中已经成为了宰相，而且内还有武惠妃撑腰，再加上武慧儿名正言顺的丈夫裴光庭已经死了，他再也不用顾忌什么了！

这天他到裴府找武慧儿，由于他经常到裴府来，裴府的下人自然也没人阻拦。当他走到武慧儿寝室外面之时，就听见里面有窃窃私语的声音。出于好奇他并没有推门而入，而是偷偷的躲在窗户外面打量里面的动静。他用手指将窗绫纸点了个小洞向里观瞧，这一看不要紧，当时就气的七窍生烟。原来是崔子陵与武慧儿两人衣衫不整的躺在一起，不用想也知道刚刚做过什么。尤其是武慧儿在崔子陵面前的那种低眉顺眼的姿态，坚直与和自己在一起时判若两人，不由的让李林甫醋意大发！本来还打算过来与武慧儿温存一番的李林甫知道，这武慧儿刚刚才与崔子陵有过鱼水之欢，等崔子陵走后，就算是自己不嫌弃，她肯定也没什么精力与意愿再与自己温存，所以只好悻悻然的离开了！

走在路上李林甫就在想，要想真正独占武慧儿，只能是先除掉崔子陵，否则以武慧儿在崔子陵面前的表现来看，在武慧儿心中崔子陵的份量肯定比自己重的多！

回到府里之后，李林甫开始让人搜集崔子陵当初与太平公主交往的证据。因为他知道要想扳倒崔子陵，必定得为他戴上谋逆的大罪，否则以博陵崔氏的名望，并不容易轻易扳倒。

虽然事隔多年，李林甫仍探听到了在先天政变之前，崔子陵与太平公主曾在城南的清凉寺偷偷相会过。就算他们之间偷偷私会只是为了私情，但被说成是密谋也十分可信，何况当初薛稷仅仅是因为知情不报就被赐死了呢。毕竟谋逆对于任何帝王而言都是不能容忍的，就连至亲骨肉也不行！