张柬之等人虽被封王，但被夺去实权，对武三思形不成威胁了。 但是，斩草须除根，武三思是不会放过他们的！ 再说，他们虽不得参与朝政，但他们还有着王的尊号，还能一月入宫朝拜两次，有机会和李显接近，能对李显进行劝谏或献策，谁也不敢保证李显会不会听从他们的话！
所以，武三思觉得他们留在京城，仍然是一种威胁，只有把他们先驱赶出京城，再设法收拾他们！ 武三思便上报朝廷，要将他们调离京城，改任地方官。 这时是韦后当权，上官婉儿掌管草拟诏令，调令可以随便下。 而这俩个人，都是武三思的姘头，所以，他想怎么做，就怎么做！
当下李显诏令一下，张柬之调任为襄州刺史，敬晖为朗州刺史，桓彦范为亳州刺史，袁恕己为郢州刺史。
张柬之到了襄州之后，严肃法纪对待下属，即使是亲朋旧故也不放纵宽免。他遇到汉水暴涨侵及外城，便带着官兵壁垒筑堤，遏制急流怒涛，全境依赖它防洪。 我们别忘了，这时的张柬之可是八十余岁的老者！可是，他为了救洪，还亲自带人筑堤！ 这么好的一名官员，武三思却不放过他，还要置他于死地！
武三思等把他们调离京城后，让他们没有机会找皇帝申诉了，便指使郑愔诬陷张柬之等人与王同皎同谋，说他们想要废掉韦后！ 李显见了郑愔的上书，顿时大怒，又将他们五人再次贬谪。
张柬之被贬为新州司马，敬晖为崖州司马，桓彦范为沈州司马，袁恕己为窦州司马。 他们都是贬在当时最为偏僻、最为荒凉的所谓远恶之地。 武三思决定要把张柬之整死为止，于是，想出了一个激怒李显的法子，那就是暗中指使人书写韦后的污秽行为，请予废黜皇后的封号的传单，然后，张贴在洛阳的天津桥。 武三思又让人将这种情况报告李显。 李显听了，极为愤怒，命令御史大夫李承嘉穷究其事。 李承嘉秉承武三思的意旨，捏造案情，诬为张柬之、敬晖、桓彦范、袁恕己五人对贬谪不满，暗中指使人所为，并报请李显:“他们表面上是请求废黜皇后，实则是想阴谋篡逆，应该对他们四人全部诛杀！” 大理丞丰朝隐表示反对，奏称“对张柬之等人不经审问，就急忙诛杀，不合法律手续。” 大理丞裴谈为讨好韦后及武三思，为之出谋，奏称:“对张柬之他们应该根据皇帝的诏令判处斩刑，诛杀全族，没收家产，则可以不必经过审问，也是合于法律手续的。”
后来李显考虑到曾向张柬之等颁发有不处死的丹书铁卷，当下不同意处死，改为流放。 可怜张柬之八十余岁的高龄，被流放到泷州，敬晖被流放到琼州，桓彦范被流放到瀼州，袁恕己被流放到环州。
四家子弟十六岁以上的，都流放到五岭以南。 裴谈因讨好献媚，由大理承提升为刑部尚书，李朝隐因秉公持正则由大理丞贬为闻喜县令。 邪僻者升官，正直者遭贬！ 朝廷，已然成了小人掌权的朝廷！
崔湜又向武三思提出建议:“张柬之等若有朝一日被召回洛阳，必为后患，不如派遣使者，假传圣旨，将四人杀掉！”
这种假传圣旨的行为，被发现就是个死！可是，色胆包天之后的武三思，变得胆大包天，当下高兴地说:“正合我的心意！但不知派哪一个去最为妥当?” 崔湜便推荐他的表兄大理正周利贞。
武三思与韦后商议后，决定由上官婉儿草拟一道诏书，命令周利贞以代理右台御史的身分，带着上官婉儿发出的假圣旨前往岭南，去杀害张柬之等五人。 周利贞到达岭南，张柬之年老体衰，恚恨成疾，已死于新州贬所。
他算是万幸，未遭受到周利贞的残酷折磨。 桓彦范可没他这么幸运，他正被押往瀼州流放的途中。 周利贞在贵州遇到桓彦范，随即令人将桓彦范用绳索捆绑，在砍伐的竹桩上拖着走，肉被竹桩刮去，露出骨头。 周利贞这变态，折磨桓彦范折磨得心满意足了，这才用棍棒将他打死，手段残忍至极！ 敬晖被刀剔而死，残忍更胜一步；至于袁恕己，被强灌野葛藤汁，腹内痛苦难受，倒在地下，以手抓土，指甲磨尽，鲜血淋漓，而后用竹板打死，残忍又胜一步！
武三思，狠毒的人，终究遭到悲惨的结局！ 周利贞因残杀有功，回到京城，即升为御史中丞，血染珠顶红！ 武三思残害张柬之等人之后，权威日盛，将过去张柬之等人所斥退的小人全都恢复了原有职务。
他常对人说:我不知道人间哪一种人是善人，哪一种人是恶人，我只知道对我好的就是善人，对我不好的就是恶人！ 这简直就是混账话！ 一个人，最正确的看人，不是看他对你有多好，而是看他对弱小之人有多好！因为，人为了目的，可以对你好得比老妈还亲的！然而，一旦目的达到之后，他也可能对你比仇人还狠！而对弱小者有同情心的人，永远都不会有狠毒之心！
武三思抱着对他好的人就是好人的宗旨，把凡是反对他们的就加罪杀掉或排斥，讨好他的就高官厚禄！一时间，朝廷成了武三思的朝廷，所用之人，阿谀奉承，无所不用其极！ 处士韦月将上书朝廷，指出武三思父子权力过大，必为叛逆！ 武三思得知后，立即指使有关部门将韦月将处斩！
时任黄门侍郎的宋璟在李显面前力争，认为韦月将未犯死罪，不应处死。 大理卿尹思贞认为时令为夏天，不是处死刑的时候。 武三思于是变换手法，将韦月将流放岭南，到秋天行刑的时候，令广州都督周仁轨将韦月将杀害！ 同时，武三思上奏朝廷，将宋璟由京官调为并州长史。
当时侍御史周利贞、冉祖雍、太仆丞李悛(诗人宋之问的外甥)、光禄丞宋之逊(宋之问的弟弟)、监察御史姚绍之五人为武三思的耳目，被人呼为三思五狗。 武三思又与兵部尚书宗楚客、将作大匠宗晋卿、太府卿纪处讷、鸿胪卿甘元柬等人互相勾结，操纵朝政。对武氏的祖先，按帝王祖先的礼仪进行祭祀，对武氏祖先的坟墓，按帝王陵墓一样，派官员管理，阴怀篡逆。 当时人将武三思比为曹操和司马懿。
武三思，他下一步的计划是让韦后夺权，然后逼死太子李重俊，立自己的儿媳安乐公主为皇太女！再之后，把权力牢牢掌握手里，时机一到，立即篡位！