但是偏偏谋反罪的证据不充分。
大将韩世忠质问秦桧凭什么说岳飞谋反。秦桧说“飞子云与张宪书虽不明，其事体莫须有”。岳飞的儿子岳云给张宪写的信里虽然没有明说，但谋反这事肯定是有的。韩世忠说：“‘莫须有’三字，何以服天下？”
韩世忠心灰意冷，辞职回家，关门谢客，从此不谈政治，得以终老一生。
张俊虽然战功不及岳飞和韩世忠，但对皇帝绝对忠心，让干嘛干嘛。宋高宗要办岳飞，他也积极参与。
宋高宗让他做了枢密使，但是不久还是将他罢官回家。他回家后不断上书要求恢复工作，并且劝谏高宗亲贤臣、远小人。秦桧暗恨：留你一条命你还活腻味了，说谁是小人啊？罗织罪名要以谋反罪弄死他。可在节骨眼上秦桧得了重病，手连拿笔的力气都没有了，签不了逮捕证。这事就放下了。后来秦桧一病不起死了，张俊算是侥幸逃过一劫。
张俊和秦桧死后又凑到一块。后人痛心岳飞冤死，将害死岳飞的四名主犯的塑像放到岳飞墓前，让他们跪在岳飞墓前赎罪，承受人们的唾骂。其中两人就是秦桧和张俊。另外两人是秦桧的老婆王氏和主审岳飞的万俟禼。
秦桧的老婆之所以陪绑，据说是因为她吹枕头风让秦桧杀了岳飞。秦桧在和议完成后一度想放过岳飞。王氏劝他不要这样。抓虎容易放虎难。抓岳飞是你，放岳飞也是你，搞不好这边得罪了岳飞，那边得罪了皇上，两头都不落好。你不如按照皇上的意思杀了岳飞。于是秦桧要求万俟禼判岳飞死刑。
其实在正史里这些情节都是不存在的。这都是后来的话本小说、戏剧、野史等杜撰的。但传来传去大家都信以为真。
“四人b”的塑像用生铁铸成，跪姿，五花大绑。王氏还得弄得袒胸露乳，龌龊不堪。百姓恨他们迫害忠良，抽他们耳光。“四人b”的脸蛋都是个个光亮照人。王氏更是惨遭胸袭，胸脯锃光瓦亮。有激进的拿大锤砸掉他们的脑袋。不得不重新铸造。从古至今，有记载的就重铸过15回。
不过，世人都相信，害死岳飞的首犯其实是宋高宗。宋高宗才是害死岳飞的幕后真凶。秦桧等人只不过是他的帮凶。
宋高宗死后，继位的宋孝宗为岳飞平了反。宋孝宗把害死岳飞的责任都扣在秦桧头上，只字不提宋高宗的名字。宋孝宗不肯，老百姓不敢，就连史书也为尊者讳。后人将气都撒在秦桧等人的头上。