按理说赵睿继承皇位的机会应当也就到此画上了句号，但是也许冥冥之中自有天意，正在他放弃做皇帝的梦想之时，发生了一件微小的事情，进而使整个局面发生了巨大的变动。事情的经过是这样的：有一次，宋高宗将赵睿和胖小孩叫到一起，恰巧此时闯进了一只猫，赵睿正全神贯注地听宋高宗讲话，猫闯进来后连眼睛都没有眨一下;而胖小孩却不同，猫闯进来后他显得很惊慌，再也无心听宋高宗讲话，连忙伸脚去踢猫，动作极其粗鲁。
胖小孩这一粗鲁的举动彻底葬送了高宗原本对他仅存的一丝好感，最终，高宗打发走了胖小孩，将赵睿留在宫中。按理说，赵睿被留在宫中之后，皇位继承人非他莫属了，但是他在宫中待了将近有20年，却没有被确立为太子，这让人匪夷所思。