但是乾隆也有不幸的地方，在他最小女儿十公主出生的那年，女儿中只剩下了和敬公主和和恪公主两人在世，其他的都死在了他的前面，而众多皇子也好不到那去。
在十七个皇子中，孝贤皇后所生的两个儿子---皇二子永琏和皇七子永琮，无疑是他心目中最理想的太子人选，但不幸的是，这两位皇子都相继夭折。到了乾隆三十八年，63岁的乾隆打算再度秘密立储时，他生的那些阿哥们，已经死了七七八八了。
在这些已故的阿哥中，他最满意的是五阿哥永琪，不过大家千万不要以为是《还珠格格》里的那位永琪，只是名字相同而已，此永琪非彼永琪，台湾那位阿姨只是借了个名字用下而已。
乾隆三十一年(1766年)，年仅25岁的永琪被封为荣亲王，没想到这孩子福薄命浅，亲王做了四个月就病死了。等到乾隆想再要立储的时候，所生的十七个皇子中，只剩下了四阿哥永珹、八阿哥永璇、十一阿哥永瑆、十五阿哥永琰和十七阿哥永璘了，而仅存的六位皇子中，四阿哥和六阿哥早已过继给履亲王允祹和慎郡王允禧了，原本皇子极多的乾隆等到真要立储的时候，就只能在剩下的四位阿哥中选择了。
八阿哥永璇是乾隆身边最年长的阿哥，聪明可爱，也能书善画，但是为人轻浮，做事颠倒，最关键的是他脚上有病，仪表欠佳，乾隆对他不报期望，乾隆十四年封了个仪郡王算是让他安度晚年了。
十一阿哥永瑆，是个颇具文学艺术天分的阿哥。他的诗文精洁，尤其工于书法。乾隆是个风雅天子，多次到永瑆府上，观赏他的画作书法，对他颇为欣赏。但是这位阿哥搞艺术还行，性格上有很大缺陷，被众多王宫大臣传为笑谈的是他的吝啬，他的福晋是当朝第一大臣傅恒的女儿，嫁妆极丰，然而，过门之后这位钟鸣鼎食之家的大小姐竟然日食薄粥度日!陪嫁的金银财宝都被纳入亲王府库中。据统计永瑆的亲王府库中光是白银就有八十万两，其他珍宝无数。
十七阿哥永璘，恐怕是乾隆的皇子中最不成器的的，这小儿子从小就不喜欢读书，性情也很浮躁，没有天潢贵胄的气度。乾隆五十四年，皇帝八旬大寿，万寿节庆典之前大封诸子，六阿哥、十一阿哥、十五阿哥都封了王爵，永璘只封了个贝勒，从此他对皇位是彻底死心了。
永璘曾经对亲近的人说过“即使皇帝多如雨落，也不会有一个雨珠儿滴在我的身上。将来那个哥哥当了皇帝，能把和珅的府邸赐给我，也就心满意足了。”和珅被赐死以后，嘉庆皇帝还真是将和府的一半赐予了永璘，次从永璘燕居其中，唯以声色自娱自乐，这也算不幸中的大幸了。
乾隆用了排除法一一排除之后，十五阿哥被最终选中。尽管还不是十分满意，只给打了八十分，但也算把人选落实了，心里总是有点安慰。
当永琰的名字被秘密写入传位诏书之中的时候，永琰还是一个十三岁的少年。撇开那些年长的皇子而单单选了他，当然是因为他的身上有与众不同之处。
乾隆考察下一届领导班子当然也是有标准的，永琰让他满意的有几点。
其一、永琰性格比较稳重，最大的特点就是制止力强，他起居有常，举止有度，学习勤奋，办事认真，从不逾规矩一步，这点让乾隆最欣赏。
其二、永琰品质端淳，富有同情心，待人十分友善，也善于为他人着想。
其三、从学业上看，永琰对儒家心性之学，颇有心得。另外在武功骑射上虽然比不了自己的父亲和曾祖父，在兄弟当中也是首屈一指。起码身子骨好，吃嘛嘛香，一时半会挂不掉。
其四、从外表看，永琰是清朝历代皇帝当中最端正的一位。中等身材，皮肤白皙，五官端正，一副雍容华贵的相貌。脸型介于方圆之间，显示出他性格的平衡和理智。经过从小的训练，在出席大的场合中，总能举止高贵，镇定自如，讲话不慌不忙，一看就是皇家贵族，不像其他阿哥，一看就是收电费的。
乾隆之所以没给他一百分，是因为永琰性格过于老实端方，总是缺一点机智圆滑或是说缺了一点就通的那么一点“灵犀”。乾隆担心他当了皇帝之后，是否能和自己这个太上皇处理好关系。不过凡事不能求全，能够找到这样一位能够基本让他满意的接班人，也算是没有遗憾了。
事实证明，乾隆选的这位皇帝，基本上还是能够按照他的意思去办的，而永琰也算得上是一位勤勉的皇帝。
