どちらが得か計算して判断してください。移すことで振込手数料が上がる、または移し元の金融機関との関係が悪くなる可能性があります。また、利息の方は、平均残高×金利なので返済が進むと減っていきます。年単位で計算してみましょう。