住宅ローンの残債は退職金で一括返済すべきか？

退職金の活用として、住宅ローンの残債の返済がよく言われています。
私も平均的な退職金をいただきましたが、住宅ローンの残債の返済は考えませんでした。
私の場合、あと支払いが8年残っています。ただ、借りたときの利率は0.42%（固定金利）です。
投資により、金利以上の利回りが想定されるのが、最大の理由です。
団信にも入っているので、何かあれば、自宅は残ります。
株式投資をやっていると、この金利は、手数料程度に思えてきます。
ローン一括返済に回すより、株式投資に回したほうが、有効に思えたからです。