大事なのは入れ替えることです。 Caps LockキーをCtrlキーに変えることではありません。 結論から言うChange Keyを管理者権限で起動して設定すると、できました。
失敗した方法
Ctrl2cap
Ctrl2capというMicrosoftが公開しているツールがあります。 これはCaps LockキーをCtrlキーに変えるツールで、入れ替えるツールではありませんでした。
レジストリ編集
Windows10でCaps LockキーをCtrlキーに変更する - アナグマのモノローグとASCII.jp:CtrlとCapsを入れ替え! Windowsのキー配列をカスタマイズ (1/2)に2パターンの設定値があります。 両方試したのですが、上手く反映されませんでした。