問題はタイトルの通りです。 ensure_installed を指定していると起動時にインストールが実行されるため、何度インストールが実行されても Neovim を再起動する度にまたインストールが実行されてしまう症状です。
原因
Neovim 内で &runtimepath を見てみると、 ~/.local/share/nvim/site が含まれています。 この中には packer とそれが管理するプラグインも格納されている ~/.local/share/nvim/site/pack/packer も含まれます。 これ以上は追っていないですが、おそらく nvim-treesitter がこのディレクトリ以下を見てインストールされているかどうかの判定を行なっているようでした。
対処方法
packer を完全に削除することで治ります。
1 | rm -rf .local/share/nvim/site/pack |