元旦那の暴力や浮気が原因で別れても、実の父ということで面会は避けられないのでしょうか？

元旦那の暴力や浮気が原因で別れてもうすぐ２年が経ちます。
私が２人の子供を引き取りました。
離婚時には口約束ですが「お互いに再婚したら子供には合わない」と約束しました。現在私も再婚して２人の子供は養子縁組で現在の旦那の戸籍にはいっております。
相手も再婚して子供が産まれました。私ももうすぐ出産します。
最近になって元旦那が子供達に合わせてほしいと言ってきます。
私的にはお互い新しい家庭があるわけですし子供たちも新しいパパにすっかりなついて幸せな日々を送っているので会わせたくないんです。
もちろん養育費をもらっているわけでもありません。
元旦那は会わせてくれないなら調停にかけるといっています。（口だけの脅しかも知れませんが）

この場合、調亭になるとやはり実の父ということで有利になってしまうのでしょうか？