元夫とのトラブルで困っています。

６年前に離婚をした元夫との事なんですが、私は５年前に再婚をし、今は新しい夫と二人で暮らしています。

元夫とは離婚後も連絡は取り合っていたのですが、昨年、『来年結婚することが決まったのでもう連絡はしてこないでほしい』と言うメールがきました。
なので、私は『おめでとう』と言うメールを返し、それ以来元夫には連絡はしませんでした。

ですが、先日『年が明けたからもう結婚したのかな？』と軽い考えで元夫に電話をかけてしまいました。
その時、電話は繋がったのですが相手が出なかったので、『あ、もう奥さんがいるんだな』と思い何も気にしていなかったのですが、５分後くらいに元夫から着信があり出てみると、無言電話ですぐに切られました。

その翌日、私の携帯には６回にわたって非通知の電話があり、出てはみるのですが毎回無言ですぐにきられました。
その夜、また元夫から電話があったので出てみると、『もう連絡するなと言っただろ！！なんで電話してきたんだ！！迷惑だ！！』とすごい剣幕で怒られたので『ごめん』と言って電話を切りました。

そしたらまたそのすぐあとに元夫から着信があり電話に出てみると、『お前の旦那に電話を代われ』と言われ、私は最初は拒んだのですが元夫のフィアンセが電話口に出てきて『てめーの存在がウザイんだけど。消えろ。』等、汚い言葉を浴びせられ、また私の旦那に電話を代われと言うので、私は電話を夫に渡しました。

私の夫は、元夫のフィアンセと話をし、もう連絡はさせないと約束をすると言ったのですが、元夫のフィアンセに『弁護士に相談する。このことに費やした時間を返せ。慰謝料を請求する。』と言われました。

私は元夫に『おめでとう』とメールを送っていらい今回電話をかけてしまった事を除くとその間一度も連絡はしていません。

こんな場合、慰謝料を払わなければいけないのでしょうか？？