民事訴訟について

そういう合意をしたのでしたら、可能性はあります。
脅されたのでしたら、その合意自体は無効を主張できるかもしれません。

しかし、一応は同棲していたわけですから、実際に利用していたわけですし、その負担を求めること自体は不当ではないですし、結局はそういう請求をされるのではないでしょうか。
訴訟までするかはわかりませんが。

もともとは書面を作成しなければ負わなくてもよかったかもしれない債務ですが、支払うという内容の書面を作成していますので、いったん債務としては形になっています。

そのため、彼の方はその書面をもとにいったん請求できることになります。

請求の方法としては、お手紙や電話や面談での請求、それでも払わなければ裁判所での少額訴訟や訴訟、ということになりますが、訴訟を起こすほどの時間と手間をかけて請求するだけの金額かどうか、そこまで熱心に請求するか、というところで、彼の方が請求を途中であきらめることも可能性としてそれなりにあると思います。

最終的に訴訟となった場合、相談者さんとしては、その書面は脅されて作成したもので強迫により取り消す、という反論ができますが、立証という面では（お２人だけの空間ですので）少し難しいかもしれません。

そのため、「払わなければならないか？」というご質問に対しては、これだけのプロセスが想定される中で、
・彼がとことん請求してくる可能性の大小
・相談者さんが払いたくない意思の強さや経済的余裕の有無
・心理的負担と金額の相関関係
・この件に関わる時間の長短
という要素を加味して決定することになると思います。

数万円（数十万円かもしれませんが）のことで数ヶ月も引きずりたくない、と思えば早々に払ってもいいでしょうし、
とことん払いたくないので全面的に争う、時間がかかっても関係ない、と思えば徹底抗戦してもいいと思います。

ただ、書面がある以上は一般的には彼が有利であることは心に留めておいてください。