ご質問者様が、その男性とちゃんと付き合いたいと思っているのだとしたら、連絡先を消す、という選択肢はそもそもにあり得ません。付き合いたい相手なのですから「消した方がいい」という前提そのものが間違っているのです。

そう考えればご質問者様が連絡先を消せないのも当然で「消したい」と思っている気持ちこそが間違っていると言えるでしょう。

おそらく、今回のご質問者様とその男性の関係は、基本的には「ご質問者様の一方的な片思い」に近い状態であると思います。しかし、この男性はご質問者様と「ちゃんと付き合う気」が恐らく、ほとんど全く御座いません。そして、二人の関係を続けている中でご質問者様も少なからずそのことを感づいていることでしょう。

さて、ここでご質問者様に問題が発生します。自分は相手と「ちゃんと付き合いたい」のに、相手はその気が全くない。しかも相手からは都合のいいタイミング呼び出され体の関係がある。

この状態で「私は彼とちゃんと付き合いたい」と思い続けていたら、どうなるでしょうか。

もちろん人によってどう感じるかは様々ですが、間違いなくその中のパターンの1つとして「自分があまりにも惨めになってしまう」というものが御座います。

何故ならば非常に耳障りの悪い表現をすれば、ご質問者様はその男性から“極めて都合のいい女”と思われ、扱われているのです。この世界に「都合のいい女」と思われたいと思っている女性はおりません。するとご質問者様はその状況を打開しようと考えるのですが、どうにもその男性の気持ちを変えることは難しそう。さらにその男性を嫌いになるのも難しそう。さらにさらに、仮に成功しないにしても、何かしら行動をしてみよう！ と思うほどの行動力もない。

そこで自分も「私は彼とちゃんと付き合う気はない」と思うことにした。そうすればお互いがお互いに「都合のいい関係」のため、遊んでいるだけなので自分が惨めになりません。

しかも、今回のご質問文のように色々と悩みをひねくり回していれば、「悩み続ける」ということが出来るのです。

悩み続けていれば、悲劇のヒロインになるというある種の快感すら感じさせてくれることでしょう。