有位長期關注的網友常在論壇分享他的一些日常照片，像景點、餐廳之類的（他未提地名、店名，店內照片通常也沒有拍到店名），因為我住過附近所以基本都有印象，很常會留言（留言為公開的）問他是不是某地、某店。今天突然被他說我這樣是肉搜他（我想是認為我公佈他的行蹤），不公開道歉的話就要用肉搜、個資法告我。我第一時間先道歉了，但越想越奇怪，地名、店名好像也不是能識別他的資訊，請問該網友的說法是否合理？我應該如何主張比較有利？
註：因為有時留言前我會根據印象搜一下類似店家（只是店家相片，不是該網友的個資）以確認一下店名或地名，被查電腦後台的話不知是否會變成對方主張我肉搜的證據？另因我先道歉了，是否會變成承認犯罪的情形？