請問公然侮辱跟恐嚇被傳證人可以不要出面嗎？

消費糾紛，老闆態度很囂張，我是消費者，先生情緒忍不住，跟對方順口說了 「你現在是在神奇蝦小」（鄉下人講台語），對方直言要告他，我也很傻眼這樣，這句也算公然侮跟有恐嚇他了嗎？因為對方店只有我的資料，於是警察局發文證人通知書，要我去當證人，店家有錄音錄影。但我已拒絕證言權利沒去，警察說那他只好，直接送法院那邊要我在等通知（因該指傳喚我去當證人）要我指證那個是誰跟他的資料，因為對方要告公然侮辱加恐嚇。
我能不當證人嗎？
因為那是我的先生我的家人。
對方不清楚那個人是我的誰
因為我們是去店裡老闆不在店
是店員打電話給老闆
我們是透過通電話的方式起消費糾紛
我並不想指證他是我先生
請問這樣到時候我收到法院那邊的公文
要傳我去當證人
我要怎麼辦？