「体調不良で」と伝えるのが唯一の正解です。これ以外の断り方は角が立つので絶対に使わないでください。毎回この理由を使えば問題ないので、深く考えず体調不良で通してください。