Это касается всего, включая "посидеть" и "зайдёшь ко мне?".
Другое дело, что говорить "нет" нужно только тогда, когда на 100% понимаешь, почему ты говоришь это "нет", а не говорить "нет" просто из принципа.
Отсюда главное - понимать, что ты делаешь и когда ты делаешь.
Человек, который говорит "нет" просто так, не думая, выглядит странно. С другой стороны находятся люди, всегда говорящие "да". Они вообще выглядят жалко...