Во первых приведу простой пример:
Сайт А на нашем сервере сделал рассылку. Вы, являясь владельцам сайта Б на этом же сервере, получили письмо. Аналогично, если Вы письмо отправляете сами себе. Спрашивается: почему письмо, полученное Вами не может быть спамом? Только из-за того, что оно отправлено с нашего сервера?
Во вторых:
Сообщения могут помечаться как спам из-за простого несоблюдения "служебной" части письма, т.е. если не указан обратный адрес, в теме присутствуют какие-либо недопустимые символы и т.п.