Перечитал кучу статей, но так и не понял, если северный стаж составляет положим 4 года всего -...

К сожалению нет, никак не повлияет. Чтобы досрочно выйти на пенсию в 55 лет(Согласно ст. 32 ФЗ-400), вам нужно было бы иметь стаж:
- 15 лет в районах Крайнего Севера;
- 20 лет в районах, приравненных к Крайнему Северу.
Единственное послабление, если вы отработали в указанных регионах не менее половины от указнного периода, то есть 7,5 лет для Крайнего Севера и 10 лет для приравненных районов вы имеете право на уменьшение возраста выхода на пенсию на 4 месяца за каждый год работы на Крайнем Севере.Для приравненных районов нужно пересчитывать, по ним год стажа приравнивается к 9 месяцам северного стажа. То есть каждые 4 месяца нужно еще на 3/4 перемножать, то есть за каждый год работы в арйонах приравненных к крайнему северу, возраст выхода на пенсию сократиться на 3 месца.
В вашем случае стажа для применения этого положения явно недостаточно.Кроме того для применения указанного положения у мужчин общий страховой стаж должен быть не менее 25 лет.
Но как я уже сказал у вас недостаточно для этого времени, отработанного на Севере.

Северная пенсия назначается, когда гражданин накопит определённый стаж. Он даёт право не только досрочно выйти на пенсию, но и получать её повышенный размер.

Для назначения северной пенсии в 2018 году необходимо иметь:

• достичь 55 лет;
• трудиться не менее 25 лет;
• проработать на Крайнем Севере как минимум 15 календарных лет (такой год в северных областях равен 9 месяцам работы).

Если северный стаж выработан не полностью пенсия начисляется по обычной схеме, но на льготных условиях. Если стаж меньше 15 лет, но больше 7,5 лет, то пенсия рассчитывается по определённой схеме. Каждый отработанный год сверх 7,5 лет, уменьшает возраст для выхода на пенсию на 4 месяца. То есть, если вы проработали на Крайнем Севере только 4 года, то пенсия вам будет начисляться на общих основаниях и раньше уйти на нее вы не сможете.