В футбол попал в семилетнем возрасте благодаря своему другу, которого отец привёл на просмотр в «Спартак». Сергей пришёл за компанию и, в отличие от друга, был принят. Тренировался у Валентина Ивакина, также с ним работал известный футболист и тренер Георгий Ярцев. При этом начинал Сергей нападающим, однако постепенно переместился в оборону, хотя и позиция правого полузащитника ему хорошо знакома.
Когда он выпускался из спартаковской академии, руководство клуба колебалось - стоит ли приглашать Паршивлюка в дубль. Положительное решение полностью себя оправдало. Сергей быстро освоился в «молодёжке», а после первого же сбора с ней был вызван в основной состав, за который и дебютировал 21 июля 2007 года в поединке против «Зенита».
В следующем сезоне закрепился в составе, из которого его так и не смогли вытеснить оправившиеся от травм Йиранек и Шишкин. Через год забил свой первый гол в Премьер-Лиге («Химкам»), который посвятил родителям и любимой девушке. В сентябре 2010-го, после замены Алекса, Сергею впервые достаётся капитанская повязка. В октябре того же года на матч Лиги чемпионов против «Челси» Паршивлюк выводит свою команду на поле в качестве полноправного капитана.
Однако после этого в карьере талантливого защитника наступает чёрная полоса. Его начинают преследовать травмы, он переносит ряд операций, вследствие чего появляется на поле эпизодически в течение сразу нескольких сезонов. Окончательно от всех болячек Паршивлюк оправится только к сентябрю 2013 года. И не только оправится, но и выйдет на новый уровень – в 2014–м он впервые дебютирует в сборной России, а также окажется в стартовом составе красно-белых в первом в истории матче на стадионе «Открытие Арена».
После сезона 2015/16, который спартаковцы завершили на 5-м месте, Дмитрий Аленичев пересмотрел своё отношение к Сергею, и тот был переведён во вторую команду. Сменивший Аленичева итальянец Каррера также делал ставку на других футболистов и дал добро на уход Паршивлюка. В последний день трансферного окна защитник перебрался в «Анжи».
Там, казалось, в его карьере подул свежий ветер. Наставник махачкалинцев чех Врба был очень доволен Сергеем, однако зимой всё поменялось. Клуб сменил владельца, главного тренера и вектор развития – в «Анжи» решили расстаться с рядом ведущих футболистов, в том числе бесплатно отпустить некоторых игроков, которые попали в команду в начале сезона. В числе таких футболистов оказался и Сергей Паршивлюк.
Его новым клубом стал «Ростов», который переживал серьёзную перестройку команды после ухода Курбана Бердыева и почти половины состава. Он играл и у Леонида Кучука, и у сменившего его Валерия Карпина, став безоговорочным игроком «старта» жёлто-синих. В июне 2019 года заключил контракт по схеме 2+1 с московским «Динамо».
Первый сезон за бело-голубых получился неровным. Сергея преследовали травмы, однако когда он был здоров, то являлся безоговорочным игроком стартового состава.
