Родился 13 ноября 1954 года в городе Вольск Саратовской области.
Имеет два высших образования: в 1984 году окончил Ульяновский политехнический институт (ныне – университет) по специальности «инженер-электрик», в 2003 году окончил Финансовую академию при Правительстве Российской Федерации по специальности «экономист».
С 1973 по 1975 год служил в рядах советской Армии на космодроме «Байконур».
С 1976 по 1977 год — электромонтер саратовского КБ «Электроприбор»; с 1977 по 1979 год — электромонтер ульяновского завода «Искра»; с 1979-го по 1990-й прошел трудовой путь от электромонтера до главного энергетика завода крупнопанельного домостроения.
С 1988 года — секретарь парткома домостроительного комбината; с 1990 по 1991 год — заведующий отделом Ульяновского обкома КПСС, депутат Ульяновского Горсовета; с 1992 по 1996 год — заместитель главы администрации Ульяновской области.
С 1996 по 2001 год — председатель Законодательного собрания Ульяновской области, член Совета Федерации Федерального Собрания Российской Федерации, заместитель председателя Комитета Совета Федерации по науке, культуре, образованию, здравоохранению и экологии, председатель временной комиссии Совета Федерации по молодежной политике.
C 2001 года — аудитор Счетной палаты Российской Федерации (18 июля 2012 года назначен на должность аудитора Счетной палаты на третий срок Советом Федерации Федерального Собрания Российской Федерации по представлению Президента Российской Федерации).
С 20 сентября 2013 года - член Совета Федерации Федерального Собрания Российской Федерации, Председатель Комитета Совета Федерации по бюджету и финансовым рынкам (представитель Законодательного собрания Ульяновской области).
20 сентября 2018 года снова наделен полномочиями сенатора, занимает должность первого заместителя председателя Комитета Совета Федерации по бюджету и финансовым рынкам.
Награжден медалями «В память 850-летия Москвы» и «В память 300-летия Санкт-Петербурга», а также орденами: Почета, Дружбы, а заслуги перед Отечеством (4 степени), святого благоверного князя Даниила Московского (3 степени).
Почетный гражданин Ульяновска, Ульяновской области и города Мурома (Владимирская область).
Член партии «Единая Россия».
В феврале 2022 года вошел в попечительский совет Ульяновского института гражданской авиации имени Главного маршала авиации Б.П. Бугаева.
Входит в региональный политический совет «Единой России».
Автор двух монографий: «Аудит эффективности государственных ресурсов» и «Федеральные целевые программы развития регионов».
Женат, имеет двоих дочерей.
С 2013 года Сергея Рябухин занимался проблемой дезактивации Соловьева оврага в Ульяновске.
3 октября 2018 года депутатский мандат Сергея Рябухина, оказавшийся вакантным после делегирования того в Совет Федерации, перешел к председателю молодежного правительства Ульяновской области, советнику губернатора по вопросам молодежной политики Марии Рогаткиной.
В августе 2023 года попал на 19 место рейтинга эффективности сенаторов Совета Федерации Российской Федерации, подготовленном каналом «Пул» и платформой «The World Inform», с KPI 61%.
В сентябре 2023 года стал депутатом ЗСО седьмого созыва по партийным спискам от «Единой России».
24 сентября 2023 года региональный парламент поддержал кандидатуру Сергея Рябухина по пост сенатора РФ от Ульяновской области, после чего он сдал депутатский мандат.
