Равновесие консервативной системы неустойчиво, если потенциальная энергия системы в положении равновесия не имеет минимума и отсутствие минимума определяется членами второго порядка малости в разложении потенциальной энергии в ряд по степеням обобщённых координат.
Равновесие консервативной системы неустойчиво, если потенциальная энергия системы в положении равновесия имеет максимум и наличие максимума определяется членами наименьшего порядка малости в разложении потенциальной энергии в ряд по степеням обобщённых координат.
Но красиво.