В какой прикладной программе удобнее всего решать задачи по теории колебаний, фазовые портреты строить и тп?
чтобы там был уже некий набор готовых инструментов, а не программировать все с нуля.

Если нужно моделировать схемы, то попробуйте Orcad (Cadence). Там это все есть и p-spice моделей куча разных. Единственное "но" - learning curve (учебная курва, по-нашенски) слишком пологая может оказаться. Чего-то попроще я не знаю - может быть Electronic Workbench стоит попробовать.

нет, нужно именно вопросы по теории устойчивости решать...
я неправильно в теме написал, не радиофизика, а теория колебаний.

Mathcad, Matlab?

А конкретно, что делать, если есть сложная схема (которую трудно описать системой нелинейных дифуравнений), надо в диапазоне параметров исследовать ее фазовое поведение.

На вход СХЕМЫ подать сигнал от широкодиапазонного генератора колебаний
(полосу частот, амплитуду и форму входного сигнала уточните по Техническому Заданию),
ко входу и выходу СХЕМЫ подключить анализатор АЧХ/ФЧХ (Амплитудно-Частотной
Характеристики/ Фазово-Частотной Характеристики) и, читая техническую
инструкцию анализатора (если не работали с ним ранее), а также какую-нибудь
популярную классическую книгу по настоящей тематике, исследуйте фазовое
поведение своей сложной СХЕМЫ.
...если схема цифровая, то методика исследований другая, но принцип тот же.