Вообще что касается света, то он вполне может себе двигаться по кривой. Но - в веществе. Если непрерывно меняется, например, показатель преломления.
Аналогичным образом можно было бы ввести какой-нибудь показатель преломления для вакуума, например, пропорциональный напряженности гравитационного поля. Но! тогда и скорость света обязана была бы меняться. Искривление лучей в классической оптике связано с изменением фазовой скорости в пространстве.
Но в вакууме-то скорость света не меняется! В каком бы то ни было гравитационном поле.
Поэтому фишка с кривизной пространства мне лично нравится. К сожалению я не специалист по разным геометриям, но такое объяснение - с другого боку - оно интересно и красиво. Более того, оно и для расчетов очень удобно. Гравитационное поле это ведь не скаляр, а тензор, поэтому там как раз все это дело надо.
Конечно, если быть глубоко и принципиально убежденным, что это скаляр, тут вообще говорить нечего - здесь не надо вообще задумываться над какими-то искривлениями, а просто пользоваться законами Ньютона, покуда модель позволяет.
Ну а кто привык к евклиду и не желает видеть ничего другого - могу только посочувствовать. Это очень интересно, стоит только немного разобраться.