Ecли я правильно помню, то по фотометрическим измерениям. Т.е. радиусом шарового звездного скопления (галактики) называется угловое расстояние от центра, на котором происходит заранее оговоренное падение яркости в столько-то раз.

Вроде бы сначала "потренировались" на Местной Системе, выработали этот критерий и стали работать по большим расстояниям.