[RU-NGI] File transfer problem

[Eygene Ryabinkin]

Thu, Feb 06, 2014 at 04:04:07PM +0400, Vladimir Tikhomirov wrote:
> В обоих случаях, как видите, ругается
> GFork functionality not enabled.:
> globus_gfork: GFork error: Env not set
> Это важно?

Нет.

> Что касается маркеров, то упоминания о них тоже встречаются в логах, хотя
> значительно реже, и относятся они, похоже, совсем к другим файлам:

Это плохо.

> [8183] Thu Feb  6 05:20:46 2014 :: fts103.cern.ch:44238: [CLIENT]: STOR
> /se2.grid.lebedev.ru:
> /st/atlas/2014-02-06/step09.20201406015404.physics_C.recon.AOD.closed._lb0003._0001_1391407935.7200080.0
> [8183] Thu Feb  6 05:20:46 2014 :: fts103.cern.ch:44238: [SERVER]: 127
> Entering Passive Mode (193,232,69,148,95,64)
> [8183] Thu Feb  6 05:20:47 2014 :: Starting to transfer
> "/se2.grid.lebedev.ru:
> /st/atlas/2014-02-06/step09.20201406015404.physics_C.recon.AOD.closed._lb0003._0001_1391407935.7200080.0".
> [8183] Thu Feb  6 05:20:47 2014 :: fts103.cern.ch:44238: [SERVER]: 150
> Beginning transfer.
> [8183] Thu Feb  6 05:20:47 2014 :: fts103.cern.ch:44238: [SERVER]: 112-Perf
> Marker
>  Timestamp:  1391649647.4
>  Stripe Index: 0
>  Stripe Bytes Transferred: 0
>  Total Stripe Count: 1
> 112 End.
> [8183] Thu Feb  6 05:20:48 2014 :: fts103.cern.ch:44238: [SERVER]: 112-Perf
> Marker
>  Timestamp:  1391649648.2
>  Stripe Index: 0
>  Stripe Bytes Transferred: 5500000
>  Total Stripe Count: 1
> 112 End.

И после этого, вероятно, есть строчка
{{{
Finished transferring "/se2.grid.lebedev.ru:/st/atlas/2014-02-06/step09.20201406015404.physics_C.recon.AOD.closed._lb0003._0001_1391407935.7200080.0
}}}
правда?

>  Тут я не понимаю - так было что-то передано или нет?

Было передано 5500000 байт.  Но это действительно маленький файл,
который был передан очень быстро, менее чем за период отправки
маркеров.  Для DPM этот период обычно 5 секунд.  Для dCache, если я не
ошибаюсь, чуть больше минуты.

>  Замечу, кстати, любопытную вещь: эффективность передачи данных на
> ATLASDATADISK подвержена явно выраженным с недельным циклом колебаниям, с
> максимумом эффективности (близкой к 100%) почему-то по четвергам и
> пятницам. Это видно и из графика в моем предыдущем письме, и из более
> свежих. Наводит на мысль, что, может быть, просто проблемы с пропускной
> способностью сети - тем более, что в логах ошибок упоминается timeout.

Так посмотрите на загрузку вашего внешнего канала: если там есть
что-то полкоподобное или выраженные пики, упирающиеся в действительную
емкость, то это, скорее всего, канал и есть.  Если нет, то надо
думать и измерять пропускную способность до разных мест.
-- 
Eygene Ryabinkin, National Research Centre "Kurchatov Institute"

Always code as if the guy who ends up maintaining your code will be
a violent psychopath who knows where you live.