SAS-разделить набор данных на основе значений в столбце (символе), а затем дополнительно разделить каждый из этих наборов данных на основе столбца времени

У меня есть данные о торговле акциями за день - около 60 миллионов строк. По сути, я хочу создать набор данных, в котором указана средняя продолжительность каждого 5-минутного интервала для каждой из акций.

Исходный набор данных

Здесь переменная «время» настроена как hhmmssnnnnnnnnn (n указывает наносекунды, т.е. секунды считаются для 9 значащих цифр после запятой) и переменная datetime преобразуется в наносекунды с использованием даты и времени. Для этого кода я работаю только с данными за один день, поэтому использую только переменную «время».

Конечный результат

Шаг 1:

Я хочу разделить набор данных таким образом, чтобы у меня был отдельный набор данных для каждого из биржевых символов. Я сделал это уже.

Шаг 2:

Чтобы суммировать значения в столбце для каждого 5-минутного интервала с 09:30 до 16:00. Я борюсь здесь.

Текущий код:

/* Read Dataset */
   DATA working_dataset;
   set "C:\EQY_US_ALL_TRADE_202107\test_sample_sorted";
   run;

/* List of Unique Symbols and feed them into new variables */
   proc sql noprint;
   select distinct symbol into :symbol1 - (NOTRIM)
   from working_dataset;
   %put &symbol1;
   %put &symbol2;

/* Count of Unique Symbols and store the value in variable "n" */
   proc sql noprint;
   select count(distinct symbol) into: n
   from working_dataset;
   %put &n;

/* Keeping the variables needed for the analysis */
   DATA working_dataset_2;
   SET working_dataset (keep = symbol time duration tradePrice datetime tradeId);
   run;


/* Extracting stock symbol names from the dataset;*/

    proc sort data=working_dataset_2 out=symblist (keep = symbol)
    nodupkey;
    by symbol;
    run;

/* Creating multiple datasets from the parent dataset;*/
    data _null_;
    set symblist;
    call execute('data ' !! compress(symbol) !! '; set working_dataset_2; where symbol = "' !! symbol !! '"; run;');
    run;

Для шага 2:

Я не знаю, как это сделать, но я планирую запустить цикл для 78x 5-минутных интервалов между 09:30 и 16:00, используя оператор if, управляемый значением цикла. Следующее - просто принятие желаемого за действительное, а не код. Я не знаю, с чего начать.

data dataset_final;
set "A"; /* To be changed as per variable for stock symbol */
array symb(&n); /* this array should have all the stock symbols */
do over; /* do over for all the array items in the array symb(&n) */
do i = 1 to 78;
if (time GE (093000000000000 + &i.- 1)) & (time LT (093000000000000 + &i.))
then send obs to symb_j_0930+&i.-1
end;

Любая помощь приветствуется. Я не знаю, как прикрепить файл данных.

Шаг 1 работает. Я могу создавать разные наборы данных, используя и вызывая/выполняя.

Лог для шага 1:

439
440  DATA working_dataset;
441  set "C:\EQY_US_ALL_TRADE_202107\test_sample_sorted";
442  run;

NOTE: There were 50000 observations read from the data set
      C:\EQY_US_ALL_TRADE_202107\test_sample_sorted.
NOTE: The data set WORK.WORKING_DATASET has 50000 observations and 25 variables.
NOTE: DATA statement used (Total process time):
      real time           0.12 seconds
      cpu time            0.09 seconds


443
444  proc sql noprint;
445  select distinct symbol into :symbol1 - (NOTRIM)
                                            -
                                            22
                                            76
ERROR 22-322: Syntax error, expecting one of the following: ',', :, FROM, NOTRIM.

ERROR 76-322: Syntax error, statement will be ignored.

446  from working_dataset;
447  %put &symbol1;
A
448  %put &symbol2;
AA
449
NOTE: The SAS System stopped processing this step because of errors.
NOTE: PROCEDURE SQL used (Total process time):
      real time           0.03 seconds
      cpu time            0.01 seconds



450  proc sql noprint;
451  select count(distinct symbol) into: n
452  from working_dataset;
453  %put &n;
2
454
NOTE: PROCEDURE SQL used (Total process time):
      real time           0.04 seconds
      cpu time            0.04 seconds


455  DATA working_dataset_2;
456  SET working_dataset (keep = symbol time duration tradePrice datetime tradeId);
457
458  /* Extracting stock symbol names from the dataset;*/

NOTE: There were 50000 observations read from the data set WORK.WORKING_DATASET.
NOTE: The data set WORK.WORKING_DATASET_2 has 50000 observations and 6 variables.
NOTE: DATA statement used (Total process time):
      real time           0.00 seconds
      cpu time            0.00 seconds


459  proc sort data=working_dataset_2 out=symblist (keep = symbol)
460  nodupkey;
461  by symbol;
462  run;

NOTE: There were 50000 observations read from the data set WORK.WORKING_DATASET_2.
NOTE: 49998 observations with duplicate key values were deleted.
NOTE: The data set WORK.SYMBLIST has 2 observations and 1 variables.
NOTE: PROCEDURE SORT used (Total process time):
      real time           0.03 seconds
      cpu time            0.01 seconds


463  /* Creating multiple datasets from the parent dataset;*/
464  data _null_;
465  set symblist;
466  call execute('data ' !! compress(symbol) !! '; set working_dataset_2; where symbol = "' !! symbol
466!  !! '"; run;');
467  run;

NOTE: There were 2 observations read from the data set WORK.SYMBLIST.
NOTE: DATA statement used (Total process time):
      real time           0.00 seconds
      cpu time            0.00 seconds


NOTE: CALL EXECUTE generated line.
1   + data A; set working_dataset_2; where symbol = "A                "; run;

NOTE: There were 24304 observations read from the data set WORK.WORKING_DATASET_2.
      WHERE symbol='A                ';
NOTE: The data set WORK.A has 24304 observations and 6 variables.
NOTE: DATA statement used (Total process time):
      real time           0.01 seconds
      cpu time            0.01 seconds


2   + data AA; set working_dataset_2; where symbol = "AA               "; run;

NOTE: There were 25696 observations read from the data set WORK.WORKING_DATASET_2.
      WHERE symbol='AA               ';
NOTE: The data set WORK.AA has 25696 observations and 6 variables.
NOTE: DATA statement used (Total process time):
      real time           0.02 seconds
      cpu time            0.01 seconds

Шаг 2, где я ужасно борюсь. Я не уверен, как сделать код.