MVSFORUMS.com Forum Index MVSFORUMS.com
A Community of and for MVS Professionals
 
 FAQFAQ   SearchSearch   Quick Manuals   RegisterRegister 
 ProfileProfile   Log in to check your private messagesLog in to check your private messages   Log inLog in 

DFSort performace improvement in Sorting a VSAM file
Goto page Previous  1, 2
 
Post new topic   Reply to topic   printer-friendly view    MVSFORUMS.com Forum Index -> Utilities
View previous topic :: View next topic  
Author Message
kolusu
Site Admin
Site Admin


Joined: 26 Nov 2002
Posts: 12401
Topics: 75
Location: San Jose
PostPosted: Tue Jun 24, 2014 5:41 pm    Post subject: Reply with quote
Magesh_J,

Run another test with the following

Code:

//STEP0100 EXEC PGM=IDCAMS
//SYSPRINT DD SYSOUT=*
//INP      DD DISP=SHR,DSN=Your Input VSAM File
//OUP      DD DSN=FLATFILE,
//            DISP=(,CATLG,DELETE),                           
//            UNIT=SYSDA,                                     
//            SPACE=(CYL,(350,70),RLSE),                     
//            DCB=(DSORG=PS,RECFM=FB,LRECL=612,BLKSIZE=27540)
//SYSIN    DD *
  REPRO INFILE(INP) OUTFILE(OUP) - 
  FROMKEY('R') TOKEY('R')   
//*

_________________
Kolusu
www.linkedin.com/in/kolusu
Back to top
View user's profile Send private message Send e-mail Visit poster's website
Magesh_J
Intermediate


Joined: 21 Jun 2014
Posts: 259
Topics: 54
PostPosted: Wed Jun 25, 2014 4:33 am    Post subject: Reply with quote
Kolusu,

Quote:

Did you have BUFND=34 on the COPY step?


Yes, with BUFND=34

Tried as per your advice.

with

Code:

//SYSIN    DD *                                                 
  OPTION COPY                                                   
  INCLUDE COND=(1,1,CH,EQ,C'R')                                 
  INREC OVERLAY=(612:612,1,CHANGE=(1,C' ',C' '),NOMATCH=(612,1))
//*


Still garbage bytes padded.
Code:

 BROWSE    zzzzzzzzzzzzzzzzzzzzzzzzzzzz             Line 00031612 Col 081 160
 Command ===>                                                  Scroll ===> CSR 
----+----9----+----0----+----1----+----2----+----3----+----4----+----5----+----6
N0N1200100DA00040500070100070100000000A00A100000Y02..Ä.@........................
170....d......170...........0100000000A00A100000Y02..Ä.@........................


with
Code:

//SYSIN    DD *
  OPTION COPY
  INCLUDE COND=(5,1,CH,EQ,C'R')
  RECORD TYPE=V
  OUTFIL VTOF,BUILD=(5,612)
//*

working perfrectly
Code:

 BROWSE    zzzzzzzzzzzzzzzzzzzzzzzzzzzzy              Line 00031612 Col 081 160
 Command ===>                                                  Scroll ===> CSR 
----+----9----+----0----+----1----+----2----+----3----+----4----+----5----+----6
N0N1200100DA00040500070100070100000000A00A100000Y02..Ä.@........................
170....d......170...........                           


Tying IDCAMS...

Thanks
Magesh
Back to top
View user's profile Send private message
Magesh_J
Intermediate


Joined: 21 Jun 2014
Posts: 259
Topics: 54
PostPosted: Wed Jun 25, 2014 4:53 am    Post subject: Reply with quote
Tried with IDCAMS.. getting RC 12


Code:

 COMMAND INPUT ===>                                            SCROLL ===> CSR 
********************************* TOP OF DATA **********************************
IDCAMS  SYSTEM SERVICES                                           TIME: 02:45:44
                                                                               
   REPRO INFILE(INP) OUTFILE(OUP) -                                             
   FROMKEY('R') TOKEY('R')                                                     
IDC3302I  ACTION ERROR ON FLATFILE                       
IDC3309I ** RECORD X'D9F0F1F0F0' NOT WRITTEN.  LENGTH INVALID                   
IDC3302I  ACTION ERROR ON FLATFILE                       
IDC3309I ** RECORD X'D9F0F1F0F0' NOT WRITTEN.  LENGTH INVALID                   
IDC3302I  ACTION ERROR ON FLATFILE                       
IDC3309I ** RECORD X'D9F0F1F0F0' NOT WRITTEN.  LENGTH INVALID                   
IDC3302I  ACTION ERROR ON FLATFILE                       
IDC3309I ** RECORD X'D9F0F1F0F0' NOT WRITTEN.  LENGTH INVALID                   
IDC0005I NUMBER OF RECORDS PROCESSED WAS 0                                     
IDC31467I MAXIMUM ERROR LIMIT REACHED.                                         
IDC3003I FUNCTION TERMINATED. CONDITION CODE IS 12                             
                                                                               
IDC0002I IDCAMS PROCESSING COMPLETE. MAXIMUM CONDITION CODE WAS 12     


Tried with blksize=0 as well as blksize=27540 same failure

Code:

//STEP0100 EXEC PGM=IDCAMS                                 
//SYSPRINT DD SYSOUT=*                                     
//INP      DD DISP=SHR,DSN=VSAMFILE     
//OUP      DD DSN=FLATFILE,         
//            DISP=(,CATLG,DELETE),                       
//            UNIT=SYSDA,                                 
//            SPACE=(CYL,(350,70),RLSE),                   
//            DCB=(DSORG=PS,RECFM=FB,LRECL=612,BLKSIZE=0) 
//SYSIN    DD *                                           
   REPRO INFILE(INP) OUTFILE(OUP) -                       
   FROMKEY('R') TOKEY('R')                                 
//*                                     


Thanks
Magesh
Back to top
View user's profile Send private message
William Collins
Supermod


Joined: 03 Jun 2012
Posts: 437
Topics: 0
PostPosted: Wed Jun 25, 2014 5:18 am    Post subject: Reply with quote
So what are the lengths of the first four records on your KSDS?

It is an attempt to copy variable-length input records to fixed-length output, so you should consult the manual to see if there is some way you can assist IDCAMS with that.

Also try the REPRO to a VB to get the stats to compare.

What were the step statistics for the successful VTOF?
Back to top
View user's profile Send private message
kolusu
Site Admin
Site Admin


Joined: 26 Nov 2002
Posts: 12401
Topics: 75
Location: San Jose
PostPosted: Wed Jun 25, 2014 3:21 pm    Post subject: Reply with quote
Magesh_J,

You are running z/OS V1R10 which has been out of service for quite some time. IDCAMS updated to pad characters based on LRECL in the latest versions. I would suggest 1 last test with this.

Code:

//SYSIN    DD *
  OPTION COPY
  INCLUDE COND=(1,1,CH,EQ,C'R')
  INREC IFOUTLEN=612,IFTHEN=(WHEN=INIT,OVERLAY=(613:X))
//*


If that doesn't help then I guess you have to use the VB file approach.
_________________
Kolusu
www.linkedin.com/in/kolusu
Back to top
View user's profile Send private message Send e-mail Visit poster's website
Magesh_J
Intermediate


Joined: 21 Jun 2014
Posts: 259
Topics: 54
PostPosted: Thu Jun 26, 2014 12:16 pm    Post subject: Reply with quote
Quote:

So what are the lengths of the first four records on your KSDS?

I couldn't understand, please tell me how can I derive this.

Quote:

What were the step statistics for the successful VTOF?


You can find in my previous post, I would have given the statistics.

Quote:

Also try the REPRO to a VB to get the stats to compare


changing it to VB leads to lot of program changes, But I will try this and let you know. thanks for the advice.

Kolusu,

I am testing your suggestion.

Thanks
Magesh
Back to top
View user's profile Send private message
Magesh_J
Intermediate


Joined: 21 Jun 2014
Posts: 259
Topics: 54
PostPosted: Thu Jun 26, 2014 12:49 pm    Post subject: Reply with quote
Kolusu,

Its worked !!!!!!!!!!!!!!!!!!!!!!!!!!!!! Very Happy Very Happy Very Happy Very Happy

Record matched, perfectly.

Please find the below results

With code
Code:

0             OPTION COPY
              INCLUDE COND=(5,1,CH,EQ,C'R')
              RECORD TYPE=V
              OUTFIL VTOF,BUILD=(5,612)


Code:

************************************************************************************************************************************
 *                                                                                                                                  *
 *                                                 JOB STEP TERMINATION REPORTING                                                   *
 *                                                                                                         HH.MM.SS.TH     MMM.THT  *
 *    STEPNAME              PRIV AREA SIZE       6144K       PAGES SWAP IN        0      STEP VECTOR TIME  00.00.00.00              *
 *    PROCSTEP  RSLTSORT    PRIV USED TOP         304K       PAGES SWAP OUT       0      INIT VECTOR TIME  00.00.00.00              *
 *    PGM NAME  SORT        PRIV USED BOT        2132K       REREADS              0      CPU TCB TIME      00.06.22.28       6.371  *
 *    COMP CODE     0000    STEP SERVICE    7,862,618        TAPE MOUNTS          0      CPU SRB TIME      00.00.00.97       0.016  *
 *                          MEMLIMIT SIZE             200MB                              CPU TIME                          352.407  *
 *                                                                                                                                  *
 *  UNIT-T-DDNAME------EXCP CNT---MB TRANSFER  UNIT-T-DDNAME------EXCP CNT---MB TRANSFER  UNIT-T-DDNAME------EXCP CNT---MB TRANSFER *
 *  3A20   SORTIN        18,619       288.147  3852   SORTIN        12,028       186.145  4D57   SORTIN         6,812       105.422 *
 *  3874   SORTIN        10,820       167.450  3A82   SORTIN         8,396       129.936  4816   SORTIN         9,560       147.950 *
 *  4E7D   SORTIN        11,432       176.921  4D5B   SORTIN         9,772       151.231  4E3B   SORTIN           414         6.407 *
 *  4E3A   SORTOUT       10,390       286.140                                                                                       *
 *                                                                                                                                  *
 *  EXCP TOTAL           98,243                TOTAL DASD MB TRANSFERS         1,645.749  TOTAL TAPE MB TRANSFERS             0.000 *
 *                                                                                                                                  *
 ************************************************************************************************************************************
 IEF373I STEP/RSLTSORT/START 2014177.1002
 IEF374I STEP/RSLTSORT/STOP  2014177.1014 CPU    6MIN 22.28SEC SRB    0MIN 00.97SEC VIRT  2132K SYS   304K EXT    6880K SYS   11824K
 ************************************************************************************************************************************
 *                                                                                                                                  *
 *                                                 JOB END TERMINATION REPORTING                                                    *
 *                                                                                                      HH.MM.SS.TH     MMM.THT     *
 *    JOBNAME ZZZZZZZZ    DASD MB XFERS     1,645.749    CPU SERVICE    7,793,638     JOB VECTOR TIME   00.00.00.00                 *
 *    SYSID       XXXX    TAPE MB XFERS         0.000    SRB SERVICE       19,790     INIT VECTOR TIME  00.00.00.00                 *
 *    SRVCLAS TSTBATMD    TAPE MOUNTS               0    MSO SERVICE            0     CPU TCB TIME      00.06.22.28       6.371     *
 *    CLASS          S                                   I/O SERVICE       49,190     CPU SRB TIME      00.00.00.97       0.016     *
 *                                                       TOT SERVICE    7,862,618     CPU TIME                          352.407     *
 *                                                                                                                                  *
 ************************************************************************************************************************************


with
Code:

0               OPTION COPY
                INCLUDE COND=(1,1,CH,EQ,C'R')
                INREC IFOUTLEN=612,IFTHEN=(WHEN=INIT,OVERLAY=(613:X))


Code:

 ************************************************************************************************************************************
 *                                                                                                                                  *
 *                                                 JOB STEP TERMINATION REPORTING                                                   *
 *                                                                                                         HH.MM.SS.TH     MMM.THT  *
 *    STEPNAME              PRIV AREA SIZE       6144K       PAGES SWAP IN        0      STEP VECTOR TIME  00.00.00.00              *
 *    PROCSTEP  RSLTSORT    PRIV USED TOP         308K       PAGES SWAP OUT       0      INIT VECTOR TIME  00.00.00.00              *
 *    PGM NAME  SORT        PRIV USED BOT        2128K       REREADS              0      CPU TCB TIME      00.05.41.11       5.685  *
 *    COMP CODE     0000    STEP SERVICE    7,016,907        TAPE MOUNTS          0      CPU SRB TIME      00.00.00.90       0.015  *
 *                          MEMLIMIT SIZE             200MB                              CPU TIME                          314.501  *
 *                                                                                                                                  *
 *  UNIT-T-DDNAME------EXCP CNT---MB TRANSFER  UNIT-T-DDNAME------EXCP CNT---MB TRANSFER  UNIT-T-DDNAME------EXCP CNT---MB TRANSFER *
 *  3A20   SORTIN        18,619       288.147  3852   SORTIN        12,028       186.145  4D57   SORTIN         6,812       105.422 *
 *  3874   SORTIN        10,820       167.450  3A82   SORTIN         8,396       129.936  4816   SORTIN         9,560       147.950 *
 *  4E7D   SORTIN        11,432       176.921  4D5B   SORTIN         9,772       151.231  4E3B   SORTIN           414         6.407 *
 *  4848   SORTOUT          745        20.517                                                                                       *
 *                                                                                                                                  *
 *  EXCP TOTAL           88,598                TOTAL DASD MB TRANSFERS         1,380.126  TOTAL TAPE MB TRANSFERS             0.000 *
 *                                                                                                                                  *
 ************************************************************************************************************************************
 IEF373I STEP/RSLTSORT/START 2014177.1001
 IEF374I STEP/RSLTSORT/STOP  2014177.1012 CPU    5MIN 41.11SEC SRB    0MIN 00.90SEC VIRT  2128K SYS   308K EXT    6948K SYS   12200K
 ************************************************************************************************************************************
 *                                                                                                                                  *
 *                                                 JOB END TERMINATION REPORTING                                                    *
 *                                                                                                      HH.MM.SS.TH     MMM.THT     *
 *    JOBNAME ZZZZZZZZ    DASD MB XFERS     1,380.126    CPU SERVICE    6,954,219     JOB VECTOR TIME   00.00.00.00                 *
 *    SYSID       XXXX    TAPE MB XFERS         0.000    SRB SERVICE       18,311     INIT VECTOR TIME  00.00.00.00                 *
 *    SRVCLAS TSTBATMD    TAPE MOUNTS               0    MSO SERVICE            0     CPU TCB TIME      00.05.41.11       5.685     *
 *    CLASS          S                                   I/O SERVICE       44,377     CPU SRB TIME      00.00.00.90       0.015     *
 *                                                       TOT SERVICE    7,016,907     CPU TIME                          314.501     *
 *                                                                                                                                  *
 ************************************************************************************************************************************


IDCAMS Copy.
Code:

 ************************************************************************************************************************************
 *                                                                                                                                  *
 *                                                 JOB STEP TERMINATION REPORTING                                                   *
 *                                                                                                         HH.MM.SS.TH     MMM.THT  *
 *    STEPNAME              PRIV AREA SIZE       6144K       PAGES SWAP IN        0      STEP VECTOR TIME  00.00.00.00              *
 *    PROCSTEP  STEP0100    PRIV USED TOP         292K       PAGES SWAP OUT       0      INIT VECTOR TIME  00.00.00.00              *
 *    PGM NAME  IDCAMS      PRIV USED BOT         344K       REREADS              0      CPU TCB TIME      00.00.09.08       0.151  *
 *    COMP CODE     0000    STEP SERVICE      215,597        TAPE MOUNTS          0      CPU SRB TIME      00.00.00.21       0.003  *
 *                          MEMLIMIT SIZE             200MB                              CPU TIME                            8.497  *
 *                                                                                                                                  *
 *  UNIT-T-DDNAME------EXCP CNT---MB TRANSFER  UNIT-T-DDNAME------EXCP CNT---MB TRANSFER  UNIT-T-DDNAME------EXCP CNT---MB TRANSFER *
 *  3A20   INP                1         0.015  4D57   INP              732        11.328  4E7D   INP           21,907       339.032 *
 *  3877   OUP           29,499       825.913                                                                                       *
 *                                                                                                                                  *
 *  EXCP TOTAL           52,139                TOTAL DASD MB TRANSFERS         1,176.288  TOTAL TAPE MB TRANSFERS             0.000 *
 *                                                                                                                                  *
 ************************************************************************************************************************************
 IEF373I STEP/STEP0100/START 2014177.1028
 IEF374I STEP/STEP0100/STOP  2014177.1029 CPU    0MIN 09.08SEC SRB    0MIN 00.21SEC VIRT   344K SYS   292K EXT     328K SYS   12232K
 ************************************************************************************************************************************
 *                                                                                                                                  *
 *                                                 JOB END TERMINATION REPORTING                                                    *
 *                                                                                                      HH.MM.SS.TH     MMM.THT     *
 *    JOBNAME ZZZZZZZZ    DASD MB XFERS     1,176.288    CPU SERVICE      185,173     JOB VECTOR TIME   00.00.00.00                 *
 *    SYSID       XXXX    TAPE MB XFERS         0.000    SRB SERVICE        4,303     INIT VECTOR TIME  00.00.00.00                 *
 *    SRVCLAS TSTBATMD    TAPE MOUNTS               0    MSO SERVICE            0     CPU TCB TIME      00.00.09.08       0.151     *
 *    CLASS          S                                   I/O SERVICE       26,121     CPU SRB TIME      00.00.00.21       0.003     *
 *                                                       TOT SERVICE      215,597     CPU TIME                            8.497     *
 *                                                                                                                                  *
 ************************************************************************************************************************************


Idcams copy is good, But need lot of program changes. Thanks for the great advice Kolusu and Williams.

What can I Say, you people looks god for me..


Regards,
Magesh
Back to top
View user's profile Send private message
kolusu
Site Admin
Site Admin


Joined: 26 Nov 2002
Posts: 12401
Topics: 75
Location: San Jose
PostPosted: Thu Jun 26, 2014 1:36 pm    Post subject: Reply with quote
Magesh_J,

Can you run another test with the following. We will use IDCAMS copy to temp VB file and then convert it back to FB using DFSORT so that you don't have to makes changes to your programs.

Code:

//STEP0100 EXEC PGM=IDCAMS                                 
//SYSPRINT DD SYSOUT=*                                     
//INP      DD DISP=SHR,DSN=VSAMFILE     
//OUP      DD DSN=&&temp.Vbfile,         
//            DISP=(,PASS,DELETE),                       
//            UNIT=SYSDA,                                 
//            SPACE=(CYL,(350,70),RLSE),                   
//            DCB=(DSORG=PS,RECFM=VB,LRECL=616,BLKSIZE=27998)
//SYSIN    DD *                                           
   REPRO INFILE(INP) OUTFILE(OUP) -                       
   FROMKEY('R') TOKEY('R')                                 
//*
//STEP0200 EXEC PGM=SORT                                 
//SYSOUT   DD SYSOUT=*                                     
//SORTIN   DD DISP=SHR,DSN=&&temp.Vbfile
//SORTOUT  DD DSN=FB.FLATFILE,         
//            DISP=(,CATLG,DELETE),     
//            UNIT=SYSDA,                                 
//            SPACE=(CYL,(350,70),RLSE)
//SYSIN    DD *
  OPTION COPY
  OUTFIL VTOF,BUILD=(5,612)
//*

_________________
Kolusu
www.linkedin.com/in/kolusu
Back to top
View user's profile Send private message Send e-mail Visit poster's website
Magesh_J
Intermediate


Joined: 21 Jun 2014
Posts: 259
Topics: 54
PostPosted: Thu Jun 26, 2014 3:07 pm    Post subject: Reply with quote
Wow !!!! Great !!! and excellent solution, Looks like a magic, Thank you very much Kolusu.
Record perfectly matched.

One question, i don't know whether I can ask it here, From this any where i can calculate MIPS,

Or to calculate MIPS, what are all parameter required. I understand MIPS is dependent on Processor, What are all the parameter I should ask to System support to calculate MIPS with this Spool output.

Code:
 
************************************************************************************************************************************
 *                                                                                                                                  *
 *                                                 JOB END TERMINATION REPORTING                                                    *
 *                                                                                                      HH.MM.SS.TH     MMM.THT     *
 *    JOBNAME  ZZZZZZZ    DASD MB XFERS     1,218.494    CPU SERVICE      204,974     JOB VECTOR TIME   00.00.00.00                 *
 *    SYSID       XXXX    TAPE MB XFERS         0.000    SRB SERVICE        5,724     INIT VECTOR TIME  00.00.00.00                 *
 *    SRVCLAS TSTBATMD    TAPE MOUNTS               0    MSO SERVICE            0     CPU TCB TIME      00.00.10.05       0.167     *
 *    CLASS          S                                   I/O SERVICE       26,934     CPU SRB TIME      00.00.00.28       0.004     *
 *                                                       TOT SERVICE      237,632     CPU TIME                            9.435     *
 *                                                                                                                                  *
 ************************************************************************************************************************************
 IEF375I  JOB/ZZZZZTP/START 2014177.1241
 IEF376I  JOB/ZZZZZTP/STOP  2014177.1242 CPU    0MIN 10.05SEC SRB    0MIN 00.28SEC


Thanks
Magesh
Back to top
View user's profile Send private message
kolusu
Site Admin
Site Admin


Joined: 26 Nov 2002
Posts: 12401
Topics: 75
Location: San Jose
PostPosted: Thu Jun 26, 2014 4:26 pm    Post subject: Reply with quote
Magesh_J,

Cool the CPU time is down to 10 seconds out of which 9 seconds is taken up IDCAMS.

Calculation of MIPS is kinda of Grey Area. Check this link on calculation of MIPS

http://www.mvsforums.com/helpboards/viewtopic.php?t=1203

Check this link for CPU Capacity Table based on the processor

http://publibz.boulder.ibm.com/cgi-bin/bookmgr_OS390/BOOKS/iea2w1c0/B.0
_________________
Kolusu
www.linkedin.com/in/kolusu
Back to top
View user's profile Send private message Send e-mail Visit poster's website
Magesh_J
Intermediate


Joined: 21 Jun 2014
Posts: 259
Topics: 54
PostPosted: Fri Jun 27, 2014 9:49 am    Post subject: Reply with quote
Thanks Kolusu, really usefull information.

Magesh
Back to top
View user's profile Send private message
Display posts from previous:   
Post new topic   Reply to topic   printer-friendly view    MVSFORUMS.com Forum Index -> Utilities All times are GMT - 5 Hours
Goto page Previous  1, 2
Page 2 of 2

 
Jump to:  
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum


MVSFORUMS
Powered by phpBB © 2001, 2005 phpBB Group