crypto/bn/asm/s390x-gf2m.pl

   1 #! /usr/bin/env perl
   2 # Copyright 2011-2016 The OpenSSL Project Authors. All Rights Reserved.
   3 #
   4 # Licensed under the Apache License 2.0 (the "License").  You may not use
   5 # this file except in compliance with the License.  You can obtain a copy
   6 # in the file LICENSE in the source distribution or at
   7 # https://www.openssl.org/source/license.html
   8
   9 #
  10 # ====================================================================
  11 # Written by Andy Polyakov <appro@openssl.org> for the OpenSSL
  12 # project. The module is, however, dual licensed under OpenSSL and
  13 # CRYPTOGAMS licenses depending on where you obtain it. For further
  14 # details see http://www.openssl.org/~appro/cryptogams/.
  15 # ====================================================================
  16 #
  17 # May 2011
  18 #
  19 # The module implements bn_GF2m_mul_2x2 polynomial multiplication used
  20 # in bn_gf2m.c. It's kind of low-hanging mechanical port from C for
  21 # the time being... gcc 4.3 appeared to generate poor code, therefore
  22 # the effort. And indeed, the module delivers 55%-90%(*) improvement
  23 # on heaviest ECDSA verify and ECDH benchmarks for 163- and 571-bit
  24 # key lengths on z990, 30%-55%(*) - on z10, and 70%-110%(*) - on z196.
  25 # This is for 64-bit build. In 32-bit "highgprs" case improvement is
  26 # even higher, for example on z990 it was measured 80%-150%. ECDSA
  27 # sign is modest 9%-12% faster. Keep in mind that these coefficients
  28 # are not ones for bn_GF2m_mul_2x2 itself, as not all CPU time is
  29 # burnt in it...
  30 #
  31 # (*)   gcc 4.1 was observed to deliver better results than gcc 4.3,
  32 #       so that improvement coefficients can vary from one specific
  33 #       setup to another.
  34
  35 # $output is the last argument if it looks like a file (it has an extension)
  36 # $flavour is the first argument if it doesn't look like a file
  37 $output = $#ARGV >= 0 && $ARGV[$#ARGV] =~ m|\.\w+$| ? pop : undef;
  38 $flavour = $#ARGV >= 0 && $ARGV[0] !~ m|\.| ? shift : undef;
  39
  40 if ($flavour =~ /3[12]/) {
  41         $SIZE_T=4;
  42         $g="";
  43 } else {
  44         $SIZE_T=8;
  45         $g="g";
  46 }
  47
  48 $output and open STDOUT,">$output";
  49
  50 $stdframe=16*$SIZE_T+4*8;
  51
  52 $rp="%r2";
  53 $a1="%r3";
  54 $a0="%r4";
  55 $b1="%r5";
  56 $b0="%r6";
  57
  58 $ra="%r14";
  59 $sp="%r15";
  60
  61 @T=("%r0","%r1");
  62 @i=("%r12","%r13");
  63
  64 ($a1,$a2,$a4,$a8,$a12,$a48)=map("%r$_",(6..11));
  65 ($lo,$hi,$b)=map("%r$_",(3..5)); $a=$lo; $mask=$a8;
  66
  67 $code.=<<___;
  68 .text
  69
  70 .type   _mul_1x1,\@function
  71 .align  16
  72 _mul_1x1:
  73         lgr     $a1,$a
  74         sllg    $a2,$a,1
  75         sllg    $a4,$a,2
  76         sllg    $a8,$a,3
  77
  78         srag    $lo,$a1,63                      # broadcast 63rd bit
  79         nihh    $a1,0x1fff
  80         srag    @i[0],$a2,63                    # broadcast 62nd bit
  81         nihh    $a2,0x3fff
  82         srag    @i[1],$a4,63                    # broadcast 61st bit
  83         nihh    $a4,0x7fff
  84         ngr     $lo,$b
  85         ngr     @i[0],$b
  86         ngr     @i[1],$b
  87
  88         lghi    @T[0],0
  89         lgr     $a12,$a1
  90         stg     @T[0],`$stdframe+0*8`($sp)      # tab[0]=0
  91         xgr     $a12,$a2
  92         stg     $a1,`$stdframe+1*8`($sp)        # tab[1]=a1
  93          lgr    $a48,$a4
  94         stg     $a2,`$stdframe+2*8`($sp)        # tab[2]=a2
  95          xgr    $a48,$a8
  96         stg     $a12,`$stdframe+3*8`($sp)       # tab[3]=a1^a2
  97          xgr    $a1,$a4
  98
  99         stg     $a4,`$stdframe+4*8`($sp)        # tab[4]=a4
 100         xgr     $a2,$a4
 101         stg     $a1,`$stdframe+5*8`($sp)        # tab[5]=a1^a4
 102         xgr     $a12,$a4
 103         stg     $a2,`$stdframe+6*8`($sp)        # tab[6]=a2^a4
 104          xgr    $a1,$a48
 105         stg     $a12,`$stdframe+7*8`($sp)       # tab[7]=a1^a2^a4
 106          xgr    $a2,$a48
 107
 108         stg     $a8,`$stdframe+8*8`($sp)        # tab[8]=a8
 109         xgr     $a12,$a48
 110         stg     $a1,`$stdframe+9*8`($sp)        # tab[9]=a1^a8
 111          xgr    $a1,$a4
 112         stg     $a2,`$stdframe+10*8`($sp)       # tab[10]=a2^a8
 113          xgr    $a2,$a4
 114         stg     $a12,`$stdframe+11*8`($sp)      # tab[11]=a1^a2^a8
 115
 116         xgr     $a12,$a4
 117         stg     $a48,`$stdframe+12*8`($sp)      # tab[12]=a4^a8
 118          srlg   $hi,$lo,1
 119         stg     $a1,`$stdframe+13*8`($sp)       # tab[13]=a1^a4^a8
 120          sllg   $lo,$lo,63
 121         stg     $a2,`$stdframe+14*8`($sp)       # tab[14]=a2^a4^a8
 122          srlg   @T[0],@i[0],2
 123         stg     $a12,`$stdframe+15*8`($sp)      # tab[15]=a1^a2^a4^a8
 124
 125         lghi    $mask,`0xf<<3`
 126         sllg    $a1,@i[0],62
 127          sllg   @i[0],$b,3
 128         srlg    @T[1],@i[1],3
 129          ngr    @i[0],$mask
 130         sllg    $a2,@i[1],61
 131          srlg   @i[1],$b,4-3
 132         xgr     $hi,@T[0]
 133          ngr    @i[1],$mask
 134         xgr     $lo,$a1
 135         xgr     $hi,@T[1]
 136         xgr     $lo,$a2
 137
 138         xg      $lo,$stdframe(@i[0],$sp)
 139         srlg    @i[0],$b,8-3
 140         ngr     @i[0],$mask
 141 ___
 142 for($n=1;$n<14;$n++) {
 143 $code.=<<___;
 144         lg      @T[1],$stdframe(@i[1],$sp)
 145         srlg    @i[1],$b,`($n+2)*4`-3
 146         sllg    @T[0],@T[1],`$n*4`
 147         ngr     @i[1],$mask
 148         srlg    @T[1],@T[1],`64-$n*4`
 149         xgr     $lo,@T[0]
 150         xgr     $hi,@T[1]
 151 ___
 152         push(@i,shift(@i)); push(@T,shift(@T));
 153 }
 154 $code.=<<___;
 155         lg      @T[1],$stdframe(@i[1],$sp)
 156         sllg    @T[0],@T[1],`$n*4`
 157         srlg    @T[1],@T[1],`64-$n*4`
 158         xgr     $lo,@T[0]
 159         xgr     $hi,@T[1]
 160
 161         lg      @T[0],$stdframe(@i[0],$sp)
 162         sllg    @T[1],@T[0],`($n+1)*4`
 163         srlg    @T[0],@T[0],`64-($n+1)*4`
 164         xgr     $lo,@T[1]
 165         xgr     $hi,@T[0]
 166
 167         br      $ra
 168 .size   _mul_1x1,.-_mul_1x1
 169
 170 .globl  bn_GF2m_mul_2x2
 171 .type   bn_GF2m_mul_2x2,\@function
 172 .align  16
 173 bn_GF2m_mul_2x2:
 174         stm${g} %r3,%r15,3*$SIZE_T($sp)
 175
 176         lghi    %r1,-$stdframe-128
 177         la      %r0,0($sp)
 178         la      $sp,0(%r1,$sp)                  # alloca
 179         st${g}  %r0,0($sp)                      # back chain
 180 ___
 181 if ($SIZE_T==8) {
 182 my @r=map("%r$_",(6..9));
 183 $code.=<<___;
 184         bras    $ra,_mul_1x1                    # a1·b1
 185         stmg    $lo,$hi,16($rp)
 186
 187         lg      $a,`$stdframe+128+4*$SIZE_T`($sp)
 188         lg      $b,`$stdframe+128+6*$SIZE_T`($sp)
 189         bras    $ra,_mul_1x1                    # a0·b0
 190         stmg    $lo,$hi,0($rp)
 191
 192         lg      $a,`$stdframe+128+3*$SIZE_T`($sp)
 193         lg      $b,`$stdframe+128+5*$SIZE_T`($sp)
 194         xg      $a,`$stdframe+128+4*$SIZE_T`($sp)
 195         xg      $b,`$stdframe+128+6*$SIZE_T`($sp)
 196         bras    $ra,_mul_1x1                    # (a0+a1)·(b0+b1)
 197         lmg     @r[0],@r[3],0($rp)
 198
 199         xgr     $lo,$hi
 200         xgr     $hi,@r[1]
 201         xgr     $lo,@r[0]
 202         xgr     $hi,@r[2]
 203         xgr     $lo,@r[3]
 204         xgr     $hi,@r[3]
 205         xgr     $lo,$hi
 206         stg     $hi,16($rp)
 207         stg     $lo,8($rp)
 208 ___
 209 } else {
 210 $code.=<<___;
 211         sllg    %r3,%r3,32
 212         sllg    %r5,%r5,32
 213         or      %r3,%r4
 214         or      %r5,%r6
 215         bras    $ra,_mul_1x1
 216         rllg    $lo,$lo,32
 217         rllg    $hi,$hi,32
 218         stmg    $lo,$hi,0($rp)
 219 ___
 220 }
 221 $code.=<<___;
 222         lm${g}  %r6,%r15,`$stdframe+128+6*$SIZE_T`($sp)
 223         br      $ra
 224 .size   bn_GF2m_mul_2x2,.-bn_GF2m_mul_2x2
 225 .string "GF(2^m) Multiplication for s390x, CRYPTOGAMS by <appro\@openssl.org>"
 226 ___
 227
 228 $code =~ s/\`([^\`]*)\`/eval($1)/gem;
 229 print $code;
 230 close STDOUT or die "error closing STDOUT";