crypto/aes/asm/aes-s390x.pl

   1 #!/usr/bin/env perl
   2
   3 # ====================================================================
   4 # Written by Andy Polyakov <appro@fy.chalmers.se> for the OpenSSL
   5 # project. The module is, however, dual licensed under OpenSSL and
   6 # CRYPTOGAMS licenses depending on where you obtain it. For further
   7 # details see http://www.openssl.org/~appro/cryptogams/.
   8 # ====================================================================
   9
  10 # AES for s390x.
  11
  12 # April 2007.
  13 #
  14 # Software performance improvement over gcc-generated code is ~70% and
  15 # in absolute terms is ~73 cycles per byte processed with 128-bit key.
  16 # You're likely to exclaim "why so slow?" Keep in mind that z-CPUs are
  17 # *strictly* in-order execution and issued instruction [in this case
  18 # load value from memory is critical] has to complete before execution
  19 # flow proceeds. S-boxes are compressed to 2KB[+256B].
  20 #
  21 # As for hardware acceleration support. It's basically a "teaser," as
  22 # it can and should be improved in several ways. Most notably support
  23 # for CBC is not utilized, nor multiple blocks are ever processed.
  24 # Then software key schedule can be postponed till hardware support
  25 # detection... Performance improvement over assembler is reportedly
  26 # ~2.5x, but can reach >8x [naturally on larger chunks] if proper
  27 # support is implemented.
  28
  29 # May 2007.
  30 #
  31 # Implement AES_set_[en|de]crypt_key. Key schedule setup is avoided
  32 # for 128-bit keys, if hardware support is detected.
  33
  34 # Januray 2009.
  35 #
  36 # Add support for hardware AES192/256 and reschedule instructions to
  37 # minimize/avoid Address Generation Interlock hazard and to favour
  38 # dual-issue z10 pipeline. This gave ~25% improvement on z10 and
  39 # almost 50% on z9. The gain is smaller on z10, because being dual-
  40 # issue z10 makes it improssible to eliminate the interlock condition:
  41 # critial path is not long enough. Yet it spends ~24 cycles per byte
  42 # processed with 128-bit key.
  43 #
  44 # Unlike previous version hardware support detection takes place only
  45 # at the moment of key schedule setup, which is denoted in key->rounds.
  46 # This is done, because deferred key setup can't be made MT-safe, not
  47 # for key lengthes longer than 128 bits.
  48 #
  49 # Add AES_cbc_encrypt, which gives incredible performance improvement,
  50 # it was measured to be ~6.6x. It's less than previously mentioned 8x,
  51 # because software implementation was optimized.
  52
  53 $softonly=0;    # allow hardware support
  54
  55 $t0="%r0";      $mask="%r0";
  56 $t1="%r1";
  57 $t2="%r2";      $inp="%r2";
  58 $t3="%r3";      $out="%r3";     $bits="%r3";
  59 $key="%r4";
  60 $i1="%r5";
  61 $i2="%r6";
  62 $i3="%r7";
  63 $s0="%r8";
  64 $s1="%r9";
  65 $s2="%r10";
  66 $s3="%r11";
  67 $tbl="%r12";
  68 $rounds="%r13";
  69 $ra="%r14";
  70 $sp="%r15";
  71
  72 sub _data_word()
  73 { my $i;
  74     while(defined($i=shift)) { $code.=sprintf".long\t0x%08x,0x%08x\n",$i,$i; }
  75 }
  76
  77 $code=<<___;
  78 .text
  79
  80 .type   AES_Te,\@object
  81 .align  256
  82 AES_Te:
  83 ___
  84 &_data_word(
  85         0xc66363a5, 0xf87c7c84, 0xee777799, 0xf67b7b8d,
  86         0xfff2f20d, 0xd66b6bbd, 0xde6f6fb1, 0x91c5c554,
  87         0x60303050, 0x02010103, 0xce6767a9, 0x562b2b7d,
  88         0xe7fefe19, 0xb5d7d762, 0x4dababe6, 0xec76769a,
  89         0x8fcaca45, 0x1f82829d, 0x89c9c940, 0xfa7d7d87,
  90         0xeffafa15, 0xb25959eb, 0x8e4747c9, 0xfbf0f00b,
  91         0x41adadec, 0xb3d4d467, 0x5fa2a2fd, 0x45afafea,
  92         0x239c9cbf, 0x53a4a4f7, 0xe4727296, 0x9bc0c05b,
  93         0x75b7b7c2, 0xe1fdfd1c, 0x3d9393ae, 0x4c26266a,
  94         0x6c36365a, 0x7e3f3f41, 0xf5f7f702, 0x83cccc4f,
  95         0x6834345c, 0x51a5a5f4, 0xd1e5e534, 0xf9f1f108,
  96         0xe2717193, 0xabd8d873, 0x62313153, 0x2a15153f,
  97         0x0804040c, 0x95c7c752, 0x46232365, 0x9dc3c35e,
  98         0x30181828, 0x379696a1, 0x0a05050f, 0x2f9a9ab5,
  99         0x0e070709, 0x24121236, 0x1b80809b, 0xdfe2e23d,
 100         0xcdebeb26, 0x4e272769, 0x7fb2b2cd, 0xea75759f,
 101         0x1209091b, 0x1d83839e, 0x582c2c74, 0x341a1a2e,
 102         0x361b1b2d, 0xdc6e6eb2, 0xb45a5aee, 0x5ba0a0fb,
 103         0xa45252f6, 0x763b3b4d, 0xb7d6d661, 0x7db3b3ce,
 104         0x5229297b, 0xdde3e33e, 0x5e2f2f71, 0x13848497,
 105         0xa65353f5, 0xb9d1d168, 0x00000000, 0xc1eded2c,
 106         0x40202060, 0xe3fcfc1f, 0x79b1b1c8, 0xb65b5bed,
 107         0xd46a6abe, 0x8dcbcb46, 0x67bebed9, 0x7239394b,
 108         0x944a4ade, 0x984c4cd4, 0xb05858e8, 0x85cfcf4a,
 109         0xbbd0d06b, 0xc5efef2a, 0x4faaaae5, 0xedfbfb16,
 110         0x864343c5, 0x9a4d4dd7, 0x66333355, 0x11858594,
 111         0x8a4545cf, 0xe9f9f910, 0x04020206, 0xfe7f7f81,
 112         0xa05050f0, 0x783c3c44, 0x259f9fba, 0x4ba8a8e3,
 113         0xa25151f3, 0x5da3a3fe, 0x804040c0, 0x058f8f8a,
 114         0x3f9292ad, 0x219d9dbc, 0x70383848, 0xf1f5f504,
 115         0x63bcbcdf, 0x77b6b6c1, 0xafdada75, 0x42212163,
 116         0x20101030, 0xe5ffff1a, 0xfdf3f30e, 0xbfd2d26d,
 117         0x81cdcd4c, 0x180c0c14, 0x26131335, 0xc3ecec2f,
 118         0xbe5f5fe1, 0x359797a2, 0x884444cc, 0x2e171739,
 119         0x93c4c457, 0x55a7a7f2, 0xfc7e7e82, 0x7a3d3d47,
 120         0xc86464ac, 0xba5d5de7, 0x3219192b, 0xe6737395,
 121         0xc06060a0, 0x19818198, 0x9e4f4fd1, 0xa3dcdc7f,
 122         0x44222266, 0x542a2a7e, 0x3b9090ab, 0x0b888883,
 123         0x8c4646ca, 0xc7eeee29, 0x6bb8b8d3, 0x2814143c,
 124         0xa7dede79, 0xbc5e5ee2, 0x160b0b1d, 0xaddbdb76,
 125         0xdbe0e03b, 0x64323256, 0x743a3a4e, 0x140a0a1e,
 126         0x924949db, 0x0c06060a, 0x4824246c, 0xb85c5ce4,
 127         0x9fc2c25d, 0xbdd3d36e, 0x43acacef, 0xc46262a6,
 128         0x399191a8, 0x319595a4, 0xd3e4e437, 0xf279798b,
 129         0xd5e7e732, 0x8bc8c843, 0x6e373759, 0xda6d6db7,
 130         0x018d8d8c, 0xb1d5d564, 0x9c4e4ed2, 0x49a9a9e0,
 131         0xd86c6cb4, 0xac5656fa, 0xf3f4f407, 0xcfeaea25,
 132         0xca6565af, 0xf47a7a8e, 0x47aeaee9, 0x10080818,
 133         0x6fbabad5, 0xf0787888, 0x4a25256f, 0x5c2e2e72,
 134         0x381c1c24, 0x57a6a6f1, 0x73b4b4c7, 0x97c6c651,
 135         0xcbe8e823, 0xa1dddd7c, 0xe874749c, 0x3e1f1f21,
 136         0x964b4bdd, 0x61bdbddc, 0x0d8b8b86, 0x0f8a8a85,
 137         0xe0707090, 0x7c3e3e42, 0x71b5b5c4, 0xcc6666aa,
 138         0x904848d8, 0x06030305, 0xf7f6f601, 0x1c0e0e12,
 139         0xc26161a3, 0x6a35355f, 0xae5757f9, 0x69b9b9d0,
 140         0x17868691, 0x99c1c158, 0x3a1d1d27, 0x279e9eb9,
 141         0xd9e1e138, 0xebf8f813, 0x2b9898b3, 0x22111133,
 142         0xd26969bb, 0xa9d9d970, 0x078e8e89, 0x339494a7,
 143         0x2d9b9bb6, 0x3c1e1e22, 0x15878792, 0xc9e9e920,
 144         0x87cece49, 0xaa5555ff, 0x50282878, 0xa5dfdf7a,
 145         0x038c8c8f, 0x59a1a1f8, 0x09898980, 0x1a0d0d17,
 146         0x65bfbfda, 0xd7e6e631, 0x844242c6, 0xd06868b8,
 147         0x824141c3, 0x299999b0, 0x5a2d2d77, 0x1e0f0f11,
 148         0x7bb0b0cb, 0xa85454fc, 0x6dbbbbd6, 0x2c16163a);
 149 $code.=<<___;
 150 # Te4[256]
 151 .byte   0x63, 0x7c, 0x77, 0x7b, 0xf2, 0x6b, 0x6f, 0xc5
 152 .byte   0x30, 0x01, 0x67, 0x2b, 0xfe, 0xd7, 0xab, 0x76
 153 .byte   0xca, 0x82, 0xc9, 0x7d, 0xfa, 0x59, 0x47, 0xf0
 154 .byte   0xad, 0xd4, 0xa2, 0xaf, 0x9c, 0xa4, 0x72, 0xc0
 155 .byte   0xb7, 0xfd, 0x93, 0x26, 0x36, 0x3f, 0xf7, 0xcc
 156 .byte   0x34, 0xa5, 0xe5, 0xf1, 0x71, 0xd8, 0x31, 0x15
 157 .byte   0x04, 0xc7, 0x23, 0xc3, 0x18, 0x96, 0x05, 0x9a
 158 .byte   0x07, 0x12, 0x80, 0xe2, 0xeb, 0x27, 0xb2, 0x75
 159 .byte   0x09, 0x83, 0x2c, 0x1a, 0x1b, 0x6e, 0x5a, 0xa0
 160 .byte   0x52, 0x3b, 0xd6, 0xb3, 0x29, 0xe3, 0x2f, 0x84
 161 .byte   0x53, 0xd1, 0x00, 0xed, 0x20, 0xfc, 0xb1, 0x5b
 162 .byte   0x6a, 0xcb, 0xbe, 0x39, 0x4a, 0x4c, 0x58, 0xcf
 163 .byte   0xd0, 0xef, 0xaa, 0xfb, 0x43, 0x4d, 0x33, 0x85
 164 .byte   0x45, 0xf9, 0x02, 0x7f, 0x50, 0x3c, 0x9f, 0xa8
 165 .byte   0x51, 0xa3, 0x40, 0x8f, 0x92, 0x9d, 0x38, 0xf5
 166 .byte   0xbc, 0xb6, 0xda, 0x21, 0x10, 0xff, 0xf3, 0xd2
 167 .byte   0xcd, 0x0c, 0x13, 0xec, 0x5f, 0x97, 0x44, 0x17
 168 .byte   0xc4, 0xa7, 0x7e, 0x3d, 0x64, 0x5d, 0x19, 0x73
 169 .byte   0x60, 0x81, 0x4f, 0xdc, 0x22, 0x2a, 0x90, 0x88
 170 .byte   0x46, 0xee, 0xb8, 0x14, 0xde, 0x5e, 0x0b, 0xdb
 171 .byte   0xe0, 0x32, 0x3a, 0x0a, 0x49, 0x06, 0x24, 0x5c
 172 .byte   0xc2, 0xd3, 0xac, 0x62, 0x91, 0x95, 0xe4, 0x79
 173 .byte   0xe7, 0xc8, 0x37, 0x6d, 0x8d, 0xd5, 0x4e, 0xa9
 174 .byte   0x6c, 0x56, 0xf4, 0xea, 0x65, 0x7a, 0xae, 0x08
 175 .byte   0xba, 0x78, 0x25, 0x2e, 0x1c, 0xa6, 0xb4, 0xc6
 176 .byte   0xe8, 0xdd, 0x74, 0x1f, 0x4b, 0xbd, 0x8b, 0x8a
 177 .byte   0x70, 0x3e, 0xb5, 0x66, 0x48, 0x03, 0xf6, 0x0e
 178 .byte   0x61, 0x35, 0x57, 0xb9, 0x86, 0xc1, 0x1d, 0x9e
 179 .byte   0xe1, 0xf8, 0x98, 0x11, 0x69, 0xd9, 0x8e, 0x94
 180 .byte   0x9b, 0x1e, 0x87, 0xe9, 0xce, 0x55, 0x28, 0xdf
 181 .byte   0x8c, 0xa1, 0x89, 0x0d, 0xbf, 0xe6, 0x42, 0x68
 182 .byte   0x41, 0x99, 0x2d, 0x0f, 0xb0, 0x54, 0xbb, 0x16
 183 # rcon[]
 184 .long   0x01000000, 0x02000000, 0x04000000, 0x08000000
 185 .long   0x10000000, 0x20000000, 0x40000000, 0x80000000
 186 .long   0x1B000000, 0x36000000, 0, 0, 0, 0, 0, 0
 187 .align  256
 188 .size   AES_Te,.-AES_Te
 189
 190 # void AES_encrypt(const unsigned char *inp, unsigned char *out,
 191 #                const AES_KEY *key) {
 192 .globl  AES_encrypt
 193 .type   AES_encrypt,\@function
 194 AES_encrypt:
 195 ___
 196 $code.=<<___ if (!$softonly);
 197         l       %r0,240($key)
 198         lhi     %r1,16
 199         clr     %r0,%r1
 200         jl      .Lesoft
 201
 202         la      %r1,0($key)
 203         #la     %r2,0($inp)
 204         la      %r4,0($out)
 205         lghi    %r3,16          # single block length
 206         .long   0xb92e0042      # km %r4,%r2
 207         brc     1,.-4           # can this happen?
 208         br      %r14
 209 .align  64
 210 .Lesoft:
 211 ___
 212 $code.=<<___;
 213         stmg    %r3,$ra,24($sp)
 214
 215         llgf    $s0,0($inp)
 216         llgf    $s1,4($inp)
 217         llgf    $s2,8($inp)
 218         llgf    $s3,12($inp)
 219
 220         larl    $tbl,AES_Te
 221         bras    $ra,_s390x_AES_encrypt
 222
 223         lg      $out,24($sp)
 224         st      $s0,0($out)
 225         st      $s1,4($out)
 226         st      $s2,8($out)
 227         st      $s3,12($out)
 228
 229         lmg     %r6,$ra,48($sp)
 230         br      $ra
 231 .size   AES_encrypt,.-AES_encrypt
 232
 233 .type   _s390x_AES_encrypt,\@function
 234 .align  16
 235 _s390x_AES_encrypt:
 236         stg     $ra,152($sp)
 237         x       $s0,0($key)
 238         x       $s1,4($key)
 239         x       $s2,8($key)
 240         x       $s3,12($key)
 241         l       $rounds,240($key)
 242         llill   $mask,`0xff<<3`
 243         aghi    $rounds,-1
 244         j       .Lenc_loop
 245 .align  16
 246 .Lenc_loop:
 247         sllg    $t1,$s0,`0+3`
 248         srlg    $t2,$s0,`8-3`
 249         srlg    $t3,$s0,`16-3`
 250         srl     $s0,`24-3`
 251         nr      $s0,$mask
 252         ngr     $t1,$mask
 253         nr      $t2,$mask
 254         nr      $t3,$mask
 255
 256         srlg    $i1,$s1,`16-3`  # i0
 257         sllg    $i2,$s1,`0+3`
 258         srlg    $i3,$s1,`8-3`
 259         srl     $s1,`24-3`
 260         nr      $i1,$mask
 261         nr      $s1,$mask
 262         ngr     $i2,$mask
 263         nr      $i3,$mask
 264
 265         l       $s0,0($s0,$tbl) # Te0[s0>>24]
 266         l       $t1,1($t1,$tbl) # Te3[s0>>0]
 267         l       $t2,2($t2,$tbl) # Te2[s0>>8]
 268         l       $t3,3($t3,$tbl) # Te1[s0>>16]
 269
 270         x       $s0,3($i1,$tbl) # Te1[s1>>16]
 271         l       $s1,0($s1,$tbl) # Te0[s1>>24]
 272         x       $t2,1($i2,$tbl) # Te3[s1>>0]
 273         x       $t3,2($i3,$tbl) # Te2[s1>>8]
 274
 275         srlg    $i1,$s2,`8-3`   # i0
 276         srlg    $i2,$s2,`16-3`  # i1
 277         nr      $i1,$mask
 278         nr      $i2,$mask
 279         sllg    $i3,$s2,`0+3`
 280         srl     $s2,`24-3`
 281         nr      $s2,$mask
 282         ngr     $i3,$mask
 283
 284         xr      $s1,$t1
 285         srlg    $ra,$s3,`8-3`   # i1
 286         sllg    $t1,$s3,`0+3`   # i0
 287         nr      $ra,$mask
 288         la      $key,16($key)
 289         ngr     $t1,$mask
 290
 291         x       $s0,2($i1,$tbl) # Te2[s2>>8]
 292         x       $s1,3($i2,$tbl) # Te1[s2>>16]
 293         l       $s2,0($s2,$tbl) # Te0[s2>>24]
 294         x       $t3,1($i3,$tbl) # Te3[s2>>0]
 295
 296         srlg    $i3,$s3,`16-3`  # i2
 297         xr      $s2,$t2
 298         srl     $s3,`24-3`
 299         nr      $i3,$mask
 300         nr      $s3,$mask
 301
 302         x       $s0,0($key)
 303         x       $s1,4($key)
 304         x       $s2,8($key)
 305         x       $t3,12($key)
 306
 307         x       $s0,1($t1,$tbl) # Te3[s3>>0]
 308         x       $s1,2($ra,$tbl) # Te2[s3>>8]
 309         x       $s2,3($i3,$tbl) # Te1[s3>>16]
 310         l       $s3,0($s3,$tbl) # Te0[s3>>24]
 311         xr      $s3,$t3
 312
 313         brct    $rounds,.Lenc_loop
 314         .align  16
 315
 316         sllg    $t1,$s0,`0+3`
 317         srlg    $t2,$s0,`8-3`
 318         ngr     $t1,$mask
 319         srlg    $t3,$s0,`16-3`
 320         srl     $s0,`24-3`
 321         nr      $s0,$mask
 322         nr      $t2,$mask
 323         nr      $t3,$mask
 324
 325         srlg    $i1,$s1,`16-3`  # i0
 326         sllg    $i2,$s1,`0+3`
 327         ngr     $i2,$mask
 328         srlg    $i3,$s1,`8-3`
 329         srl     $s1,`24-3`
 330         nr      $i1,$mask
 331         nr      $s1,$mask
 332         nr      $i3,$mask
 333
 334         llgc    $s0,2($s0,$tbl) # Te4[s0>>24]
 335         llgc    $t1,2($t1,$tbl) # Te4[s0>>0]
 336         sll     $s0,24
 337         llgc    $t2,2($t2,$tbl) # Te4[s0>>8]
 338         llgc    $t3,2($t3,$tbl) # Te4[s0>>16]
 339         sll     $t2,8
 340         sll     $t3,16
 341
 342         llgc    $i1,2($i1,$tbl) # Te4[s1>>16]
 343         llgc    $s1,2($s1,$tbl) # Te4[s1>>24]
 344         llgc    $i2,2($i2,$tbl) # Te4[s1>>0]
 345         llgc    $i3,2($i3,$tbl) # Te4[s1>>8]
 346         sll     $i1,16
 347         sll     $s1,24
 348         sll     $i3,8
 349         or      $s0,$i1
 350         or      $s1,$t1
 351         or      $t2,$i2
 352         or      $t3,$i3
 353
 354         srlg    $i1,$s2,`8-3`   # i0
 355         srlg    $i2,$s2,`16-3`  # i1
 356         nr      $i1,$mask
 357         nr      $i2,$mask
 358         sllg    $i3,$s2,`0+3`
 359         srl     $s2,`24-3`
 360         ngr     $i3,$mask
 361         nr      $s2,$mask
 362
 363         sllg    $t1,$s3,`0+3`   # i0
 364         srlg    $ra,$s3,`8-3`   # i1
 365         ngr     $t1,$mask
 366
 367         llgc    $i1,2($i1,$tbl) # Te4[s2>>8]
 368         llgc    $i2,2($i2,$tbl) # Te4[s2>>16]
 369         sll     $i1,8
 370         llgc    $s2,2($s2,$tbl) # Te4[s2>>24]
 371         llgc    $i3,2($i3,$tbl) # Te4[s2>>0]
 372         sll     $i2,16
 373         nr      $ra,$mask
 374         sll     $s2,24
 375         or      $s0,$i1
 376         or      $s1,$i2
 377         or      $s2,$t2
 378         or      $t3,$i3
 379
 380         srlg    $i3,$s3,`16-3`  # i2
 381         srl     $s3,`24-3`
 382         nr      $i3,$mask
 383         nr      $s3,$mask
 384
 385         l       $t0,16($key)
 386         l       $t2,20($key)
 387
 388         llgc    $i1,2($t1,$tbl) # Te4[s3>>0]
 389         llgc    $i2,2($ra,$tbl) # Te4[s3>>8]
 390         llgc    $i3,2($i3,$tbl) # Te4[s3>>16]
 391         llgc    $s3,2($s3,$tbl) # Te4[s3>>24]
 392         sll     $i2,8
 393         sll     $i3,16
 394         sll     $s3,24
 395         or      $s0,$i1
 396         or      $s1,$i2
 397         or      $s2,$i3
 398         or      $s3,$t3
 399
 400         lg      $ra,152($sp)
 401         xr      $s0,$t0
 402         xr      $s1,$t2
 403         x       $s2,24($key)
 404         x       $s3,28($key)
 405
 406         br      $ra
 407 .size   _s390x_AES_encrypt,.-_s390x_AES_encrypt
 408 ___
 409
 410 $code.=<<___;
 411 .type   AES_Td,\@object
 412 .align  256
 413 AES_Td:
 414 ___
 415 &_data_word(
 416         0x51f4a750, 0x7e416553, 0x1a17a4c3, 0x3a275e96,
 417         0x3bab6bcb, 0x1f9d45f1, 0xacfa58ab, 0x4be30393,
 418         0x2030fa55, 0xad766df6, 0x88cc7691, 0xf5024c25,
 419         0x4fe5d7fc, 0xc52acbd7, 0x26354480, 0xb562a38f,
 420         0xdeb15a49, 0x25ba1b67, 0x45ea0e98, 0x5dfec0e1,
 421         0xc32f7502, 0x814cf012, 0x8d4697a3, 0x6bd3f9c6,
 422         0x038f5fe7, 0x15929c95, 0xbf6d7aeb, 0x955259da,
 423         0xd4be832d, 0x587421d3, 0x49e06929, 0x8ec9c844,
 424         0x75c2896a, 0xf48e7978, 0x99583e6b, 0x27b971dd,
 425         0xbee14fb6, 0xf088ad17, 0xc920ac66, 0x7dce3ab4,
 426         0x63df4a18, 0xe51a3182, 0x97513360, 0x62537f45,
 427         0xb16477e0, 0xbb6bae84, 0xfe81a01c, 0xf9082b94,
 428         0x70486858, 0x8f45fd19, 0x94de6c87, 0x527bf8b7,
 429         0xab73d323, 0x724b02e2, 0xe31f8f57, 0x6655ab2a,
 430         0xb2eb2807, 0x2fb5c203, 0x86c57b9a, 0xd33708a5,
 431         0x302887f2, 0x23bfa5b2, 0x02036aba, 0xed16825c,
 432         0x8acf1c2b, 0xa779b492, 0xf307f2f0, 0x4e69e2a1,
 433         0x65daf4cd, 0x0605bed5, 0xd134621f, 0xc4a6fe8a,
 434         0x342e539d, 0xa2f355a0, 0x058ae132, 0xa4f6eb75,
 435         0x0b83ec39, 0x4060efaa, 0x5e719f06, 0xbd6e1051,
 436         0x3e218af9, 0x96dd063d, 0xdd3e05ae, 0x4de6bd46,
 437         0x91548db5, 0x71c45d05, 0x0406d46f, 0x605015ff,
 438         0x1998fb24, 0xd6bde997, 0x894043cc, 0x67d99e77,
 439         0xb0e842bd, 0x07898b88, 0xe7195b38, 0x79c8eedb,
 440         0xa17c0a47, 0x7c420fe9, 0xf8841ec9, 0x00000000,
 441         0x09808683, 0x322bed48, 0x1e1170ac, 0x6c5a724e,
 442         0xfd0efffb, 0x0f853856, 0x3daed51e, 0x362d3927,
 443         0x0a0fd964, 0x685ca621, 0x9b5b54d1, 0x24362e3a,
 444         0x0c0a67b1, 0x9357e70f, 0xb4ee96d2, 0x1b9b919e,
 445         0x80c0c54f, 0x61dc20a2, 0x5a774b69, 0x1c121a16,
 446         0xe293ba0a, 0xc0a02ae5, 0x3c22e043, 0x121b171d,
 447         0x0e090d0b, 0xf28bc7ad, 0x2db6a8b9, 0x141ea9c8,
 448         0x57f11985, 0xaf75074c, 0xee99ddbb, 0xa37f60fd,
 449         0xf701269f, 0x5c72f5bc, 0x44663bc5, 0x5bfb7e34,
 450         0x8b432976, 0xcb23c6dc, 0xb6edfc68, 0xb8e4f163,
 451         0xd731dcca, 0x42638510, 0x13972240, 0x84c61120,
 452         0x854a247d, 0xd2bb3df8, 0xaef93211, 0xc729a16d,
 453         0x1d9e2f4b, 0xdcb230f3, 0x0d8652ec, 0x77c1e3d0,
 454         0x2bb3166c, 0xa970b999, 0x119448fa, 0x47e96422,
 455         0xa8fc8cc4, 0xa0f03f1a, 0x567d2cd8, 0x223390ef,
 456         0x87494ec7, 0xd938d1c1, 0x8ccaa2fe, 0x98d40b36,
 457         0xa6f581cf, 0xa57ade28, 0xdab78e26, 0x3fadbfa4,
 458         0x2c3a9de4, 0x5078920d, 0x6a5fcc9b, 0x547e4662,
 459         0xf68d13c2, 0x90d8b8e8, 0x2e39f75e, 0x82c3aff5,
 460         0x9f5d80be, 0x69d0937c, 0x6fd52da9, 0xcf2512b3,
 461         0xc8ac993b, 0x10187da7, 0xe89c636e, 0xdb3bbb7b,
 462         0xcd267809, 0x6e5918f4, 0xec9ab701, 0x834f9aa8,
 463         0xe6956e65, 0xaaffe67e, 0x21bccf08, 0xef15e8e6,
 464         0xbae79bd9, 0x4a6f36ce, 0xea9f09d4, 0x29b07cd6,
 465         0x31a4b2af, 0x2a3f2331, 0xc6a59430, 0x35a266c0,
 466         0x744ebc37, 0xfc82caa6, 0xe090d0b0, 0x33a7d815,
 467         0xf104984a, 0x41ecdaf7, 0x7fcd500e, 0x1791f62f,
 468         0x764dd68d, 0x43efb04d, 0xccaa4d54, 0xe49604df,
 469         0x9ed1b5e3, 0x4c6a881b, 0xc12c1fb8, 0x4665517f,
 470         0x9d5eea04, 0x018c355d, 0xfa877473, 0xfb0b412e,
 471         0xb3671d5a, 0x92dbd252, 0xe9105633, 0x6dd64713,
 472         0x9ad7618c, 0x37a10c7a, 0x59f8148e, 0xeb133c89,
 473         0xcea927ee, 0xb761c935, 0xe11ce5ed, 0x7a47b13c,
 474         0x9cd2df59, 0x55f2733f, 0x1814ce79, 0x73c737bf,
 475         0x53f7cdea, 0x5ffdaa5b, 0xdf3d6f14, 0x7844db86,
 476         0xcaaff381, 0xb968c43e, 0x3824342c, 0xc2a3405f,
 477         0x161dc372, 0xbce2250c, 0x283c498b, 0xff0d9541,
 478         0x39a80171, 0x080cb3de, 0xd8b4e49c, 0x6456c190,
 479         0x7bcb8461, 0xd532b670, 0x486c5c74, 0xd0b85742);
 480 $code.=<<___;
 481 # Td4[256]
 482 .byte   0x52, 0x09, 0x6a, 0xd5, 0x30, 0x36, 0xa5, 0x38
 483 .byte   0xbf, 0x40, 0xa3, 0x9e, 0x81, 0xf3, 0xd7, 0xfb
 484 .byte   0x7c, 0xe3, 0x39, 0x82, 0x9b, 0x2f, 0xff, 0x87
 485 .byte   0x34, 0x8e, 0x43, 0x44, 0xc4, 0xde, 0xe9, 0xcb
 486 .byte   0x54, 0x7b, 0x94, 0x32, 0xa6, 0xc2, 0x23, 0x3d
 487 .byte   0xee, 0x4c, 0x95, 0x0b, 0x42, 0xfa, 0xc3, 0x4e
 488 .byte   0x08, 0x2e, 0xa1, 0x66, 0x28, 0xd9, 0x24, 0xb2
 489 .byte   0x76, 0x5b, 0xa2, 0x49, 0x6d, 0x8b, 0xd1, 0x25
 490 .byte   0x72, 0xf8, 0xf6, 0x64, 0x86, 0x68, 0x98, 0x16
 491 .byte   0xd4, 0xa4, 0x5c, 0xcc, 0x5d, 0x65, 0xb6, 0x92
 492 .byte   0x6c, 0x70, 0x48, 0x50, 0xfd, 0xed, 0xb9, 0xda
 493 .byte   0x5e, 0x15, 0x46, 0x57, 0xa7, 0x8d, 0x9d, 0x84
 494 .byte   0x90, 0xd8, 0xab, 0x00, 0x8c, 0xbc, 0xd3, 0x0a
 495 .byte   0xf7, 0xe4, 0x58, 0x05, 0xb8, 0xb3, 0x45, 0x06
 496 .byte   0xd0, 0x2c, 0x1e, 0x8f, 0xca, 0x3f, 0x0f, 0x02
 497 .byte   0xc1, 0xaf, 0xbd, 0x03, 0x01, 0x13, 0x8a, 0x6b
 498 .byte   0x3a, 0x91, 0x11, 0x41, 0x4f, 0x67, 0xdc, 0xea
 499 .byte   0x97, 0xf2, 0xcf, 0xce, 0xf0, 0xb4, 0xe6, 0x73
 500 .byte   0x96, 0xac, 0x74, 0x22, 0xe7, 0xad, 0x35, 0x85
 501 .byte   0xe2, 0xf9, 0x37, 0xe8, 0x1c, 0x75, 0xdf, 0x6e
 502 .byte   0x47, 0xf1, 0x1a, 0x71, 0x1d, 0x29, 0xc5, 0x89
 503 .byte   0x6f, 0xb7, 0x62, 0x0e, 0xaa, 0x18, 0xbe, 0x1b
 504 .byte   0xfc, 0x56, 0x3e, 0x4b, 0xc6, 0xd2, 0x79, 0x20
 505 .byte   0x9a, 0xdb, 0xc0, 0xfe, 0x78, 0xcd, 0x5a, 0xf4
 506 .byte   0x1f, 0xdd, 0xa8, 0x33, 0x88, 0x07, 0xc7, 0x31
 507 .byte   0xb1, 0x12, 0x10, 0x59, 0x27, 0x80, 0xec, 0x5f
 508 .byte   0x60, 0x51, 0x7f, 0xa9, 0x19, 0xb5, 0x4a, 0x0d
 509 .byte   0x2d, 0xe5, 0x7a, 0x9f, 0x93, 0xc9, 0x9c, 0xef
 510 .byte   0xa0, 0xe0, 0x3b, 0x4d, 0xae, 0x2a, 0xf5, 0xb0
 511 .byte   0xc8, 0xeb, 0xbb, 0x3c, 0x83, 0x53, 0x99, 0x61
 512 .byte   0x17, 0x2b, 0x04, 0x7e, 0xba, 0x77, 0xd6, 0x26
 513 .byte   0xe1, 0x69, 0x14, 0x63, 0x55, 0x21, 0x0c, 0x7d
 514 .size   AES_Td,.-AES_Td
 515
 516 # void AES_decrypt(const unsigned char *inp, unsigned char *out,
 517 #                const AES_KEY *key) {
 518 .globl  AES_decrypt
 519 .type   AES_decrypt,\@function
 520 AES_decrypt:
 521 ___
 522 $code.=<<___ if (!$softonly);
 523         l       %r0,240($key)
 524         lhi     %r1,16
 525         clr     %r0,%r1
 526         jl      .Ldsoft
 527
 528         la      %r1,0($key)
 529         #la     %r2,0($inp)
 530         la      %r4,0($out)
 531         lghi    %r3,16          # single block length
 532         .long   0xb92e0042      # km %r4,%r2
 533         brc     1,.-4           # can this happen?
 534         br      %r14
 535 .align  64
 536 .Ldsoft:
 537 ___
 538 $code.=<<___;
 539         stmg    %r3,$ra,24($sp)
 540
 541         llgf    $s0,0($inp)
 542         llgf    $s1,4($inp)
 543         llgf    $s2,8($inp)
 544         llgf    $s3,12($inp)
 545
 546         larl    $tbl,AES_Td
 547         bras    $ra,_s390x_AES_decrypt
 548
 549         lg      $out,24($sp)
 550         st      $s0,0($out)
 551         st      $s1,4($out)
 552         st      $s2,8($out)
 553         st      $s3,12($out)
 554
 555         lmg     %r6,$ra,48($sp)
 556         br      $ra
 557 .size   AES_decrypt,.-AES_decrypt
 558
 559 .type   _s390x_AES_decrypt,\@function
 560 .align  16
 561 _s390x_AES_decrypt:
 562         stg     $ra,152($sp)
 563         x       $s0,0($key)
 564         x       $s1,4($key)
 565         x       $s2,8($key)
 566         x       $s3,12($key)
 567         l       $rounds,240($key)
 568         llill   $mask,`0xff<<3`
 569         aghi    $rounds,-1
 570         j       .Ldec_loop
 571 .align  16
 572 .Ldec_loop:
 573         srlg    $t1,$s0,`16-3`
 574         srlg    $t2,$s0,`8-3`
 575         sllg    $t3,$s0,`0+3`
 576         srl     $s0,`24-3`
 577         nr      $s0,$mask
 578         nr      $t1,$mask
 579         nr      $t2,$mask
 580         ngr     $t3,$mask
 581
 582         sllg    $i1,$s1,`0+3`   # i0
 583         srlg    $i2,$s1,`16-3`
 584         srlg    $i3,$s1,`8-3`
 585         srl     $s1,`24-3`
 586         ngr     $i1,$mask
 587         nr      $s1,$mask
 588         nr      $i2,$mask
 589         nr      $i3,$mask
 590
 591         l       $s0,0($s0,$tbl) # Td0[s0>>24]
 592         l       $t1,3($t1,$tbl) # Td1[s0>>16]
 593         l       $t2,2($t2,$tbl) # Td2[s0>>8]
 594         l       $t3,1($t3,$tbl) # Td3[s0>>0]
 595
 596         x       $s0,1($i1,$tbl) # Td3[s1>>0]
 597         l       $s1,0($s1,$tbl) # Td0[s1>>24]
 598         x       $t2,3($i2,$tbl) # Td1[s1>>16]
 599         x       $t3,2($i3,$tbl) # Td2[s1>>8]
 600
 601         srlg    $i1,$s2,`8-3`   # i0
 602         sllg    $i2,$s2,`0+3`   # i1
 603         srlg    $i3,$s2,`16-3`
 604         srl     $s2,`24-3`
 605         nr      $i1,$mask
 606         ngr     $i2,$mask
 607         nr      $s2,$mask
 608         nr      $i3,$mask
 609
 610         xr      $s1,$t1
 611         srlg    $ra,$s3,`8-3`   # i1
 612         srlg    $t1,$s3,`16-3`  # i0
 613         nr      $ra,$mask
 614         la      $key,16($key)
 615         nr      $t1,$mask
 616
 617         x       $s0,2($i1,$tbl) # Td2[s2>>8]
 618         x       $s1,1($i2,$tbl) # Td3[s2>>0]
 619         l       $s2,0($s2,$tbl) # Td0[s2>>24]
 620         x       $t3,3($i3,$tbl) # Td1[s2>>16]
 621
 622         sllg    $i3,$s3,`0+3`   # i2
 623         srl     $s3,`24-3`
 624         ngr     $i3,$mask
 625         nr      $s3,$mask
 626
 627         xr      $s2,$t2
 628         x       $s0,0($key)
 629         x       $s1,4($key)
 630         x       $s2,8($key)
 631         x       $t3,12($key)
 632
 633         x       $s0,3($t1,$tbl) # Td1[s3>>16]
 634         x       $s1,2($ra,$tbl) # Td2[s3>>8]
 635         x       $s2,1($i3,$tbl) # Td3[s3>>0]
 636         l       $s3,0($s3,$tbl) # Td0[s3>>24]
 637         xr      $s3,$t3
 638
 639         brct    $rounds,.Ldec_loop
 640         .align  16
 641
 642         l       $t1,`2048+0`($tbl)      # prefetch Td4
 643         l       $t2,`2048+64`($tbl)
 644         l       $t3,`2048+128`($tbl)
 645         l       $i1,`2048+192`($tbl)
 646         llill   $mask,0xff
 647
 648         srlg    $i3,$s0,24      # i0
 649         srlg    $t1,$s0,16
 650         srlg    $t2,$s0,8
 651         nr      $s0,$mask       # i3
 652         nr      $t1,$mask
 653
 654         srlg    $i1,$s1,24
 655         nr      $t2,$mask
 656         srlg    $i2,$s1,16
 657         srlg    $ra,$s1,8
 658         nr      $s1,$mask       # i0
 659         nr      $i2,$mask
 660         nr      $ra,$mask
 661
 662         llgc    $i3,2048($i3,$tbl)      # Td4[s0>>24]
 663         llgc    $t1,2048($t1,$tbl)      # Td4[s0>>16]
 664         llgc    $t2,2048($t2,$tbl)      # Td4[s0>>8]
 665         sll     $t1,16
 666         llgc    $t3,2048($s0,$tbl)      # Td4[s0>>0]
 667         sllg    $s0,$i3,24
 668         sll     $t2,8
 669
 670         llgc    $s1,2048($s1,$tbl)      # Td4[s1>>0]
 671         llgc    $i1,2048($i1,$tbl)      # Td4[s1>>24]
 672         llgc    $i2,2048($i2,$tbl)      # Td4[s1>>16]
 673         sll     $i1,24
 674         llgc    $i3,2048($ra,$tbl)      # Td4[s1>>8]
 675         sll     $i2,16
 676         sll     $i3,8
 677         or      $s0,$s1
 678         or      $t1,$i1
 679         or      $t2,$i2
 680         or      $t3,$i3
 681
 682         srlg    $i1,$s2,8       # i0
 683         srlg    $i2,$s2,24
 684         srlg    $i3,$s2,16
 685         nr      $s2,$mask       # i1
 686         nr      $i1,$mask
 687         nr      $i3,$mask
 688         llgc    $i1,2048($i1,$tbl)      # Td4[s2>>8]
 689         llgc    $s1,2048($s2,$tbl)      # Td4[s2>>0]
 690         llgc    $i2,2048($i2,$tbl)      # Td4[s2>>24]
 691         llgc    $i3,2048($i3,$tbl)      # Td4[s2>>16]
 692         sll     $i1,8
 693         sll     $i2,24
 694         or      $s0,$i1
 695         sll     $i3,16
 696         or      $t2,$i2
 697         or      $t3,$i3
 698
 699         srlg    $i1,$s3,16      # i0
 700         srlg    $i2,$s3,8       # i1
 701         srlg    $i3,$s3,24
 702         nr      $s3,$mask       # i2
 703         nr      $i1,$mask
 704         nr      $i2,$mask
 705
 706         lg      $ra,152($sp)
 707         or      $s1,$t1
 708         l       $t0,16($key)
 709         l       $t1,20($key)
 710
 711         llgc    $i1,2048($i1,$tbl)      # Td4[s3>>16]
 712         llgc    $i2,2048($i2,$tbl)      # Td4[s3>>8]
 713         sll     $i1,16
 714         llgc    $s2,2048($s3,$tbl)      # Td4[s3>>0]
 715         llgc    $s3,2048($i3,$tbl)      # Td4[s3>>24]
 716         sll     $i2,8
 717         sll     $s3,24
 718         or      $s0,$i1
 719         or      $s1,$i2
 720         or      $s2,$t2
 721         or      $s3,$t3
 722
 723         xr      $s0,$t0
 724         xr      $s1,$t1
 725         x       $s2,24($key)
 726         x       $s3,28($key)
 727
 728         br      $ra
 729 .size   _s390x_AES_decrypt,.-_s390x_AES_decrypt
 730 ___
 731
 732 $code.=<<___;
 733 # void AES_set_encrypt_key(const unsigned char *in, int bits,
 734 #                AES_KEY *key) {
 735 .globl  AES_set_encrypt_key
 736 .type   AES_set_encrypt_key,\@function
 737 .align  16
 738 AES_set_encrypt_key:
 739         lghi    $t0,0
 740         clgr    $inp,$t0
 741         je      .Lminus1
 742         clgr    $key,$t0
 743         je      .Lminus1
 744
 745         lghi    $t0,128
 746         clr     $bits,$t0
 747         je      .Lproceed
 748         lghi    $t0,192
 749         clr     $bits,$t0
 750         je      .Lproceed
 751         lghi    $t0,256
 752         clr     $bits,$t0
 753         je      .Lproceed
 754         lghi    %r2,-2
 755         br      %r14
 756
 757 .align  16
 758 .Lproceed:
 759 ___
 760 $code.=<<___ if (!$softonly);
 761         # convert bits to km code, [128,192,256]->[18,19,20]
 762         lhi     %r5,-128
 763         lhi     %r0,18
 764         ar      %r5,$bits
 765         srl     %r5,6
 766         ar      %r5,%r0
 767
 768         larl    %r1,OPENSSL_s390xcap_P
 769         lg      %r0,0(%r1)
 770         tmhl    %r0,0x4000      # check for message-security assist
 771         jz      .Lekey_internal
 772
 773         lghi    %r0,0           # query capability vector
 774         la      %r1,16($sp)
 775         .long   0xb92f0042      # kmc %r4,%r2
 776
 777         llihh   %r1,0x8000
 778         srlg    %r1,%r1,0(%r5)
 779         ng      %r1,16($sp)
 780         jz      .Lekey_internal
 781
 782         lmg     %r0,%r1,0($inp) # just copy 128 bits...
 783         stmg    %r0,%r1,0($key)
 784         lhi     %r0,192
 785         cr      $bits,%r0
 786         jl      1f
 787         lg      %r1,16($inp)
 788         stg     %r1,16($key)
 789         je      1f
 790         lg      %r1,24($inp)
 791         stg     %r1,24($key)
 792 1:      st      $bits,236($key) # save bits
 793         st      %r5,240($key)   # save km code
 794         lghi    %r2,0
 795         br      %r14
 796 ___
 797 $code.=<<___;
 798 .align  16
 799 .Lekey_internal:
 800         stmg    %r6,%r13,48($sp)        # all non-volatile regs
 801
 802         larl    $tbl,AES_Te+2048
 803
 804         llgf    $s0,0($inp)
 805         llgf    $s1,4($inp)
 806         llgf    $s2,8($inp)
 807         llgf    $s3,12($inp)
 808         st      $s0,0($key)
 809         st      $s1,4($key)
 810         st      $s2,8($key)
 811         st      $s3,12($key)
 812         lghi    $t0,128
 813         cr      $bits,$t0
 814         jne     .Lnot128
 815
 816         llill   $mask,0xff
 817         lghi    $t3,0                   # i=0
 818         lghi    $rounds,10
 819         st      $rounds,240($key)
 820
 821         llgfr   $t2,$s3                 # temp=rk[3]
 822         srlg    $i1,$s3,8
 823         srlg    $i2,$s3,16
 824         srlg    $i3,$s3,24
 825         nr      $t2,$mask
 826         nr      $i1,$mask
 827         nr      $i2,$mask
 828
 829 .align  16
 830 .L128_loop:
 831         la      $t2,0($t2,$tbl)
 832         la      $i1,0($i1,$tbl)
 833         la      $i2,0($i2,$tbl)
 834         la      $i3,0($i3,$tbl)
 835         icm     $t2,2,0($t2)            # Te4[rk[3]>>0]<<8
 836         icm     $t2,4,0($i1)            # Te4[rk[3]>>8]<<16
 837         icm     $t2,8,0($i2)            # Te4[rk[3]>>16]<<24
 838         icm     $t2,1,0($i3)            # Te4[rk[3]>>24]
 839         x       $t2,256($t3,$tbl)       # rcon[i]
 840         xr      $s0,$t2                 # rk[4]=rk[0]^...
 841         xr      $s1,$s0                 # rk[5]=rk[1]^rk[4]
 842         xr      $s2,$s1                 # rk[6]=rk[2]^rk[5]
 843         xr      $s3,$s2                 # rk[7]=rk[3]^rk[6]
 844
 845         llgfr   $t2,$s3                 # temp=rk[3]
 846         srlg    $i1,$s3,8
 847         srlg    $i2,$s3,16
 848         nr      $t2,$mask
 849         nr      $i1,$mask
 850         srlg    $i3,$s3,24
 851         nr      $i2,$mask
 852
 853         st      $s0,16($key)
 854         st      $s1,20($key)
 855         st      $s2,24($key)
 856         st      $s3,28($key)
 857         la      $key,16($key)           # key+=4
 858         la      $t3,4($t3)              # i++
 859         brct    $rounds,.L128_loop
 860         lghi    %r2,0
 861         lmg     %r6,%r13,48($sp)
 862         br      $ra
 863
 864 .align  16
 865 .Lnot128:
 866         llgf    $t0,16($inp)
 867         llgf    $t1,20($inp)
 868         st      $t0,16($key)
 869         st      $t1,20($key)
 870         lghi    $t0,192
 871         cr      $bits,$t0
 872         jne     .Lnot192
 873
 874         llill   $mask,0xff
 875         lghi    $t3,0                   # i=0
 876         lghi    $rounds,12
 877         st      $rounds,240($key)
 878         lghi    $rounds,8
 879
 880         srlg    $i1,$t1,8
 881         srlg    $i2,$t1,16
 882         srlg    $i3,$t1,24
 883         nr      $t1,$mask
 884         nr      $i1,$mask
 885         nr      $i2,$mask
 886
 887 .align  16
 888 .L192_loop:
 889         la      $t1,0($t1,$tbl)
 890         la      $i1,0($i1,$tbl)
 891         la      $i2,0($i2,$tbl)
 892         la      $i3,0($i3,$tbl)
 893         icm     $t1,2,0($t1)            # Te4[rk[5]>>0]<<8
 894         icm     $t1,4,0($i1)            # Te4[rk[5]>>8]<<16
 895         icm     $t1,8,0($i2)            # Te4[rk[5]>>16]<<24
 896         icm     $t1,1,0($i3)            # Te4[rk[5]>>24]
 897         x       $t1,256($t3,$tbl)       # rcon[i]
 898         xr      $s0,$t1                 # rk[6]=rk[0]^...
 899         xr      $s1,$s0                 # rk[7]=rk[1]^rk[6]
 900         xr      $s2,$s1                 # rk[8]=rk[2]^rk[7]
 901         xr      $s3,$s2                 # rk[9]=rk[3]^rk[8]
 902
 903         st      $s0,24($key)
 904         st      $s1,28($key)
 905         st      $s2,32($key)
 906         st      $s3,36($key)
 907         brct    $rounds,.L192_continue
 908         lghi    %r2,0
 909         lmg     %r6,%r13,48($sp)
 910         br      $ra
 911
 912 .align  16
 913 .L192_continue:
 914         lgr     $t1,$s3
 915         x       $t1,16($key)            # rk[10]=rk[4]^rk[9]
 916         st      $t1,40($key)
 917         x       $t1,20($key)            # rk[11]=rk[5]^rk[10]
 918         st      $t1,44($key)
 919
 920         srlg    $i1,$t1,8
 921         srlg    $i2,$t1,16
 922         srlg    $i3,$t1,24
 923         nr      $t1,$mask
 924         nr      $i1,$mask
 925         nr      $i2,$mask
 926
 927         la      $key,24($key)           # key+=6
 928         la      $t3,4($t3)              # i++
 929         j       .L192_loop
 930
 931 .align  16
 932 .Lnot192:
 933         llgf    $t0,24($inp)
 934         llgf    $t1,28($inp)
 935         st      $t0,24($key)
 936         st      $t1,28($key)
 937         llill   $mask,0xff
 938         lghi    $t3,0                   # i=0
 939         lghi    $rounds,14
 940         st      $rounds,240($key)
 941         lghi    $rounds,7
 942
 943         srlg    $i1,$t1,8
 944         srlg    $i2,$t1,16
 945         srlg    $i3,$t1,24
 946         nr      $t1,$mask
 947         nr      $i1,$mask
 948         nr      $i2,$mask
 949
 950 .align  16
 951 .L256_loop:
 952         la      $t1,0($t1,$tbl)
 953         la      $i1,0($i1,$tbl)
 954         la      $i2,0($i2,$tbl)
 955         la      $i3,0($i3,$tbl)
 956         icm     $t1,2,0($t1)            # Te4[rk[7]>>0]<<8
 957         icm     $t1,4,0($i1)            # Te4[rk[7]>>8]<<16
 958         icm     $t1,8,0($i2)            # Te4[rk[7]>>16]<<24
 959         icm     $t1,1,0($i3)            # Te4[rk[7]>>24]
 960         x       $t1,256($t3,$tbl)       # rcon[i]
 961         xr      $s0,$t1                 # rk[8]=rk[0]^...
 962         xr      $s1,$s0                 # rk[9]=rk[1]^rk[8]
 963         xr      $s2,$s1                 # rk[10]=rk[2]^rk[9]
 964         xr      $s3,$s2                 # rk[11]=rk[3]^rk[10]
 965         st      $s0,32($key)
 966         st      $s1,36($key)
 967         st      $s2,40($key)
 968         st      $s3,44($key)
 969         brct    $rounds,.L256_continue
 970         lghi    %r2,0
 971         lmg     %r6,%r13,48($sp)
 972         br      $ra
 973
 974 .align  16
 975 .L256_continue:
 976         lgr     $t1,$s3                 # temp=rk[11]
 977         srlg    $i1,$s3,8
 978         srlg    $i2,$s3,16
 979         srlg    $i3,$s3,24
 980         nr      $t1,$mask
 981         nr      $i1,$mask
 982         nr      $i2,$mask
 983         la      $t1,0($t1,$tbl)
 984         la      $i1,0($i1,$tbl)
 985         la      $i2,0($i2,$tbl)
 986         la      $i3,0($i3,$tbl)
 987         llgc    $t1,0($t1)              # Te4[rk[11]>>0]
 988         icm     $t1,2,0($i1)            # Te4[rk[11]>>8]<<8
 989         icm     $t1,4,0($i2)            # Te4[rk[11]>>16]<<16
 990         icm     $t1,8,0($i3)            # Te4[rk[11]>>24]<<24
 991         x       $t1,16($key)            # rk[12]=rk[4]^...
 992         st      $t1,48($key)
 993         x       $t1,20($key)            # rk[13]=rk[5]^rk[12]
 994         st      $t1,52($key)
 995         x       $t1,24($key)            # rk[14]=rk[6]^rk[13]
 996         st      $t1,56($key)
 997         x       $t1,28($key)            # rk[15]=rk[7]^rk[14]
 998         st      $t1,60($key)
 999
1000         srlg    $i1,$t1,8
1001         srlg    $i2,$t1,16
1002         srlg    $i3,$t1,24
1003         nr      $t1,$mask
1004         nr      $i1,$mask
1005         nr      $i2,$mask
1006
1007         la      $key,32($key)           # key+=8
1008         la      $t3,4($t3)              # i++
1009         j       .L256_loop
1010
1011 .Lminus1:
1012         lghi    %r2,-1
1013         br      $ra
1014 .size   AES_set_encrypt_key,.-AES_set_encrypt_key
1015
1016 # void AES_set_decrypt_key(const unsigned char *in, int bits,
1017 #                AES_KEY *key) {
1018 .globl  AES_set_decrypt_key
1019 .type   AES_set_decrypt_key,\@function
1020 .align  16
1021 AES_set_decrypt_key:
1022         stg     $key,32($sp)            # I rely on AES_set_encrypt_key to
1023         stg     $ra,112($sp)            # save non-volatile registers!
1024         bras    $ra,AES_set_encrypt_key
1025         lg      $key,32($sp)
1026         lg      $ra,112($sp)
1027         ltgr    %r2,%r2
1028         bnzr    $ra
1029 ___
1030 $code.=<<___ if (!$softonly);
1031         l       $t0,240($key)
1032         lhi     $t1,16
1033         cr      $t0,$t1
1034         jl      .Lgo
1035         oill    $t0,0x80        # set "decrypt" bit
1036         st      $t0,240($key)
1037         br      $ra
1038
1039 .align  16
1040 .Ldkey_internal:
1041         stg     $key,32($sp)
1042         stg     $ra,40($sp)
1043         bras    $ra,.Lekey_internal
1044         lg      $key,32($sp)
1045         lg      $ra,40($sp)
1046 ___
1047 $code.=<<___;
1048
1049 .Lgo:   llgf    $rounds,240($key)
1050         la      $i1,0($key)
1051         sllg    $i2,$rounds,4
1052         la      $i2,0($i2,$key)
1053         srl     $rounds,1
1054         lghi    $t1,-16
1055
1056 .align  16
1057 .Linv:  lmg     $s0,$s1,0($i1)
1058         lmg     $s2,$s3,0($i2)
1059         stmg    $s0,$s1,0($i2)
1060         stmg    $s2,$s3,0($i1)
1061         la      $i1,16($i1)
1062         la      $i2,0($t1,$i2)
1063         brct    $rounds,.Linv
1064 ___
1065 $mask80=$i1;
1066 $mask1b=$i2;
1067 $maskfe=$i3;
1068 $code.=<<___;
1069         llgf    $rounds,240($key)
1070         aghi    $rounds,-1
1071         sll     $rounds,2       # (rounds-1)*4
1072         llilh   $mask80,0x8080
1073         llilh   $mask1b,0x1b1b
1074         llilh   $maskfe,0xfefe
1075         oill    $mask80,0x8080
1076         oill    $mask1b,0x1b1b
1077         oill    $maskfe,0xfefe
1078
1079 .align  16
1080 .Lmix:  l       $s0,16($key)    # tp1
1081         lr      $s1,$s0
1082         ngr     $s1,$mask80
1083         srlg    $t1,$s1,7
1084         slr     $s1,$t1
1085         nr      $s1,$mask1b
1086         sllg    $t1,$s0,1
1087         nr      $t1,$maskfe
1088         xr      $s1,$t1         # tp2
1089
1090         lr      $s2,$s1
1091         ngr     $s2,$mask80
1092         srlg    $t1,$s2,7
1093         slr     $s2,$t1
1094         nr      $s2,$mask1b
1095         sllg    $t1,$s1,1
1096         nr      $t1,$maskfe
1097         xr      $s2,$t1         # tp4
1098
1099         lr      $s3,$s2
1100         ngr     $s3,$mask80
1101         srlg    $t1,$s3,7
1102         slr     $s3,$t1
1103         nr      $s3,$mask1b
1104         sllg    $t1,$s2,1
1105         nr      $t1,$maskfe
1106         xr      $s3,$t1         # tp8
1107
1108         xr      $s1,$s0         # tp2^tp1
1109         xr      $s2,$s0         # tp4^tp1
1110         rll     $s0,$s0,24      # = ROTATE(tp1,8)
1111         xr      $s2,$s3         # ^=tp8
1112         xr      $s0,$s1         # ^=tp2^tp1
1113         xr      $s1,$s3         # tp2^tp1^tp8
1114         xr      $s0,$s2         # ^=tp4^tp1^tp8
1115         rll     $s1,$s1,8
1116         rll     $s2,$s2,16
1117         xr      $s0,$s1         # ^= ROTATE(tp8^tp2^tp1,24)
1118         rll     $s3,$s3,24
1119         xr      $s0,$s2         # ^= ROTATE(tp8^tp4^tp1,16)
1120         xr      $s0,$s3         # ^= ROTATE(tp8,8)
1121
1122         st      $s0,16($key)
1123         la      $key,4($key)
1124         brct    $rounds,.Lmix
1125
1126         lmg     %r6,%r13,48($sp)# as was saved by AES_set_encrypt_key!
1127         lghi    %r2,0
1128         br      $ra
1129 .size   AES_set_decrypt_key,.-AES_set_decrypt_key
1130 ___
1131
1132 #void AES_cbc_encrypt(const unsigned char *in, unsigned char *out,
1133 #                     size_t length, const AES_KEY *key,
1134 #                     unsigned char *ivec, const int enc)
1135 {
1136 my $inp="%r2";
1137 my $out="%r4";  # length and out are swapped
1138 my $len="%r3";
1139 my $key="%r5";
1140 my $ivp="%r6";
1141
1142 $code.=<<___;
1143 .globl  AES_cbc_encrypt
1144 .type   AES_cbc_encrypt,\@function
1145 .align  16
1146 AES_cbc_encrypt:
1147         xgr     %r3,%r4         # flip %r3 and %r4, out and len
1148         xgr     %r4,%r3
1149         xgr     %r3,%r4
1150 ___
1151 $code.=<<___ if (!$softonly);
1152         lhi     %r0,16
1153         cl      %r0,240($key)
1154         jh      .Lcbc_software
1155
1156         lg      %r0,0($ivp)     # copy ivec
1157         lg      %r1,8($ivp)
1158         stmg    %r0,%r1,16($sp)
1159         lmg     %r0,%r1,0($key) # copy key, cover 256 bit
1160         stmg    %r0,%r1,32($sp)
1161         lmg     %r0,%r1,16($key)
1162         stmg    %r0,%r1,48($sp)
1163         l       %r0,240($key)   # load kmc code
1164         lghi    $key,15         # res=len%16, len-=res;
1165         ngr     $key,$len
1166         slgr    $len,$key
1167         la      %r1,16($sp)     # parameter block - ivec || key
1168         jz      .Lkmc_truncated
1169         .long   0xb92f0042      # kmc %r4,%r2
1170         brc     1,.-4           # pay attention to "partial completion"
1171         ltr     $key,$key
1172         jnz     .Lkmc_truncated
1173 .Lkmc_done:
1174         lmg     %r0,%r1,16($sp) # copy ivec to caller
1175         stg     %r0,0($ivp)
1176         stg     %r1,8($ivp)
1177         br      $ra
1178 .align  16
1179 .Lkmc_truncated:
1180         ahi     $key,-1         # it's the way it's encoded in mvc
1181         tmll    %r0,0x80
1182         jnz     .Lkmc_truncated_dec
1183         lghi    %r1,0
1184         stg     %r1,128($sp)
1185         stg     %r1,136($sp)
1186         bras    %r1,1f
1187         mvc     128(1,$sp),0($inp)
1188 1:      ex      $key,0(%r1)
1189         la      %r1,16($sp)     # restore parameter block
1190         la      $inp,128($sp)
1191         lghi    $len,16
1192         .long   0xb92f0042      # kmc %r4,%r2
1193         j       .Lkmc_done
1194 .align  16
1195 .Lkmc_truncated_dec:
1196         stg     $out,64($sp)
1197         la      $out,128($sp)
1198         lghi    $len,16
1199         .long   0xb92f0042      # kmc %r4,%r2
1200         lg      $out,64($sp)
1201         bras    %r1,2f
1202         mvc     0(1,$out),128($sp)
1203 2:      ex      $key,0(%r1)
1204         j       .Lkmc_done
1205 .align  16
1206 .Lcbc_software:
1207 ___
1208 $code.=<<___;
1209         stmg    $key,$ra,40($sp)
1210         lhi     %r0,0
1211         cl      %r0,164($sp)
1212         je      .Lcbc_decrypt
1213
1214         larl    $tbl,AES_Te
1215
1216         llgf    $s0,0($ivp)
1217         llgf    $s1,4($ivp)
1218         llgf    $s2,8($ivp)
1219         llgf    $s3,12($ivp)
1220
1221         lghi    $t0,16
1222         slgr    $len,$t0
1223         brc     4,.Lcbc_enc_tail        # if borrow
1224 .Lcbc_enc_loop:
1225         stmg    $inp,$out,16($sp)
1226         x       $s0,0($inp)
1227         x       $s1,4($inp)
1228         x       $s2,8($inp)
1229         x       $s3,12($inp)
1230         lgr     %r4,$key
1231
1232         bras    $ra,_s390x_AES_encrypt
1233
1234         lmg     $inp,$key,16($sp)
1235         st      $s0,0($out)
1236         st      $s1,4($out)
1237         st      $s2,8($out)
1238         st      $s3,12($out)
1239
1240         la      $inp,16($inp)
1241         la      $out,16($out)
1242         lghi    $t0,16
1243         ltgr    $len,$len
1244         jz      .Lcbc_enc_done
1245         slgr    $len,$t0
1246         brc     4,.Lcbc_enc_tail        # if borrow
1247         j       .Lcbc_enc_loop
1248 .align  16
1249 .Lcbc_enc_done:
1250         lg      $ivp,48($sp)
1251         st      $s0,0($ivp)
1252         st      $s1,4($ivp)
1253         st      $s2,8($ivp)
1254         st      $s3,12($ivp)
1255
1256         lmg     %r7,$ra,56($sp)
1257         br      $ra
1258
1259 .align  16
1260 .Lcbc_enc_tail:
1261         aghi    $len,15
1262         lghi    $t0,0
1263         stg     $t0,128($sp)
1264         stg     $t0,136($sp)
1265         bras    $t1,3f
1266         mvc     128(1,$sp),0($inp)
1267 3:      ex      $len,0($t1)
1268         lghi    $len,0
1269         la      $inp,128($sp)
1270         j       .Lcbc_enc_loop
1271
1272 .align  16
1273 .Lcbc_decrypt:
1274         larl    $tbl,AES_Td
1275
1276         lg      $t0,0($ivp)
1277         lg      $t1,8($ivp)
1278         stmg    $t0,$t1,128($sp)
1279
1280 .Lcbc_dec_loop:
1281         stmg    $inp,$out,16($sp)
1282         llgf    $s0,0($inp)
1283         llgf    $s1,4($inp)
1284         llgf    $s2,8($inp)
1285         llgf    $s3,12($inp)
1286         lgr     %r4,$key
1287
1288         bras    $ra,_s390x_AES_decrypt
1289
1290         lmg     $inp,$key,16($sp)
1291         sllg    $s0,$s0,32
1292         sllg    $s2,$s2,32
1293         lr      $s0,$s1
1294         lr      $s2,$s3
1295
1296         lg      $t0,0($inp)
1297         lg      $t1,8($inp)
1298         xg      $s0,128($sp)
1299         xg      $s2,136($sp)
1300         lghi    $s1,16
1301         slgr    $len,$s1
1302         brc     4,.Lcbc_dec_tail        # if borrow
1303         brc     2,.Lcbc_dec_done        # if zero
1304         stg     $s0,0($out)
1305         stg     $s2,8($out)
1306         stmg    $t0,$t1,128($sp)
1307
1308         la      $inp,16($inp)
1309         la      $out,16($out)
1310         j       .Lcbc_dec_loop
1311
1312 .Lcbc_dec_done:
1313         stg     $s0,0($out)
1314         stg     $s2,8($out)
1315 .Lcbc_dec_exit:
1316         lmg     $ivp,$ra,48($sp)
1317         stmg    $t0,$t1,0($ivp)
1318
1319         br      $ra
1320
1321 .align  16
1322 .Lcbc_dec_tail:
1323         aghi    $len,15
1324         stg     $s0,128($sp)
1325         stg     $s2,136($sp)
1326         bras    $s1,4f
1327         mvc     0(1,$out),128($sp)
1328 4:      ex      $len,0($s1)
1329         j       .Lcbc_dec_exit
1330 .size   AES_cbc_encrypt,.-AES_cbc_encrypt
1331 .comm  OPENSSL_s390xcap_P,8,8
1332 ___
1333 }
1334 $code.=<<___;
1335 .string "AES for s390x, CRYPTOGAMS by <appro\@openssl.org>"
1336 ___
1337
1338 $code =~ s/\`([^\`]*)\`/eval $1/gem;
1339 print $code;