crypto/aes/asm/aesni-mb-x86_64.pl

   1 #! /usr/bin/env perl
   2 # Copyright 2013-2016 The OpenSSL Project Authors. All Rights Reserved.
   3 #
   4 # Licensed under the Apache License 2.0 (the "License").  You may not use
   5 # this file except in compliance with the License.  You can obtain a copy
   6 # in the file LICENSE in the source distribution or at
   7 # https://www.openssl.org/source/license.html
   8
   9
  10 # ====================================================================
  11 # Written by Andy Polyakov <appro@openssl.org> for the OpenSSL
  12 # project. The module is, however, dual licensed under OpenSSL and
  13 # CRYPTOGAMS licenses depending on where you obtain it. For further
  14 # details see http://www.openssl.org/~appro/cryptogams/.
  15 # ====================================================================
  16
  17 # Multi-buffer AES-NI procedures process several independent buffers
  18 # in parallel by interleaving independent instructions.
  19 #
  20 # Cycles per byte for interleave factor 4:
  21 #
  22 #                       asymptotic      measured
  23 #                       ---------------------------
  24 # Westmere              5.00/4=1.25     5.13/4=1.28
  25 # Atom                  15.0/4=3.75     ?15.7/4=3.93
  26 # Sandy Bridge          5.06/4=1.27     5.18/4=1.29
  27 # Ivy Bridge            5.06/4=1.27     5.14/4=1.29
  28 # Haswell               4.44/4=1.11     4.44/4=1.11
  29 # Bulldozer             5.75/4=1.44     5.76/4=1.44
  30 #
  31 # Cycles per byte for interleave factor 8 (not implemented for
  32 # pre-AVX processors, where higher interleave factor incidentally
  33 # doesn't result in improvement):
  34 #
  35 #                       asymptotic      measured
  36 #                       ---------------------------
  37 # Sandy Bridge          5.06/8=0.64     7.10/8=0.89(*)
  38 # Ivy Bridge            5.06/8=0.64     7.14/8=0.89(*)
  39 # Haswell               5.00/8=0.63     5.00/8=0.63
  40 # Bulldozer             5.75/8=0.72     5.77/8=0.72
  41 #
  42 # (*)   Sandy/Ivy Bridge are known to handle high interleave factors
  43 #       suboptimally;
  44
  45 # $output is the last argument if it looks like a file (it has an extension)
  46 # $flavour is the first argument if it doesn't look like a file
  47 $output = $#ARGV >= 0 && $ARGV[$#ARGV] =~ m|\.\w+$| ? pop : undef;
  48 $flavour = $#ARGV >= 0 && $ARGV[0] !~ m|\.| ? shift : undef;
  49
  50 $win64=0; $win64=1 if ($flavour =~ /[nm]asm|mingw64/ || $output =~ /\.asm$/);
  51
  52 $0 =~ m/(.*[\/\\])[^\/\\]+$/; $dir=$1;
  53 ( $xlate="${dir}x86_64-xlate.pl" and -f $xlate ) or
  54 ( $xlate="${dir}../../perlasm/x86_64-xlate.pl" and -f $xlate) or
  55 die "can't locate x86_64-xlate.pl";
  56
  57 $avx=0;
  58
  59 if (`$ENV{CC} -Wa,-v -c -o /dev/null -x assembler /dev/null 2>&1`
  60                 =~ /GNU assembler version ([2-9]\.[0-9]+)/) {
  61         $avx = ($1>=2.19) + ($1>=2.22);
  62 }
  63
  64 if (!$avx && $win64 && ($flavour =~ /nasm/ || $ENV{ASM} =~ /nasm/) &&
  65            `nasm -v 2>&1` =~ /NASM version ([2-9]\.[0-9]+)/) {
  66         $avx = ($1>=2.09) + ($1>=2.10);
  67 }
  68
  69 if (!$avx && $win64 && ($flavour =~ /masm/ || $ENV{ASM} =~ /ml64/) &&
  70            `ml64 2>&1` =~ /Version ([0-9]+)\./) {
  71         $avx = ($1>=10) + ($1>=11);
  72 }
  73
  74 if (!$avx && `$ENV{CC} -v 2>&1` =~ /((?:^clang|LLVM) version|.*based on LLVM) ([0-9]+\.[0-9]+)/) {
  75         $avx = ($2>=3.0) + ($2>3.0);
  76 }
  77
  78 open OUT,"| \"$^X\" \"$xlate\" $flavour \"$output\""
  79     or die "can't call $xlate: $!";
  80 *STDOUT=*OUT;
  81
  82 # void aesni_multi_cbc_encrypt (
  83 #     struct {  void *inp,*out; int blocks; double iv[2]; } inp[8];
  84 #     const AES_KEY *key,
  85 #     int num);         /* 1 or 2 */
  86 #
  87 $inp="%rdi";    # 1st arg
  88 $key="%rsi";    # 2nd arg
  89 $num="%edx";
  90
  91 @inptr=map("%r$_",(8..11));
  92 @outptr=map("%r$_",(12..15));
  93
  94 ($rndkey0,$rndkey1)=("%xmm0","%xmm1");
  95 @out=map("%xmm$_",(2..5));
  96 @inp=map("%xmm$_",(6..9));
  97 ($counters,$mask,$zero)=map("%xmm$_",(10..12));
  98
  99 ($rounds,$one,$sink,$offset)=("%eax","%ecx","%rbp","%rbx");
 100
 101 $code.=<<___;
 102 .text
 103
 104 .extern OPENSSL_ia32cap_P
 105
 106 .globl  aesni_multi_cbc_encrypt
 107 .type   aesni_multi_cbc_encrypt,\@function,3
 108 .align  32
 109 aesni_multi_cbc_encrypt:
 110 .cfi_startproc
 111 ___
 112 $code.=<<___ if ($avx);
 113         cmp     \$2,$num
 114         jb      .Lenc_non_avx
 115         mov     OPENSSL_ia32cap_P+4(%rip),%ecx
 116         test    \$`1<<28`,%ecx                  # AVX bit
 117         jnz     _avx_cbc_enc_shortcut
 118         jmp     .Lenc_non_avx
 119 .align  16
 120 .Lenc_non_avx:
 121 ___
 122 $code.=<<___;
 123         mov     %rsp,%rax
 124 .cfi_def_cfa_register   %rax
 125         push    %rbx
 126 .cfi_push       %rbx
 127         push    %rbp
 128 .cfi_push       %rbp
 129         push    %r12
 130 .cfi_push       %r12
 131         push    %r13
 132 .cfi_push       %r13
 133         push    %r14
 134 .cfi_push       %r14
 135         push    %r15
 136 .cfi_push       %r15
 137 ___
 138 $code.=<<___ if ($win64);
 139         lea     -0xa8(%rsp),%rsp
 140         movaps  %xmm6,(%rsp)
 141         movaps  %xmm7,0x10(%rsp)
 142         movaps  %xmm8,0x20(%rsp)
 143         movaps  %xmm9,0x30(%rsp)
 144         movaps  %xmm10,0x40(%rsp)
 145         movaps  %xmm11,0x50(%rsp)
 146         movaps  %xmm12,0x60(%rsp)
 147         movaps  %xmm13,-0x68(%rax)      # not used, saved to share se_handler
 148         movaps  %xmm14,-0x58(%rax)
 149         movaps  %xmm15,-0x48(%rax)
 150 ___
 151 $code.=<<___;
 152         # stack layout
 153         #
 154         # +0    output sink
 155         # +16   input sink [original %rsp and $num]
 156         # +32   counters
 157
 158         sub     \$48,%rsp
 159         and     \$-64,%rsp
 160         mov     %rax,16(%rsp)                   # original %rsp
 161 .cfi_cfa_expression     %rsp+16,deref,+8
 162
 163 .Lenc4x_body:
 164         movdqu  ($key),$zero                    # 0-round key
 165         lea     0x78($key),$key                 # size optimization
 166         lea     40*2($inp),$inp
 167
 168 .Lenc4x_loop_grande:
 169         mov     $num,24(%rsp)                   # original $num
 170         xor     $num,$num
 171 ___
 172 for($i=0;$i<4;$i++) {
 173     $code.=<<___;
 174         mov     `40*$i+16-40*2`($inp),$one      # borrow $one for number of blocks
 175         mov     `40*$i+0-40*2`($inp),@inptr[$i]
 176         cmp     $num,$one
 177         mov     `40*$i+8-40*2`($inp),@outptr[$i]
 178         cmovg   $one,$num                       # find maximum
 179         test    $one,$one
 180         movdqu  `40*$i+24-40*2`($inp),@out[$i]  # load IV
 181         mov     $one,`32+4*$i`(%rsp)            # initialize counters
 182         cmovle  %rsp,@inptr[$i]                 # cancel input
 183 ___
 184 }
 185 $code.=<<___;
 186         test    $num,$num
 187         jz      .Lenc4x_done
 188
 189         movups  0x10-0x78($key),$rndkey1
 190          pxor   $zero,@out[0]
 191         movups  0x20-0x78($key),$rndkey0
 192          pxor   $zero,@out[1]
 193         mov     0xf0-0x78($key),$rounds
 194          pxor   $zero,@out[2]
 195         movdqu  (@inptr[0]),@inp[0]             # load inputs
 196          pxor   $zero,@out[3]
 197         movdqu  (@inptr[1]),@inp[1]
 198          pxor   @inp[0],@out[0]
 199         movdqu  (@inptr[2]),@inp[2]
 200          pxor   @inp[1],@out[1]
 201         movdqu  (@inptr[3]),@inp[3]
 202          pxor   @inp[2],@out[2]
 203          pxor   @inp[3],@out[3]
 204         movdqa  32(%rsp),$counters              # load counters
 205         xor     $offset,$offset
 206         jmp     .Loop_enc4x
 207
 208 .align  32
 209 .Loop_enc4x:
 210         add     \$16,$offset
 211         lea     16(%rsp),$sink                  # sink pointer
 212         mov     \$1,$one                        # constant of 1
 213         sub     $offset,$sink
 214
 215         aesenc          $rndkey1,@out[0]
 216         prefetcht0      31(@inptr[0],$offset)   # prefetch input
 217         prefetcht0      31(@inptr[1],$offset)
 218         aesenc          $rndkey1,@out[1]
 219         prefetcht0      31(@inptr[2],$offset)
 220         prefetcht0      31(@inptr[2],$offset)
 221         aesenc          $rndkey1,@out[2]
 222         aesenc          $rndkey1,@out[3]
 223         movups          0x30-0x78($key),$rndkey1
 224 ___
 225 for($i=0;$i<4;$i++) {
 226 my $rndkey = ($i&1) ? $rndkey1 : $rndkey0;
 227 $code.=<<___;
 228          cmp            `32+4*$i`(%rsp),$one
 229         aesenc          $rndkey,@out[0]
 230         aesenc          $rndkey,@out[1]
 231         aesenc          $rndkey,@out[2]
 232          cmovge         $sink,@inptr[$i]        # cancel input
 233          cmovg          $sink,@outptr[$i]       # sink output
 234         aesenc          $rndkey,@out[3]
 235         movups          `0x40+16*$i-0x78`($key),$rndkey
 236 ___
 237 }
 238 $code.=<<___;
 239          movdqa         $counters,$mask
 240         aesenc          $rndkey0,@out[0]
 241         prefetcht0      15(@outptr[0],$offset)  # prefetch output
 242         prefetcht0      15(@outptr[1],$offset)
 243         aesenc          $rndkey0,@out[1]
 244         prefetcht0      15(@outptr[2],$offset)
 245         prefetcht0      15(@outptr[3],$offset)
 246         aesenc          $rndkey0,@out[2]
 247         aesenc          $rndkey0,@out[3]
 248         movups          0x80-0x78($key),$rndkey0
 249          pxor           $zero,$zero
 250
 251         aesenc          $rndkey1,@out[0]
 252          pcmpgtd        $zero,$mask
 253          movdqu         -0x78($key),$zero       # reload 0-round key
 254         aesenc          $rndkey1,@out[1]
 255          paddd          $mask,$counters         # decrement counters
 256          movdqa         $counters,32(%rsp)      # update counters
 257         aesenc          $rndkey1,@out[2]
 258         aesenc          $rndkey1,@out[3]
 259         movups          0x90-0x78($key),$rndkey1
 260
 261         cmp     \$11,$rounds
 262
 263         aesenc          $rndkey0,@out[0]
 264         aesenc          $rndkey0,@out[1]
 265         aesenc          $rndkey0,@out[2]
 266         aesenc          $rndkey0,@out[3]
 267         movups          0xa0-0x78($key),$rndkey0
 268
 269         jb      .Lenc4x_tail
 270
 271         aesenc          $rndkey1,@out[0]
 272         aesenc          $rndkey1,@out[1]
 273         aesenc          $rndkey1,@out[2]
 274         aesenc          $rndkey1,@out[3]
 275         movups          0xb0-0x78($key),$rndkey1
 276
 277         aesenc          $rndkey0,@out[0]
 278         aesenc          $rndkey0,@out[1]
 279         aesenc          $rndkey0,@out[2]
 280         aesenc          $rndkey0,@out[3]
 281         movups          0xc0-0x78($key),$rndkey0
 282
 283         je      .Lenc4x_tail
 284
 285         aesenc          $rndkey1,@out[0]
 286         aesenc          $rndkey1,@out[1]
 287         aesenc          $rndkey1,@out[2]
 288         aesenc          $rndkey1,@out[3]
 289         movups          0xd0-0x78($key),$rndkey1
 290
 291         aesenc          $rndkey0,@out[0]
 292         aesenc          $rndkey0,@out[1]
 293         aesenc          $rndkey0,@out[2]
 294         aesenc          $rndkey0,@out[3]
 295         movups          0xe0-0x78($key),$rndkey0
 296         jmp     .Lenc4x_tail
 297
 298 .align  32
 299 .Lenc4x_tail:
 300         aesenc          $rndkey1,@out[0]
 301         aesenc          $rndkey1,@out[1]
 302         aesenc          $rndkey1,@out[2]
 303         aesenc          $rndkey1,@out[3]
 304          movdqu         (@inptr[0],$offset),@inp[0]
 305         movdqu          0x10-0x78($key),$rndkey1
 306
 307         aesenclast      $rndkey0,@out[0]
 308          movdqu         (@inptr[1],$offset),@inp[1]
 309          pxor           $zero,@inp[0]
 310         aesenclast      $rndkey0,@out[1]
 311          movdqu         (@inptr[2],$offset),@inp[2]
 312          pxor           $zero,@inp[1]
 313         aesenclast      $rndkey0,@out[2]
 314          movdqu         (@inptr[3],$offset),@inp[3]
 315          pxor           $zero,@inp[2]
 316         aesenclast      $rndkey0,@out[3]
 317         movdqu          0x20-0x78($key),$rndkey0
 318          pxor           $zero,@inp[3]
 319
 320         movups          @out[0],-16(@outptr[0],$offset)
 321          pxor           @inp[0],@out[0]
 322         movups          @out[1],-16(@outptr[1],$offset)
 323          pxor           @inp[1],@out[1]
 324         movups          @out[2],-16(@outptr[2],$offset)
 325          pxor           @inp[2],@out[2]
 326         movups          @out[3],-16(@outptr[3],$offset)
 327          pxor           @inp[3],@out[3]
 328
 329         dec     $num
 330         jnz     .Loop_enc4x
 331
 332         mov     16(%rsp),%rax                   # original %rsp
 333 .cfi_def_cfa    %rax,8
 334         mov     24(%rsp),$num
 335
 336         #pxor   @inp[0],@out[0]
 337         #pxor   @inp[1],@out[1]
 338         #movdqu @out[0],`40*0+24-40*2`($inp)    # output iv FIX ME!
 339         #pxor   @inp[2],@out[2]
 340         #movdqu @out[1],`40*1+24-40*2`($inp)
 341         #pxor   @inp[3],@out[3]
 342         #movdqu @out[2],`40*2+24-40*2`($inp)    # won't fix, let caller
 343         #movdqu @out[3],`40*3+24-40*2`($inp)    # figure this out...
 344
 345         lea     `40*4`($inp),$inp
 346         dec     $num
 347         jnz     .Lenc4x_loop_grande
 348
 349 .Lenc4x_done:
 350 ___
 351 $code.=<<___ if ($win64);
 352         movaps  -0xd8(%rax),%xmm6
 353         movaps  -0xc8(%rax),%xmm7
 354         movaps  -0xb8(%rax),%xmm8
 355         movaps  -0xa8(%rax),%xmm9
 356         movaps  -0x98(%rax),%xmm10
 357         movaps  -0x88(%rax),%xmm11
 358         movaps  -0x78(%rax),%xmm12
 359         #movaps -0x68(%rax),%xmm13
 360         #movaps -0x58(%rax),%xmm14
 361         #movaps -0x48(%rax),%xmm15
 362 ___
 363 $code.=<<___;
 364         mov     -48(%rax),%r15
 365 .cfi_restore    %r15
 366         mov     -40(%rax),%r14
 367 .cfi_restore    %r14
 368         mov     -32(%rax),%r13
 369 .cfi_restore    %r13
 370         mov     -24(%rax),%r12
 371 .cfi_restore    %r12
 372         mov     -16(%rax),%rbp
 373 .cfi_restore    %rbp
 374         mov     -8(%rax),%rbx
 375 .cfi_restore    %rbx
 376         lea     (%rax),%rsp
 377 .cfi_def_cfa_register   %rsp
 378 .Lenc4x_epilogue:
 379         ret
 380 .cfi_endproc
 381 .size   aesni_multi_cbc_encrypt,.-aesni_multi_cbc_encrypt
 382
 383 .globl  aesni_multi_cbc_decrypt
 384 .type   aesni_multi_cbc_decrypt,\@function,3
 385 .align  32
 386 aesni_multi_cbc_decrypt:
 387 .cfi_startproc
 388 ___
 389 $code.=<<___ if ($avx);
 390         cmp     \$2,$num
 391         jb      .Ldec_non_avx
 392         mov     OPENSSL_ia32cap_P+4(%rip),%ecx
 393         test    \$`1<<28`,%ecx                  # AVX bit
 394         jnz     _avx_cbc_dec_shortcut
 395         jmp     .Ldec_non_avx
 396 .align  16
 397 .Ldec_non_avx:
 398 ___
 399 $code.=<<___;
 400         mov     %rsp,%rax
 401 .cfi_def_cfa_register   %rax
 402         push    %rbx
 403 .cfi_push       %rbx
 404         push    %rbp
 405 .cfi_push       %rbp
 406         push    %r12
 407 .cfi_push       %r12
 408         push    %r13
 409 .cfi_push       %r13
 410         push    %r14
 411 .cfi_push       %r14
 412         push    %r15
 413 .cfi_push       %r15
 414 ___
 415 $code.=<<___ if ($win64);
 416         lea     -0xa8(%rsp),%rsp
 417         movaps  %xmm6,(%rsp)
 418         movaps  %xmm7,0x10(%rsp)
 419         movaps  %xmm8,0x20(%rsp)
 420         movaps  %xmm9,0x30(%rsp)
 421         movaps  %xmm10,0x40(%rsp)
 422         movaps  %xmm11,0x50(%rsp)
 423         movaps  %xmm12,0x60(%rsp)
 424         movaps  %xmm13,-0x68(%rax)      # not used, saved to share se_handler
 425         movaps  %xmm14,-0x58(%rax)
 426         movaps  %xmm15,-0x48(%rax)
 427 ___
 428 $code.=<<___;
 429         # stack layout
 430         #
 431         # +0    output sink
 432         # +16   input sink [original %rsp and $num]
 433         # +32   counters
 434
 435         sub     \$48,%rsp
 436         and     \$-64,%rsp
 437         mov     %rax,16(%rsp)                   # original %rsp
 438 .cfi_cfa_expression     %rsp+16,deref,+8
 439
 440 .Ldec4x_body:
 441         movdqu  ($key),$zero                    # 0-round key
 442         lea     0x78($key),$key                 # size optimization
 443         lea     40*2($inp),$inp
 444
 445 .Ldec4x_loop_grande:
 446         mov     $num,24(%rsp)                   # original $num
 447         xor     $num,$num
 448 ___
 449 for($i=0;$i<4;$i++) {
 450     $code.=<<___;
 451         mov     `40*$i+16-40*2`($inp),$one      # borrow $one for number of blocks
 452         mov     `40*$i+0-40*2`($inp),@inptr[$i]
 453         cmp     $num,$one
 454         mov     `40*$i+8-40*2`($inp),@outptr[$i]
 455         cmovg   $one,$num                       # find maximum
 456         test    $one,$one
 457         movdqu  `40*$i+24-40*2`($inp),@inp[$i]  # load IV
 458         mov     $one,`32+4*$i`(%rsp)            # initialize counters
 459         cmovle  %rsp,@inptr[$i]                 # cancel input
 460 ___
 461 }
 462 $code.=<<___;
 463         test    $num,$num
 464         jz      .Ldec4x_done
 465
 466         movups  0x10-0x78($key),$rndkey1
 467         movups  0x20-0x78($key),$rndkey0
 468         mov     0xf0-0x78($key),$rounds
 469         movdqu  (@inptr[0]),@out[0]             # load inputs
 470         movdqu  (@inptr[1]),@out[1]
 471          pxor   $zero,@out[0]
 472         movdqu  (@inptr[2]),@out[2]
 473          pxor   $zero,@out[1]
 474         movdqu  (@inptr[3]),@out[3]
 475          pxor   $zero,@out[2]
 476          pxor   $zero,@out[3]
 477         movdqa  32(%rsp),$counters              # load counters
 478         xor     $offset,$offset
 479         jmp     .Loop_dec4x
 480
 481 .align  32
 482 .Loop_dec4x:
 483         add     \$16,$offset
 484         lea     16(%rsp),$sink                  # sink pointer
 485         mov     \$1,$one                        # constant of 1
 486         sub     $offset,$sink
 487
 488         aesdec          $rndkey1,@out[0]
 489         prefetcht0      31(@inptr[0],$offset)   # prefetch input
 490         prefetcht0      31(@inptr[1],$offset)
 491         aesdec          $rndkey1,@out[1]
 492         prefetcht0      31(@inptr[2],$offset)
 493         prefetcht0      31(@inptr[3],$offset)
 494         aesdec          $rndkey1,@out[2]
 495         aesdec          $rndkey1,@out[3]
 496         movups          0x30-0x78($key),$rndkey1
 497 ___
 498 for($i=0;$i<4;$i++) {
 499 my $rndkey = ($i&1) ? $rndkey1 : $rndkey0;
 500 $code.=<<___;
 501          cmp            `32+4*$i`(%rsp),$one
 502         aesdec          $rndkey,@out[0]
 503         aesdec          $rndkey,@out[1]
 504         aesdec          $rndkey,@out[2]
 505          cmovge         $sink,@inptr[$i]        # cancel input
 506          cmovg          $sink,@outptr[$i]       # sink output
 507         aesdec          $rndkey,@out[3]
 508         movups          `0x40+16*$i-0x78`($key),$rndkey
 509 ___
 510 }
 511 $code.=<<___;
 512          movdqa         $counters,$mask
 513         aesdec          $rndkey0,@out[0]
 514         prefetcht0      15(@outptr[0],$offset)  # prefetch output
 515         prefetcht0      15(@outptr[1],$offset)
 516         aesdec          $rndkey0,@out[1]
 517         prefetcht0      15(@outptr[2],$offset)
 518         prefetcht0      15(@outptr[3],$offset)
 519         aesdec          $rndkey0,@out[2]
 520         aesdec          $rndkey0,@out[3]
 521         movups          0x80-0x78($key),$rndkey0
 522          pxor           $zero,$zero
 523
 524         aesdec          $rndkey1,@out[0]
 525          pcmpgtd        $zero,$mask
 526          movdqu         -0x78($key),$zero       # reload 0-round key
 527         aesdec          $rndkey1,@out[1]
 528          paddd          $mask,$counters         # decrement counters
 529          movdqa         $counters,32(%rsp)      # update counters
 530         aesdec          $rndkey1,@out[2]
 531         aesdec          $rndkey1,@out[3]
 532         movups          0x90-0x78($key),$rndkey1
 533
 534         cmp     \$11,$rounds
 535
 536         aesdec          $rndkey0,@out[0]
 537         aesdec          $rndkey0,@out[1]
 538         aesdec          $rndkey0,@out[2]
 539         aesdec          $rndkey0,@out[3]
 540         movups          0xa0-0x78($key),$rndkey0
 541
 542         jb      .Ldec4x_tail
 543
 544         aesdec          $rndkey1,@out[0]
 545         aesdec          $rndkey1,@out[1]
 546         aesdec          $rndkey1,@out[2]
 547         aesdec          $rndkey1,@out[3]
 548         movups          0xb0-0x78($key),$rndkey1
 549
 550         aesdec          $rndkey0,@out[0]
 551         aesdec          $rndkey0,@out[1]
 552         aesdec          $rndkey0,@out[2]
 553         aesdec          $rndkey0,@out[3]
 554         movups          0xc0-0x78($key),$rndkey0
 555
 556         je      .Ldec4x_tail
 557
 558         aesdec          $rndkey1,@out[0]
 559         aesdec          $rndkey1,@out[1]
 560         aesdec          $rndkey1,@out[2]
 561         aesdec          $rndkey1,@out[3]
 562         movups          0xd0-0x78($key),$rndkey1
 563
 564         aesdec          $rndkey0,@out[0]
 565         aesdec          $rndkey0,@out[1]
 566         aesdec          $rndkey0,@out[2]
 567         aesdec          $rndkey0,@out[3]
 568         movups          0xe0-0x78($key),$rndkey0
 569         jmp     .Ldec4x_tail
 570
 571 .align  32
 572 .Ldec4x_tail:
 573         aesdec          $rndkey1,@out[0]
 574         aesdec          $rndkey1,@out[1]
 575         aesdec          $rndkey1,@out[2]
 576          pxor           $rndkey0,@inp[0]
 577          pxor           $rndkey0,@inp[1]
 578         aesdec          $rndkey1,@out[3]
 579         movdqu          0x10-0x78($key),$rndkey1
 580          pxor           $rndkey0,@inp[2]
 581          pxor           $rndkey0,@inp[3]
 582         movdqu          0x20-0x78($key),$rndkey0
 583
 584         aesdeclast      @inp[0],@out[0]
 585         aesdeclast      @inp[1],@out[1]
 586          movdqu         -16(@inptr[0],$offset),@inp[0]  # load next IV
 587          movdqu         -16(@inptr[1],$offset),@inp[1]
 588         aesdeclast      @inp[2],@out[2]
 589         aesdeclast      @inp[3],@out[3]
 590          movdqu         -16(@inptr[2],$offset),@inp[2]
 591          movdqu         -16(@inptr[3],$offset),@inp[3]
 592
 593         movups          @out[0],-16(@outptr[0],$offset)
 594          movdqu         (@inptr[0],$offset),@out[0]
 595         movups          @out[1],-16(@outptr[1],$offset)
 596          movdqu         (@inptr[1],$offset),@out[1]
 597          pxor           $zero,@out[0]
 598         movups          @out[2],-16(@outptr[2],$offset)
 599          movdqu         (@inptr[2],$offset),@out[2]
 600          pxor           $zero,@out[1]
 601         movups          @out[3],-16(@outptr[3],$offset)
 602          movdqu         (@inptr[3],$offset),@out[3]
 603          pxor           $zero,@out[2]
 604          pxor           $zero,@out[3]
 605
 606         dec     $num
 607         jnz     .Loop_dec4x
 608
 609         mov     16(%rsp),%rax                   # original %rsp
 610 .cfi_def_cfa    %rax,8
 611         mov     24(%rsp),$num
 612
 613         lea     `40*4`($inp),$inp
 614         dec     $num
 615         jnz     .Ldec4x_loop_grande
 616
 617 .Ldec4x_done:
 618 ___
 619 $code.=<<___ if ($win64);
 620         movaps  -0xd8(%rax),%xmm6
 621         movaps  -0xc8(%rax),%xmm7
 622         movaps  -0xb8(%rax),%xmm8
 623         movaps  -0xa8(%rax),%xmm9
 624         movaps  -0x98(%rax),%xmm10
 625         movaps  -0x88(%rax),%xmm11
 626         movaps  -0x78(%rax),%xmm12
 627         #movaps -0x68(%rax),%xmm13
 628         #movaps -0x58(%rax),%xmm14
 629         #movaps -0x48(%rax),%xmm15
 630 ___
 631 $code.=<<___;
 632         mov     -48(%rax),%r15
 633 .cfi_restore    %r15
 634         mov     -40(%rax),%r14
 635 .cfi_restore    %r14
 636         mov     -32(%rax),%r13
 637 .cfi_restore    %r13
 638         mov     -24(%rax),%r12
 639 .cfi_restore    %r12
 640         mov     -16(%rax),%rbp
 641 .cfi_restore    %rbp
 642         mov     -8(%rax),%rbx
 643 .cfi_restore    %rbx
 644         lea     (%rax),%rsp
 645 .cfi_def_cfa_register   %rsp
 646 .Ldec4x_epilogue:
 647         ret
 648 .cfi_endproc
 649 .size   aesni_multi_cbc_decrypt,.-aesni_multi_cbc_decrypt
 650 ___
 651
 652                                                 if ($avx) {{{
 653 my @ptr=map("%r$_",(8..15));
 654 my $offload=$sink;
 655
 656 my @out=map("%xmm$_",(2..9));
 657 my @inp=map("%xmm$_",(10..13));
 658 my ($counters,$zero)=("%xmm14","%xmm15");
 659
 660 $code.=<<___;
 661 .type   aesni_multi_cbc_encrypt_avx,\@function,3
 662 .align  32
 663 aesni_multi_cbc_encrypt_avx:
 664 .cfi_startproc
 665 _avx_cbc_enc_shortcut:
 666         mov     %rsp,%rax
 667 .cfi_def_cfa_register   %rax
 668         push    %rbx
 669 .cfi_push       %rbx
 670         push    %rbp
 671 .cfi_push       %rbp
 672         push    %r12
 673 .cfi_push       %r12
 674         push    %r13
 675 .cfi_push       %r13
 676         push    %r14
 677 .cfi_push       %r14
 678         push    %r15
 679 .cfi_push       %r15
 680 ___
 681 $code.=<<___ if ($win64);
 682         lea     -0xa8(%rsp),%rsp
 683         movaps  %xmm6,(%rsp)
 684         movaps  %xmm7,0x10(%rsp)
 685         movaps  %xmm8,0x20(%rsp)
 686         movaps  %xmm9,0x30(%rsp)
 687         movaps  %xmm10,0x40(%rsp)
 688         movaps  %xmm11,0x50(%rsp)
 689         movaps  %xmm12,-0x78(%rax)
 690         movaps  %xmm13,-0x68(%rax)
 691         movaps  %xmm14,-0x58(%rax)
 692         movaps  %xmm15,-0x48(%rax)
 693 ___
 694 $code.=<<___;
 695         # stack layout
 696         #
 697         # +0    output sink
 698         # +16   input sink [original %rsp and $num]
 699         # +32   counters
 700         # +64   distances between inputs and outputs
 701         # +128  off-load area for @inp[0..3]
 702
 703         sub     \$192,%rsp
 704         and     \$-128,%rsp
 705         mov     %rax,16(%rsp)                   # original %rsp
 706 .cfi_cfa_expression     %rsp+16,deref,+8
 707
 708 .Lenc8x_body:
 709         vzeroupper
 710         vmovdqu ($key),$zero                    # 0-round key
 711         lea     0x78($key),$key                 # size optimization
 712         lea     40*4($inp),$inp
 713         shr     \$1,$num
 714
 715 .Lenc8x_loop_grande:
 716         #mov    $num,24(%rsp)                   # original $num
 717         xor     $num,$num
 718 ___
 719 for($i=0;$i<8;$i++) {
 720   my $temp = $i ? $offload : $offset;
 721     $code.=<<___;
 722         mov     `40*$i+16-40*4`($inp),$one      # borrow $one for number of blocks
 723         mov     `40*$i+0-40*4`($inp),@ptr[$i]   # input pointer
 724         cmp     $num,$one
 725         mov     `40*$i+8-40*4`($inp),$temp      # output pointer
 726         cmovg   $one,$num                       # find maximum
 727         test    $one,$one
 728         vmovdqu `40*$i+24-40*4`($inp),@out[$i]  # load IV
 729         mov     $one,`32+4*$i`(%rsp)            # initialize counters
 730         cmovle  %rsp,@ptr[$i]                   # cancel input
 731         sub     @ptr[$i],$temp                  # distance between input and output
 732         mov     $temp,`64+8*$i`(%rsp)           # initialize distances
 733 ___
 734 }
 735 $code.=<<___;
 736         test    $num,$num
 737         jz      .Lenc8x_done
 738
 739         vmovups 0x10-0x78($key),$rndkey1
 740         vmovups 0x20-0x78($key),$rndkey0
 741         mov     0xf0-0x78($key),$rounds
 742
 743         vpxor   (@ptr[0]),$zero,@inp[0]         # load inputs and xor with 0-round
 744          lea    128(%rsp),$offload              # offload area
 745         vpxor   (@ptr[1]),$zero,@inp[1]
 746         vpxor   (@ptr[2]),$zero,@inp[2]
 747         vpxor   (@ptr[3]),$zero,@inp[3]
 748          vpxor  @inp[0],@out[0],@out[0]
 749         vpxor   (@ptr[4]),$zero,@inp[0]
 750          vpxor  @inp[1],@out[1],@out[1]
 751         vpxor   (@ptr[5]),$zero,@inp[1]
 752          vpxor  @inp[2],@out[2],@out[2]
 753         vpxor   (@ptr[6]),$zero,@inp[2]
 754          vpxor  @inp[3],@out[3],@out[3]
 755         vpxor   (@ptr[7]),$zero,@inp[3]
 756          vpxor  @inp[0],@out[4],@out[4]
 757         mov     \$1,$one                        # constant of 1
 758          vpxor  @inp[1],@out[5],@out[5]
 759          vpxor  @inp[2],@out[6],@out[6]
 760          vpxor  @inp[3],@out[7],@out[7]
 761         jmp     .Loop_enc8x
 762
 763 .align  32
 764 .Loop_enc8x:
 765 ___
 766 for($i=0;$i<8;$i++) {
 767 my $rndkey=($i&1)?$rndkey0:$rndkey1;
 768 $code.=<<___;
 769         vaesenc         $rndkey,@out[0],@out[0]
 770          cmp            32+4*$i(%rsp),$one
 771 ___
 772 $code.=<<___ if ($i);
 773          mov            64+8*$i(%rsp),$offset
 774 ___
 775 $code.=<<___;
 776         vaesenc         $rndkey,@out[1],@out[1]
 777         prefetcht0      31(@ptr[$i])                    # prefetch input
 778         vaesenc         $rndkey,@out[2],@out[2]
 779 ___
 780 $code.=<<___ if ($i>1);
 781         prefetcht0      15(@ptr[$i-2])                  # prefetch output
 782 ___
 783 $code.=<<___;
 784         vaesenc         $rndkey,@out[3],@out[3]
 785          lea            (@ptr[$i],$offset),$offset
 786          cmovge         %rsp,@ptr[$i]                   # cancel input
 787         vaesenc         $rndkey,@out[4],@out[4]
 788          cmovg          %rsp,$offset                    # sink output
 789         vaesenc         $rndkey,@out[5],@out[5]
 790          sub            @ptr[$i],$offset
 791         vaesenc         $rndkey,@out[6],@out[6]
 792          vpxor          16(@ptr[$i]),$zero,@inp[$i%4]   # load input and xor with 0-round
 793          mov            $offset,64+8*$i(%rsp)
 794         vaesenc         $rndkey,@out[7],@out[7]
 795         vmovups         `16*(3+$i)-0x78`($key),$rndkey
 796          lea            16(@ptr[$i],$offset),@ptr[$i]   # switch to output
 797 ___
 798 $code.=<<___ if ($i<4)
 799          vmovdqu        @inp[$i%4],`16*$i`($offload)    # off-load
 800 ___
 801 }
 802 $code.=<<___;
 803          vmovdqu        32(%rsp),$counters
 804         prefetcht0      15(@ptr[$i-2])                  # prefetch output
 805         prefetcht0      15(@ptr[$i-1])
 806         cmp     \$11,$rounds
 807         jb      .Lenc8x_tail
 808
 809         vaesenc         $rndkey1,@out[0],@out[0]
 810         vaesenc         $rndkey1,@out[1],@out[1]
 811         vaesenc         $rndkey1,@out[2],@out[2]
 812         vaesenc         $rndkey1,@out[3],@out[3]
 813         vaesenc         $rndkey1,@out[4],@out[4]
 814         vaesenc         $rndkey1,@out[5],@out[5]
 815         vaesenc         $rndkey1,@out[6],@out[6]
 816         vaesenc         $rndkey1,@out[7],@out[7]
 817         vmovups         0xb0-0x78($key),$rndkey1
 818
 819         vaesenc         $rndkey0,@out[0],@out[0]
 820         vaesenc         $rndkey0,@out[1],@out[1]
 821         vaesenc         $rndkey0,@out[2],@out[2]
 822         vaesenc         $rndkey0,@out[3],@out[3]
 823         vaesenc         $rndkey0,@out[4],@out[4]
 824         vaesenc         $rndkey0,@out[5],@out[5]
 825         vaesenc         $rndkey0,@out[6],@out[6]
 826         vaesenc         $rndkey0,@out[7],@out[7]
 827         vmovups         0xc0-0x78($key),$rndkey0
 828         je      .Lenc8x_tail
 829
 830         vaesenc         $rndkey1,@out[0],@out[0]
 831         vaesenc         $rndkey1,@out[1],@out[1]
 832         vaesenc         $rndkey1,@out[2],@out[2]
 833         vaesenc         $rndkey1,@out[3],@out[3]
 834         vaesenc         $rndkey1,@out[4],@out[4]
 835         vaesenc         $rndkey1,@out[5],@out[5]
 836         vaesenc         $rndkey1,@out[6],@out[6]
 837         vaesenc         $rndkey1,@out[7],@out[7]
 838         vmovups         0xd0-0x78($key),$rndkey1
 839
 840         vaesenc         $rndkey0,@out[0],@out[0]
 841         vaesenc         $rndkey0,@out[1],@out[1]
 842         vaesenc         $rndkey0,@out[2],@out[2]
 843         vaesenc         $rndkey0,@out[3],@out[3]
 844         vaesenc         $rndkey0,@out[4],@out[4]
 845         vaesenc         $rndkey0,@out[5],@out[5]
 846         vaesenc         $rndkey0,@out[6],@out[6]
 847         vaesenc         $rndkey0,@out[7],@out[7]
 848         vmovups         0xe0-0x78($key),$rndkey0
 849
 850 .Lenc8x_tail:
 851         vaesenc         $rndkey1,@out[0],@out[0]
 852          vpxor          $zero,$zero,$zero
 853         vaesenc         $rndkey1,@out[1],@out[1]
 854         vaesenc         $rndkey1,@out[2],@out[2]
 855          vpcmpgtd       $zero,$counters,$zero
 856         vaesenc         $rndkey1,@out[3],@out[3]
 857         vaesenc         $rndkey1,@out[4],@out[4]
 858          vpaddd         $counters,$zero,$zero           # decrement counters
 859          vmovdqu        48(%rsp),$counters
 860         vaesenc         $rndkey1,@out[5],@out[5]
 861          mov            64(%rsp),$offset                # pre-load 1st offset
 862         vaesenc         $rndkey1,@out[6],@out[6]
 863         vaesenc         $rndkey1,@out[7],@out[7]
 864         vmovups         0x10-0x78($key),$rndkey1
 865
 866         vaesenclast     $rndkey0,@out[0],@out[0]
 867          vmovdqa        $zero,32(%rsp)                  # update counters
 868          vpxor          $zero,$zero,$zero
 869         vaesenclast     $rndkey0,@out[1],@out[1]
 870         vaesenclast     $rndkey0,@out[2],@out[2]
 871          vpcmpgtd       $zero,$counters,$zero
 872         vaesenclast     $rndkey0,@out[3],@out[3]
 873         vaesenclast     $rndkey0,@out[4],@out[4]
 874          vpaddd         $zero,$counters,$counters       # decrement counters
 875          vmovdqu        -0x78($key),$zero               # 0-round
 876         vaesenclast     $rndkey0,@out[5],@out[5]
 877         vaesenclast     $rndkey0,@out[6],@out[6]
 878          vmovdqa        $counters,48(%rsp)              # update counters
 879         vaesenclast     $rndkey0,@out[7],@out[7]
 880         vmovups         0x20-0x78($key),$rndkey0
 881
 882         vmovups         @out[0],-16(@ptr[0])            # write output
 883          sub            $offset,@ptr[0]                 # switch to input
 884          vpxor          0x00($offload),@out[0],@out[0]
 885         vmovups         @out[1],-16(@ptr[1])
 886          sub            `64+1*8`(%rsp),@ptr[1]
 887          vpxor          0x10($offload),@out[1],@out[1]
 888         vmovups         @out[2],-16(@ptr[2])
 889          sub            `64+2*8`(%rsp),@ptr[2]
 890          vpxor          0x20($offload),@out[2],@out[2]
 891         vmovups         @out[3],-16(@ptr[3])
 892          sub            `64+3*8`(%rsp),@ptr[3]
 893          vpxor          0x30($offload),@out[3],@out[3]
 894         vmovups         @out[4],-16(@ptr[4])
 895          sub            `64+4*8`(%rsp),@ptr[4]
 896          vpxor          @inp[0],@out[4],@out[4]
 897         vmovups         @out[5],-16(@ptr[5])
 898          sub            `64+5*8`(%rsp),@ptr[5]
 899          vpxor          @inp[1],@out[5],@out[5]
 900         vmovups         @out[6],-16(@ptr[6])
 901          sub            `64+6*8`(%rsp),@ptr[6]
 902          vpxor          @inp[2],@out[6],@out[6]
 903         vmovups         @out[7],-16(@ptr[7])
 904          sub            `64+7*8`(%rsp),@ptr[7]
 905          vpxor          @inp[3],@out[7],@out[7]
 906
 907         dec     $num
 908         jnz     .Loop_enc8x
 909
 910         mov     16(%rsp),%rax                   # original %rsp
 911 .cfi_def_cfa    %rax,8
 912         #mov    24(%rsp),$num
 913         #lea    `40*8`($inp),$inp
 914         #dec    $num
 915         #jnz    .Lenc8x_loop_grande
 916
 917 .Lenc8x_done:
 918         vzeroupper
 919 ___
 920 $code.=<<___ if ($win64);
 921         movaps  -0xd8(%rax),%xmm6
 922         movaps  -0xc8(%rax),%xmm7
 923         movaps  -0xb8(%rax),%xmm8
 924         movaps  -0xa8(%rax),%xmm9
 925         movaps  -0x98(%rax),%xmm10
 926         movaps  -0x88(%rax),%xmm11
 927         movaps  -0x78(%rax),%xmm12
 928         movaps  -0x68(%rax),%xmm13
 929         movaps  -0x58(%rax),%xmm14
 930         movaps  -0x48(%rax),%xmm15
 931 ___
 932 $code.=<<___;
 933         mov     -48(%rax),%r15
 934 .cfi_restore    %r15
 935         mov     -40(%rax),%r14
 936 .cfi_restore    %r14
 937         mov     -32(%rax),%r13
 938 .cfi_restore    %r13
 939         mov     -24(%rax),%r12
 940 .cfi_restore    %r12
 941         mov     -16(%rax),%rbp
 942 .cfi_restore    %rbp
 943         mov     -8(%rax),%rbx
 944 .cfi_restore    %rbx
 945         lea     (%rax),%rsp
 946 .cfi_def_cfa_register   %rsp
 947 .Lenc8x_epilogue:
 948         ret
 949 .cfi_endproc
 950 .size   aesni_multi_cbc_encrypt_avx,.-aesni_multi_cbc_encrypt_avx
 951
 952 .type   aesni_multi_cbc_decrypt_avx,\@function,3
 953 .align  32
 954 aesni_multi_cbc_decrypt_avx:
 955 .cfi_startproc
 956 _avx_cbc_dec_shortcut:
 957         mov     %rsp,%rax
 958 .cfi_def_cfa_register   %rax
 959         push    %rbx
 960 .cfi_push       %rbx
 961         push    %rbp
 962 .cfi_push       %rbp
 963         push    %r12
 964 .cfi_push       %r12
 965         push    %r13
 966 .cfi_push       %r13
 967         push    %r14
 968 .cfi_push       %r14
 969         push    %r15
 970 .cfi_push       %r15
 971 ___
 972 $code.=<<___ if ($win64);
 973         lea     -0xa8(%rsp),%rsp
 974         movaps  %xmm6,(%rsp)
 975         movaps  %xmm7,0x10(%rsp)
 976         movaps  %xmm8,0x20(%rsp)
 977         movaps  %xmm9,0x30(%rsp)
 978         movaps  %xmm10,0x40(%rsp)
 979         movaps  %xmm11,0x50(%rsp)
 980         movaps  %xmm12,-0x78(%rax)
 981         movaps  %xmm13,-0x68(%rax)
 982         movaps  %xmm14,-0x58(%rax)
 983         movaps  %xmm15,-0x48(%rax)
 984 ___
 985 $code.=<<___;
 986         # stack layout
 987         #
 988         # +0    output sink
 989         # +16   input sink [original %rsp and $num]
 990         # +32   counters
 991         # +64   distances between inputs and outputs
 992         # +128  off-load area for @inp[0..3]
 993         # +192  IV/input offload
 994
 995         sub     \$256,%rsp
 996         and     \$-256,%rsp
 997         sub     \$192,%rsp
 998         mov     %rax,16(%rsp)                   # original %rsp
 999 .cfi_cfa_expression     %rsp+16,deref,+8
1000
1001 .Ldec8x_body:
1002         vzeroupper
1003         vmovdqu ($key),$zero                    # 0-round key
1004         lea     0x78($key),$key                 # size optimization
1005         lea     40*4($inp),$inp
1006         shr     \$1,$num
1007
1008 .Ldec8x_loop_grande:
1009         #mov    $num,24(%rsp)                   # original $num
1010         xor     $num,$num
1011 ___
1012 for($i=0;$i<8;$i++) {
1013   my $temp = $i ? $offload : $offset;
1014     $code.=<<___;
1015         mov     `40*$i+16-40*4`($inp),$one      # borrow $one for number of blocks
1016         mov     `40*$i+0-40*4`($inp),@ptr[$i]   # input pointer
1017         cmp     $num,$one
1018         mov     `40*$i+8-40*4`($inp),$temp      # output pointer
1019         cmovg   $one,$num                       # find maximum
1020         test    $one,$one
1021         vmovdqu `40*$i+24-40*4`($inp),@out[$i]  # load IV
1022         mov     $one,`32+4*$i`(%rsp)            # initialize counters
1023         cmovle  %rsp,@ptr[$i]                   # cancel input
1024         sub     @ptr[$i],$temp                  # distance between input and output
1025         mov     $temp,`64+8*$i`(%rsp)           # initialize distances
1026         vmovdqu @out[$i],`192+16*$i`(%rsp)      # offload IV
1027 ___
1028 }
1029 $code.=<<___;
1030         test    $num,$num
1031         jz      .Ldec8x_done
1032
1033         vmovups 0x10-0x78($key),$rndkey1
1034         vmovups 0x20-0x78($key),$rndkey0
1035         mov     0xf0-0x78($key),$rounds
1036          lea    192+128(%rsp),$offload          # offload area
1037
1038         vmovdqu (@ptr[0]),@out[0]               # load inputs
1039         vmovdqu (@ptr[1]),@out[1]
1040         vmovdqu (@ptr[2]),@out[2]
1041         vmovdqu (@ptr[3]),@out[3]
1042         vmovdqu (@ptr[4]),@out[4]
1043         vmovdqu (@ptr[5]),@out[5]
1044         vmovdqu (@ptr[6]),@out[6]
1045         vmovdqu (@ptr[7]),@out[7]
1046         vmovdqu @out[0],0x00($offload)          # offload inputs
1047         vpxor   $zero,@out[0],@out[0]           # xor inputs with 0-round
1048         vmovdqu @out[1],0x10($offload)
1049         vpxor   $zero,@out[1],@out[1]
1050         vmovdqu @out[2],0x20($offload)
1051         vpxor   $zero,@out[2],@out[2]
1052         vmovdqu @out[3],0x30($offload)
1053         vpxor   $zero,@out[3],@out[3]
1054         vmovdqu @out[4],0x40($offload)
1055         vpxor   $zero,@out[4],@out[4]
1056         vmovdqu @out[5],0x50($offload)
1057         vpxor   $zero,@out[5],@out[5]
1058         vmovdqu @out[6],0x60($offload)
1059         vpxor   $zero,@out[6],@out[6]
1060         vmovdqu @out[7],0x70($offload)
1061         vpxor   $zero,@out[7],@out[7]
1062         xor     \$0x80,$offload
1063         mov     \$1,$one                        # constant of 1
1064         jmp     .Loop_dec8x
1065
1066 .align  32
1067 .Loop_dec8x:
1068 ___
1069 for($i=0;$i<8;$i++) {
1070 my $rndkey=($i&1)?$rndkey0:$rndkey1;
1071 $code.=<<___;
1072         vaesdec         $rndkey,@out[0],@out[0]
1073          cmp            32+4*$i(%rsp),$one
1074 ___
1075 $code.=<<___ if ($i);
1076          mov            64+8*$i(%rsp),$offset
1077 ___
1078 $code.=<<___;
1079         vaesdec         $rndkey,@out[1],@out[1]
1080         prefetcht0      31(@ptr[$i])                    # prefetch input
1081         vaesdec         $rndkey,@out[2],@out[2]
1082 ___
1083 $code.=<<___ if ($i>1);
1084         prefetcht0      15(@ptr[$i-2])                  # prefetch output
1085 ___
1086 $code.=<<___;
1087         vaesdec         $rndkey,@out[3],@out[3]
1088          lea            (@ptr[$i],$offset),$offset
1089          cmovge         %rsp,@ptr[$i]                   # cancel input
1090         vaesdec         $rndkey,@out[4],@out[4]
1091          cmovg          %rsp,$offset                    # sink output
1092         vaesdec         $rndkey,@out[5],@out[5]
1093          sub            @ptr[$i],$offset
1094         vaesdec         $rndkey,@out[6],@out[6]
1095          vmovdqu        16(@ptr[$i]),@inp[$i%4]         # load input
1096          mov            $offset,64+8*$i(%rsp)
1097         vaesdec         $rndkey,@out[7],@out[7]
1098         vmovups         `16*(3+$i)-0x78`($key),$rndkey
1099          lea            16(@ptr[$i],$offset),@ptr[$i]   # switch to output
1100 ___
1101 $code.=<<___ if ($i<4);
1102          vmovdqu        @inp[$i%4],`128+16*$i`(%rsp)    # off-load
1103 ___
1104 }
1105 $code.=<<___;
1106          vmovdqu        32(%rsp),$counters
1107         prefetcht0      15(@ptr[$i-2])                  # prefetch output
1108         prefetcht0      15(@ptr[$i-1])
1109         cmp     \$11,$rounds
1110         jb      .Ldec8x_tail
1111
1112         vaesdec         $rndkey1,@out[0],@out[0]
1113         vaesdec         $rndkey1,@out[1],@out[1]
1114         vaesdec         $rndkey1,@out[2],@out[2]
1115         vaesdec         $rndkey1,@out[3],@out[3]
1116         vaesdec         $rndkey1,@out[4],@out[4]
1117         vaesdec         $rndkey1,@out[5],@out[5]
1118         vaesdec         $rndkey1,@out[6],@out[6]
1119         vaesdec         $rndkey1,@out[7],@out[7]
1120         vmovups         0xb0-0x78($key),$rndkey1
1121
1122         vaesdec         $rndkey0,@out[0],@out[0]
1123         vaesdec         $rndkey0,@out[1],@out[1]
1124         vaesdec         $rndkey0,@out[2],@out[2]
1125         vaesdec         $rndkey0,@out[3],@out[3]
1126         vaesdec         $rndkey0,@out[4],@out[4]
1127         vaesdec         $rndkey0,@out[5],@out[5]
1128         vaesdec         $rndkey0,@out[6],@out[6]
1129         vaesdec         $rndkey0,@out[7],@out[7]
1130         vmovups         0xc0-0x78($key),$rndkey0
1131         je      .Ldec8x_tail
1132
1133         vaesdec         $rndkey1,@out[0],@out[0]
1134         vaesdec         $rndkey1,@out[1],@out[1]
1135         vaesdec         $rndkey1,@out[2],@out[2]
1136         vaesdec         $rndkey1,@out[3],@out[3]
1137         vaesdec         $rndkey1,@out[4],@out[4]
1138         vaesdec         $rndkey1,@out[5],@out[5]
1139         vaesdec         $rndkey1,@out[6],@out[6]
1140         vaesdec         $rndkey1,@out[7],@out[7]
1141         vmovups         0xd0-0x78($key),$rndkey1
1142
1143         vaesdec         $rndkey0,@out[0],@out[0]
1144         vaesdec         $rndkey0,@out[1],@out[1]
1145         vaesdec         $rndkey0,@out[2],@out[2]
1146         vaesdec         $rndkey0,@out[3],@out[3]
1147         vaesdec         $rndkey0,@out[4],@out[4]
1148         vaesdec         $rndkey0,@out[5],@out[5]
1149         vaesdec         $rndkey0,@out[6],@out[6]
1150         vaesdec         $rndkey0,@out[7],@out[7]
1151         vmovups         0xe0-0x78($key),$rndkey0
1152
1153 .Ldec8x_tail:
1154         vaesdec         $rndkey1,@out[0],@out[0]
1155          vpxor          $zero,$zero,$zero
1156         vaesdec         $rndkey1,@out[1],@out[1]
1157         vaesdec         $rndkey1,@out[2],@out[2]
1158          vpcmpgtd       $zero,$counters,$zero
1159         vaesdec         $rndkey1,@out[3],@out[3]
1160         vaesdec         $rndkey1,@out[4],@out[4]
1161          vpaddd         $counters,$zero,$zero           # decrement counters
1162          vmovdqu        48(%rsp),$counters
1163         vaesdec         $rndkey1,@out[5],@out[5]
1164          mov            64(%rsp),$offset                # pre-load 1st offset
1165         vaesdec         $rndkey1,@out[6],@out[6]
1166         vaesdec         $rndkey1,@out[7],@out[7]
1167         vmovups         0x10-0x78($key),$rndkey1
1168
1169         vaesdeclast     $rndkey0,@out[0],@out[0]
1170          vmovdqa        $zero,32(%rsp)                  # update counters
1171          vpxor          $zero,$zero,$zero
1172         vaesdeclast     $rndkey0,@out[1],@out[1]
1173         vpxor           0x00($offload),@out[0],@out[0]  # xor with IV
1174         vaesdeclast     $rndkey0,@out[2],@out[2]
1175         vpxor           0x10($offload),@out[1],@out[1]
1176          vpcmpgtd       $zero,$counters,$zero
1177         vaesdeclast     $rndkey0,@out[3],@out[3]
1178         vpxor           0x20($offload),@out[2],@out[2]
1179         vaesdeclast     $rndkey0,@out[4],@out[4]
1180         vpxor           0x30($offload),@out[3],@out[3]
1181          vpaddd         $zero,$counters,$counters       # decrement counters
1182          vmovdqu        -0x78($key),$zero               # 0-round
1183         vaesdeclast     $rndkey0,@out[5],@out[5]
1184         vpxor           0x40($offload),@out[4],@out[4]
1185         vaesdeclast     $rndkey0,@out[6],@out[6]
1186         vpxor           0x50($offload),@out[5],@out[5]
1187          vmovdqa        $counters,48(%rsp)              # update counters
1188         vaesdeclast     $rndkey0,@out[7],@out[7]
1189         vpxor           0x60($offload),@out[6],@out[6]
1190         vmovups         0x20-0x78($key),$rndkey0
1191
1192         vmovups         @out[0],-16(@ptr[0])            # write output
1193          sub            $offset,@ptr[0]                 # switch to input
1194          vmovdqu        128+0(%rsp),@out[0]
1195         vpxor           0x70($offload),@out[7],@out[7]
1196         vmovups         @out[1],-16(@ptr[1])
1197          sub            `64+1*8`(%rsp),@ptr[1]
1198          vmovdqu        @out[0],0x00($offload)
1199          vpxor          $zero,@out[0],@out[0]
1200          vmovdqu        128+16(%rsp),@out[1]
1201         vmovups         @out[2],-16(@ptr[2])
1202          sub            `64+2*8`(%rsp),@ptr[2]
1203          vmovdqu        @out[1],0x10($offload)
1204          vpxor          $zero,@out[1],@out[1]
1205          vmovdqu        128+32(%rsp),@out[2]
1206         vmovups         @out[3],-16(@ptr[3])
1207          sub            `64+3*8`(%rsp),@ptr[3]
1208          vmovdqu        @out[2],0x20($offload)
1209          vpxor          $zero,@out[2],@out[2]
1210          vmovdqu        128+48(%rsp),@out[3]
1211         vmovups         @out[4],-16(@ptr[4])
1212          sub            `64+4*8`(%rsp),@ptr[4]
1213          vmovdqu        @out[3],0x30($offload)
1214          vpxor          $zero,@out[3],@out[3]
1215          vmovdqu        @inp[0],0x40($offload)
1216          vpxor          @inp[0],$zero,@out[4]
1217         vmovups         @out[5],-16(@ptr[5])
1218          sub            `64+5*8`(%rsp),@ptr[5]
1219          vmovdqu        @inp[1],0x50($offload)
1220          vpxor          @inp[1],$zero,@out[5]
1221         vmovups         @out[6],-16(@ptr[6])
1222          sub            `64+6*8`(%rsp),@ptr[6]
1223          vmovdqu        @inp[2],0x60($offload)
1224          vpxor          @inp[2],$zero,@out[6]
1225         vmovups         @out[7],-16(@ptr[7])
1226          sub            `64+7*8`(%rsp),@ptr[7]
1227          vmovdqu        @inp[3],0x70($offload)
1228          vpxor          @inp[3],$zero,@out[7]
1229
1230         xor     \$128,$offload
1231         dec     $num
1232         jnz     .Loop_dec8x
1233
1234         mov     16(%rsp),%rax                   # original %rsp
1235 .cfi_def_cfa    %rax,8
1236         #mov    24(%rsp),$num
1237         #lea    `40*8`($inp),$inp
1238         #dec    $num
1239         #jnz    .Ldec8x_loop_grande
1240
1241 .Ldec8x_done:
1242         vzeroupper
1243 ___
1244 $code.=<<___ if ($win64);
1245         movaps  -0xd8(%rax),%xmm6
1246         movaps  -0xc8(%rax),%xmm7
1247         movaps  -0xb8(%rax),%xmm8
1248         movaps  -0xa8(%rax),%xmm9
1249         movaps  -0x98(%rax),%xmm10
1250         movaps  -0x88(%rax),%xmm11
1251         movaps  -0x78(%rax),%xmm12
1252         movaps  -0x68(%rax),%xmm13
1253         movaps  -0x58(%rax),%xmm14
1254         movaps  -0x48(%rax),%xmm15
1255 ___
1256 $code.=<<___;
1257         mov     -48(%rax),%r15
1258 .cfi_restore    %r15
1259         mov     -40(%rax),%r14
1260 .cfi_restore    %r14
1261         mov     -32(%rax),%r13
1262 .cfi_restore    %r13
1263         mov     -24(%rax),%r12
1264 .cfi_restore    %r12
1265         mov     -16(%rax),%rbp
1266 .cfi_restore    %rbp
1267         mov     -8(%rax),%rbx
1268 .cfi_restore    %rbx
1269         lea     (%rax),%rsp
1270 .cfi_def_cfa_register   %rsp
1271 .Ldec8x_epilogue:
1272         ret
1273 .cfi_endproc
1274 .size   aesni_multi_cbc_decrypt_avx,.-aesni_multi_cbc_decrypt_avx
1275 ___
1276                                                 }}}
1277
1278 if ($win64) {
1279 # EXCEPTION_DISPOSITION handler (EXCEPTION_RECORD *rec,ULONG64 frame,
1280 #               CONTEXT *context,DISPATCHER_CONTEXT *disp)
1281 $rec="%rcx";
1282 $frame="%rdx";
1283 $context="%r8";
1284 $disp="%r9";
1285
1286 $code.=<<___;
1287 .extern __imp_RtlVirtualUnwind
1288 .type   se_handler,\@abi-omnipotent
1289 .align  16
1290 se_handler:
1291         push    %rsi
1292         push    %rdi
1293         push    %rbx
1294         push    %rbp
1295         push    %r12
1296         push    %r13
1297         push    %r14
1298         push    %r15
1299         pushfq
1300         sub     \$64,%rsp
1301
1302         mov     120($context),%rax      # pull context->Rax
1303         mov     248($context),%rbx      # pull context->Rip
1304
1305         mov     8($disp),%rsi           # disp->ImageBase
1306         mov     56($disp),%r11          # disp->HandlerData
1307
1308         mov     0(%r11),%r10d           # HandlerData[0]
1309         lea     (%rsi,%r10),%r10        # prologue label
1310         cmp     %r10,%rbx               # context->Rip<.Lprologue
1311         jb      .Lin_prologue
1312
1313         mov     152($context),%rax      # pull context->Rsp
1314
1315         mov     4(%r11),%r10d           # HandlerData[1]
1316         lea     (%rsi,%r10),%r10        # epilogue label
1317         cmp     %r10,%rbx               # context->Rip>=.Lepilogue
1318         jae     .Lin_prologue
1319
1320         mov     16(%rax),%rax           # pull saved stack pointer
1321
1322         mov     -8(%rax),%rbx
1323         mov     -16(%rax),%rbp
1324         mov     -24(%rax),%r12
1325         mov     -32(%rax),%r13
1326         mov     -40(%rax),%r14
1327         mov     -48(%rax),%r15
1328         mov     %rbx,144($context)      # restore context->Rbx
1329         mov     %rbp,160($context)      # restore context->Rbp
1330         mov     %r12,216($context)      # restore context->R12
1331         mov     %r13,224($context)      # restore context->R13
1332         mov     %r14,232($context)      # restore context->R14
1333         mov     %r15,240($context)      # restore context->R15
1334
1335         lea     -56-10*16(%rax),%rsi
1336         lea     512($context),%rdi      # &context.Xmm6
1337         mov     \$20,%ecx
1338         .long   0xa548f3fc              # cld; rep movsq
1339
1340 .Lin_prologue:
1341         mov     8(%rax),%rdi
1342         mov     16(%rax),%rsi
1343         mov     %rax,152($context)      # restore context->Rsp
1344         mov     %rsi,168($context)      # restore context->Rsi
1345         mov     %rdi,176($context)      # restore context->Rdi
1346
1347         mov     40($disp),%rdi          # disp->ContextRecord
1348         mov     $context,%rsi           # context
1349         mov     \$154,%ecx              # sizeof(CONTEXT)
1350         .long   0xa548f3fc              # cld; rep movsq
1351
1352         mov     $disp,%rsi
1353         xor     %rcx,%rcx               # arg1, UNW_FLAG_NHANDLER
1354         mov     8(%rsi),%rdx            # arg2, disp->ImageBase
1355         mov     0(%rsi),%r8             # arg3, disp->ControlPc
1356         mov     16(%rsi),%r9            # arg4, disp->FunctionEntry
1357         mov     40(%rsi),%r10           # disp->ContextRecord
1358         lea     56(%rsi),%r11           # &disp->HandlerData
1359         lea     24(%rsi),%r12           # &disp->EstablisherFrame
1360         mov     %r10,32(%rsp)           # arg5
1361         mov     %r11,40(%rsp)           # arg6
1362         mov     %r12,48(%rsp)           # arg7
1363         mov     %rcx,56(%rsp)           # arg8, (NULL)
1364         call    *__imp_RtlVirtualUnwind(%rip)
1365
1366         mov     \$1,%eax                # ExceptionContinueSearch
1367         add     \$64,%rsp
1368         popfq
1369         pop     %r15
1370         pop     %r14
1371         pop     %r13
1372         pop     %r12
1373         pop     %rbp
1374         pop     %rbx
1375         pop     %rdi
1376         pop     %rsi
1377         ret
1378 .size   se_handler,.-se_handler
1379
1380 .section        .pdata
1381 .align  4
1382         .rva    .LSEH_begin_aesni_multi_cbc_encrypt
1383         .rva    .LSEH_end_aesni_multi_cbc_encrypt
1384         .rva    .LSEH_info_aesni_multi_cbc_encrypt
1385         .rva    .LSEH_begin_aesni_multi_cbc_decrypt
1386         .rva    .LSEH_end_aesni_multi_cbc_decrypt
1387         .rva    .LSEH_info_aesni_multi_cbc_decrypt
1388 ___
1389 $code.=<<___ if ($avx);
1390         .rva    .LSEH_begin_aesni_multi_cbc_encrypt_avx
1391         .rva    .LSEH_end_aesni_multi_cbc_encrypt_avx
1392         .rva    .LSEH_info_aesni_multi_cbc_encrypt_avx
1393         .rva    .LSEH_begin_aesni_multi_cbc_decrypt_avx
1394         .rva    .LSEH_end_aesni_multi_cbc_decrypt_avx
1395         .rva    .LSEH_info_aesni_multi_cbc_decrypt_avx
1396 ___
1397 $code.=<<___;
1398 .section        .xdata
1399 .align  8
1400 .LSEH_info_aesni_multi_cbc_encrypt:
1401         .byte   9,0,0,0
1402         .rva    se_handler
1403         .rva    .Lenc4x_body,.Lenc4x_epilogue           # HandlerData[]
1404 .LSEH_info_aesni_multi_cbc_decrypt:
1405         .byte   9,0,0,0
1406         .rva    se_handler
1407         .rva    .Ldec4x_body,.Ldec4x_epilogue           # HandlerData[]
1408 ___
1409 $code.=<<___ if ($avx);
1410 .LSEH_info_aesni_multi_cbc_encrypt_avx:
1411         .byte   9,0,0,0
1412         .rva    se_handler
1413         .rva    .Lenc8x_body,.Lenc8x_epilogue           # HandlerData[]
1414 .LSEH_info_aesni_multi_cbc_decrypt_avx:
1415         .byte   9,0,0,0
1416         .rva    se_handler
1417         .rva    .Ldec8x_body,.Ldec8x_epilogue           # HandlerData[]
1418 ___
1419 }
1420 ####################################################################
1421
1422 sub rex {
1423   local *opcode=shift;
1424   my ($dst,$src)=@_;
1425   my $rex=0;
1426
1427     $rex|=0x04                  if($dst>=8);
1428     $rex|=0x01                  if($src>=8);
1429     push @opcode,$rex|0x40      if($rex);
1430 }
1431
1432 sub aesni {
1433   my $line=shift;
1434   my @opcode=(0x66);
1435
1436     if ($line=~/(aeskeygenassist)\s+\$([x0-9a-f]+),\s*%xmm([0-9]+),\s*%xmm([0-9]+)/) {
1437         rex(\@opcode,$4,$3);
1438         push @opcode,0x0f,0x3a,0xdf;
1439         push @opcode,0xc0|($3&7)|(($4&7)<<3);   # ModR/M
1440         my $c=$2;
1441         push @opcode,$c=~/^0/?oct($c):$c;
1442         return ".byte\t".join(',',@opcode);
1443     }
1444     elsif ($line=~/(aes[a-z]+)\s+%xmm([0-9]+),\s*%xmm([0-9]+)/) {
1445         my %opcodelet = (
1446                 "aesimc" => 0xdb,
1447                 "aesenc" => 0xdc,       "aesenclast" => 0xdd,
1448                 "aesdec" => 0xde,       "aesdeclast" => 0xdf
1449         );
1450         return undef if (!defined($opcodelet{$1}));
1451         rex(\@opcode,$3,$2);
1452         push @opcode,0x0f,0x38,$opcodelet{$1};
1453         push @opcode,0xc0|($2&7)|(($3&7)<<3);   # ModR/M
1454         return ".byte\t".join(',',@opcode);
1455     }
1456     elsif ($line=~/(aes[a-z]+)\s+([0x1-9a-fA-F]*)\(%rsp\),\s*%xmm([0-9]+)/) {
1457         my %opcodelet = (
1458                 "aesenc" => 0xdc,       "aesenclast" => 0xdd,
1459                 "aesdec" => 0xde,       "aesdeclast" => 0xdf
1460         );
1461         return undef if (!defined($opcodelet{$1}));
1462         my $off = $2;
1463         push @opcode,0x44 if ($3>=8);
1464         push @opcode,0x0f,0x38,$opcodelet{$1};
1465         push @opcode,0x44|(($3&7)<<3),0x24;     # ModR/M
1466         push @opcode,($off=~/^0/?oct($off):$off)&0xff;
1467         return ".byte\t".join(',',@opcode);
1468     }
1469     return $line;
1470 }
1471
1472 $code =~ s/\`([^\`]*)\`/eval($1)/gem;
1473 $code =~ s/\b(aes.*%xmm[0-9]+).*$/aesni($1)/gem;
1474
1475 print $code;
1476 close STDOUT;