crypto/bn/asm/mips.pl

   1 #!/usr/bin/env perl
   2 #
   3 # ====================================================================
   4 # Written by Andy Polyakov <appro@fy.chalmers.se> for the OpenSSL
   5 # project.
   6 #
   7 # Rights for redistribution and usage in source and binary forms are
   8 # granted according to the OpenSSL license. Warranty of any kind is
   9 # disclaimed.
  10 # ====================================================================
  11
  12
  13 # July 1999
  14 #
  15 # This is drop-in MIPS III/IV ISA replacement for crypto/bn/bn_asm.c.
  16 #
  17 # The module is designed to work with either of the "new" MIPS ABI(5),
  18 # namely N32 or N64, offered by IRIX 6.x. It's not ment to work under
  19 # IRIX 5.x not only because it doesn't support new ABIs but also
  20 # because 5.x kernels put R4x00 CPU into 32-bit mode and all those
  21 # 64-bit instructions (daddu, dmultu, etc.) found below gonna only
  22 # cause illegal instruction exception:-(
  23 #
  24 # In addition the code depends on preprocessor flags set up by MIPSpro
  25 # compiler driver (either as or cc) and therefore (probably?) can't be
  26 # compiled by the GNU assembler. GNU C driver manages fine though...
  27 # I mean as long as -mmips-as is specified or is the default option,
  28 # because then it simply invokes /usr/bin/as which in turn takes
  29 # perfect care of the preprocessor definitions. Another neat feature
  30 # offered by the MIPSpro assembler is an optimization pass. This gave
  31 # me the opportunity to have the code looking more regular as all those
  32 # architecture dependent instruction rescheduling details were left to
  33 # the assembler. Cool, huh?
  34 #
  35 # Performance improvement is astonishing! 'apps/openssl speed rsa dsa'
  36 # goes way over 3 times faster!
  37 #
  38 #                                       <appro@fy.chalmers.se>
  39
  40 # October 2010
  41 #
  42 # Adapt the module even for 32-bit ABIs and other OSes. The former was
  43 # achieved by mechanical replacement of 64-bit arithmetic instructions
  44 # such as dmultu, daddu, etc. with their 32-bit counterparts and
  45 # adjusting offsets denoting multiples of BN_ULONG. Above mentioned
  46 # >3x performance improvement naturally does not apply to 32-bit code
  47 # [because there is no instruction 32-bit compiler can't use], one
  48 # has to content with 40-85% improvement depending on benchmark and
  49 # key length, more for longer keys.
  50
  51 $flavour = shift || "o32";
  52 while (($output=shift) && ($output!~/^\w[\w\-]*\.\w+$/)) {}
  53 open STDOUT,">$output";
  54
  55 if ($flavour =~ /64|n32/i) {
  56         $LD="ld";
  57         $ST="sd";
  58         $MULTU="dmultu";
  59         $DIVU="ddivu";
  60         $ADDU="daddu";
  61         $SUBU="dsubu";
  62         $SRL="dsrl";
  63         $SLL="dsll";
  64         $BNSZ=8;
  65         $PTR_ADD="daddu";
  66         $PTR_SUB="dsubu";
  67         $SZREG=8;
  68         $REG_S="sd";
  69         $REG_L="ld";
  70 } else {
  71         $LD="lw";
  72         $ST="sw";
  73         $MULTU="multu";
  74         $DIVU="divu";
  75         $ADDU="addu";
  76         $SUBU="subu";
  77         $SRL="srl";
  78         $SLL="sll";
  79         $BNSZ=4;
  80         $PTR_ADD="addu";
  81         $PTR_SUB="subu";
  82         $SZREG=4;
  83         $REG_S="sw";
  84         $REG_L="lw";
  85         $code=".set     mips2\n";
  86 }
  87
  88 # Below is N32/64 register layout used in the original module.
  89 #
  90 ($zero,$at,$v0,$v1)=map("\$$_",(0..3));
  91 ($a0,$a1,$a2,$a3,$a4,$a5,$a6,$a7)=map("\$$_",(4..11));
  92 ($t0,$t1,$t2,$t3,$t8,$t9)=map("\$$_",(12..15,24,25));
  93 ($s0,$s1,$s2,$s3,$s4,$s5,$s6,$s7)=map("\$$_",(16..23));
  94 ($gp,$sp,$fp,$ra)=map("\$$_",(28..31));
  95 ($ta0,$ta1,$ta2,$ta3)=($a4,$a5,$a6,$a7);
  96 #
  97 # No special adaptation is required for O32. NUBI on the other hand
  98 # is treated by saving/restoring ($v1,$t0..$t3).
  99
 100 $gp=$v1 if ($flavour =~ /nubi/i);
 101
 102 $minus4=$v1;
 103
 104 $code.=<<___;
 105 .rdata
 106 .asciiz "mips3.s, Version 1.2"
 107 .asciiz "MIPS II/III/IV ISA artwork by Andy Polyakov <appro\@fy.chalmers.se>"
 108
 109 .text
 110 .set    noat
 111
 112 .align  5
 113 .globl  bn_mul_add_words
 114 .ent    bn_mul_add_words
 115 bn_mul_add_words:
 116         .set    noreorder
 117         bgtz    $a2,bn_mul_add_words_internal
 118         move    $v0,$zero
 119         jr      $ra
 120         move    $a0,$v0
 121 .end    bn_mul_add_words
 122
 123 .align  5
 124 .ent    bn_mul_add_words_internal
 125 bn_mul_add_words_internal:
 126 ___
 127 $code.=<<___ if ($flavour =~ /nubi/i);
 128         .frame  $sp,6*$SZREG,$ra
 129         .mask   0x8000f008,-$SZREG
 130         .set    noreorder
 131         $PTR_SUB $sp,6*$SZREG
 132         $REG_S  $ra,5*$SZREG($sp)
 133         $REG_S  $t3,4*$SZREG($sp)
 134         $REG_S  $t2,3*$SZREG($sp)
 135         $REG_S  $t1,2*$SZREG($sp)
 136         $REG_S  $t0,1*$SZREG($sp)
 137         $REG_S  $gp,0*$SZREG($sp)
 138 ___
 139 $code.=<<___;
 140         .set    reorder
 141         li      $minus4,-4
 142         and     $ta0,$a2,$minus4
 143         $LD     $t0,0($a1)
 144         beqz    $ta0,.L_bn_mul_add_words_tail
 145
 146 .L_bn_mul_add_words_loop:
 147         $MULTU  $t0,$a3
 148         $LD     $t1,0($a0)
 149         $LD     $t2,$BNSZ($a1)
 150         $LD     $t3,$BNSZ($a0)
 151         $LD     $ta0,2*$BNSZ($a1)
 152         $LD     $ta1,2*$BNSZ($a0)
 153         $ADDU   $t1,$v0
 154         sltu    $v0,$t1,$v0     # All manuals say it "compares 32-bit
 155                                 # values", but it seems to work fine
 156                                 # even on 64-bit registers.
 157         mflo    $at
 158         mfhi    $t0
 159         $ADDU   $t1,$at
 160         $ADDU   $v0,$t0
 161          $MULTU $t2,$a3
 162         sltu    $at,$t1,$at
 163         $ST     $t1,0($a0)
 164         $ADDU   $v0,$at
 165
 166         $LD     $ta2,3*$BNSZ($a1)
 167         $LD     $ta3,3*$BNSZ($a0)
 168         $ADDU   $t3,$v0
 169         sltu    $v0,$t3,$v0
 170         mflo    $at
 171         mfhi    $t2
 172         $ADDU   $t3,$at
 173         $ADDU   $v0,$t2
 174          $MULTU $ta0,$a3
 175         sltu    $at,$t3,$at
 176         $ST     $t3,$BNSZ($a0)
 177         $ADDU   $v0,$at
 178
 179         subu    $a2,4
 180         $PTR_ADD $a0,4*$BNSZ
 181         $PTR_ADD $a1,4*$BNSZ
 182         $ADDU   $ta1,$v0
 183         sltu    $v0,$ta1,$v0
 184         mflo    $at
 185         mfhi    $ta0
 186         $ADDU   $ta1,$at
 187         $ADDU   $v0,$ta0
 188          $MULTU $ta2,$a3
 189         sltu    $at,$ta1,$at
 190         $ST     $ta1,-2*$BNSZ($a0)
 191         $ADDU   $v0,$at
 192
 193
 194         and     $ta0,$a2,$minus4
 195         $ADDU   $ta3,$v0
 196         sltu    $v0,$ta3,$v0
 197         mflo    $at
 198         mfhi    $ta2
 199         $ADDU   $ta3,$at
 200         $ADDU   $v0,$ta2
 201         sltu    $at,$ta3,$at
 202         $ST     $ta3,-$BNSZ($a0)
 203         $ADDU   $v0,$at
 204         .set    noreorder
 205         bgtzl   $ta0,.L_bn_mul_add_words_loop
 206         $LD     $t0,0($a1)
 207
 208         beqz    $a2,.L_bn_mul_add_words_return
 209         nop
 210
 211 .L_bn_mul_add_words_tail:
 212         .set    reorder
 213         $LD     $t0,0($a1)
 214         $MULTU  $t0,$a3
 215         $LD     $t1,0($a0)
 216         subu    $a2,1
 217         $ADDU   $t1,$v0
 218         sltu    $v0,$t1,$v0
 219         mflo    $at
 220         mfhi    $t0
 221         $ADDU   $t1,$at
 222         $ADDU   $v0,$t0
 223         sltu    $at,$t1,$at
 224         $ST     $t1,0($a0)
 225         $ADDU   $v0,$at
 226         beqz    $a2,.L_bn_mul_add_words_return
 227
 228         $LD     $t0,$BNSZ($a1)
 229         $MULTU  $t0,$a3
 230         $LD     $t1,$BNSZ($a0)
 231         subu    $a2,1
 232         $ADDU   $t1,$v0
 233         sltu    $v0,$t1,$v0
 234         mflo    $at
 235         mfhi    $t0
 236         $ADDU   $t1,$at
 237         $ADDU   $v0,$t0
 238         sltu    $at,$t1,$at
 239         $ST     $t1,$BNSZ($a0)
 240         $ADDU   $v0,$at
 241         beqz    $a2,.L_bn_mul_add_words_return
 242
 243         $LD     $t0,2*$BNSZ($a1)
 244         $MULTU  $t0,$a3
 245         $LD     $t1,2*$BNSZ($a0)
 246         $ADDU   $t1,$v0
 247         sltu    $v0,$t1,$v0
 248         mflo    $at
 249         mfhi    $t0
 250         $ADDU   $t1,$at
 251         $ADDU   $v0,$t0
 252         sltu    $at,$t1,$at
 253         $ST     $t1,2*$BNSZ($a0)
 254         $ADDU   $v0,$at
 255
 256 .L_bn_mul_add_words_return:
 257         .set    noreorder
 258 ___
 259 $code.=<<___ if ($flavour =~ /nubi/i);
 260         $REG_L  $t3,4*$SZREG($sp)
 261         $REG_L  $t2,3*$SZREG($sp)
 262         $REG_L  $t1,2*$SZREG($sp)
 263         $REG_L  $t0,1*$SZREG($sp)
 264         $REG_L  $gp,0*$SZREG($sp)
 265         $PTR_ADD $sp,6*$SZREG
 266 ___
 267 $code.=<<___;
 268         jr      $ra
 269         move    $a0,$v0
 270 .end    bn_mul_add_words_internal
 271
 272 .align  5
 273 .globl  bn_mul_words
 274 .ent    bn_mul_words
 275 bn_mul_words:
 276         .set    noreorder
 277         bgtz    $a2,bn_mul_words_internal
 278         move    $v0,$zero
 279         jr      $ra
 280         move    $a0,$v0
 281 .end    bn_mul_words
 282
 283 .align  5
 284 .ent    bn_mul_words_internal
 285 bn_mul_words_internal:
 286 ___
 287 $code.=<<___ if ($flavour =~ /nubi/i);
 288         .frame  $sp,6*$SZREG,$ra
 289         .mask   0x8000f008,-$SZREG
 290         .set    noreorder
 291         $PTR_SUB $sp,6*$SZREG
 292         $REG_S  $ra,5*$SZREG($sp)
 293         $REG_S  $t3,4*$SZREG($sp)
 294         $REG_S  $t2,3*$SZREG($sp)
 295         $REG_S  $t1,2*$SZREG($sp)
 296         $REG_S  $t0,1*$SZREG($sp)
 297         $REG_S  $gp,0*$SZREG($sp)
 298 ___
 299 $code.=<<___;
 300         .set    reorder
 301         li      $minus4,-4
 302         and     $ta0,$a2,$minus4
 303         $LD     $t0,0($a1)
 304         beqz    $ta0,.L_bn_mul_words_tail
 305
 306 .L_bn_mul_words_loop:
 307         $MULTU  $t0,$a3
 308         $LD     $t2,$BNSZ($a1)
 309         $LD     $ta0,2*$BNSZ($a1)
 310         $LD     $ta2,3*$BNSZ($a1)
 311         mflo    $at
 312         mfhi    $t0
 313         $ADDU   $v0,$at
 314         sltu    $t1,$v0,$at
 315          $MULTU $t2,$a3
 316         $ST     $v0,0($a0)
 317         $ADDU   $v0,$t1,$t0
 318
 319         subu    $a2,4
 320         $PTR_ADD $a0,4*$BNSZ
 321         $PTR_ADD $a1,4*$BNSZ
 322         mflo    $at
 323         mfhi    $t2
 324         $ADDU   $v0,$at
 325         sltu    $t3,$v0,$at
 326          $MULTU $ta0,$a3
 327         $ST     $v0,-3*$BNSZ($a0)
 328         $ADDU   $v0,$t3,$t2
 329
 330         mflo    $at
 331         mfhi    $ta0
 332         $ADDU   $v0,$at
 333         sltu    $ta1,$v0,$at
 334          $MULTU $ta2,$a3
 335         $ST     $v0,-2*$BNSZ($a0)
 336         $ADDU   $v0,$ta1,$ta0
 337
 338         and     $ta0,$a2,$minus4
 339         mflo    $at
 340         mfhi    $ta2
 341         $ADDU   $v0,$at
 342         sltu    $ta3,$v0,$at
 343         $ST     $v0,-$BNSZ($a0)
 344         $ADDU   $v0,$ta3,$ta2
 345         .set    noreorder
 346         bgtzl   $ta0,.L_bn_mul_words_loop
 347         $LD     $t0,0($a1)
 348
 349         beqz    $a2,.L_bn_mul_words_return
 350         nop
 351
 352 .L_bn_mul_words_tail:
 353         .set    reorder
 354         $LD     $t0,0($a1)
 355         $MULTU  $t0,$a3
 356         subu    $a2,1
 357         mflo    $at
 358         mfhi    $t0
 359         $ADDU   $v0,$at
 360         sltu    $t1,$v0,$at
 361         $ST     $v0,0($a0)
 362         $ADDU   $v0,$t1,$t0
 363         beqz    $a2,.L_bn_mul_words_return
 364
 365         $LD     $t0,$BNSZ($a1)
 366         $MULTU  $t0,$a3
 367         subu    $a2,1
 368         mflo    $at
 369         mfhi    $t0
 370         $ADDU   $v0,$at
 371         sltu    $t1,$v0,$at
 372         $ST     $v0,$BNSZ($a0)
 373         $ADDU   $v0,$t1,$t0
 374         beqz    $a2,.L_bn_mul_words_return
 375
 376         $LD     $t0,2*$BNSZ($a1)
 377         $MULTU  $t0,$a3
 378         mflo    $at
 379         mfhi    $t0
 380         $ADDU   $v0,$at
 381         sltu    $t1,$v0,$at
 382         $ST     $v0,2*$BNSZ($a0)
 383         $ADDU   $v0,$t1,$t0
 384
 385 .L_bn_mul_words_return:
 386         .set    noreorder
 387 ___
 388 $code.=<<___ if ($flavour =~ /nubi/i);
 389         $REG_L  $t3,4*$SZREG($sp)
 390         $REG_L  $t2,3*$SZREG($sp)
 391         $REG_L  $t1,2*$SZREG($sp)
 392         $REG_L  $t0,1*$SZREG($sp)
 393         $REG_L  $gp,0*$SZREG($sp)
 394         $PTR_ADD $sp,6*$SZREG
 395 ___
 396 $code.=<<___;
 397         jr      $ra
 398         move    $a0,$v0
 399 .end    bn_mul_words_internal
 400
 401 .align  5
 402 .globl  bn_sqr_words
 403 .ent    bn_sqr_words
 404 bn_sqr_words:
 405         .set    noreorder
 406         bgtz    $a2,bn_sqr_words_internal
 407         move    $v0,$zero
 408         jr      $ra
 409         move    $a0,$v0
 410 .end    bn_sqr_words
 411
 412 .align  5
 413 .ent    bn_sqr_words_internal
 414 bn_sqr_words_internal:
 415 ___
 416 $code.=<<___ if ($flavour =~ /nubi/i);
 417         .frame  $sp,6*$SZREG,$ra
 418         .mask   0x8000f008,-$SZREG
 419         .set    noreorder
 420         $PTR_SUB $sp,6*$SZREG
 421         $REG_S  $ra,5*$SZREG($sp)
 422         $REG_S  $t3,4*$SZREG($sp)
 423         $REG_S  $t2,3*$SZREG($sp)
 424         $REG_S  $t1,2*$SZREG($sp)
 425         $REG_S  $t0,1*$SZREG($sp)
 426         $REG_S  $gp,0*$SZREG($sp)
 427 ___
 428 $code.=<<___;
 429         .set    reorder
 430         li      $minus4,-4
 431         and     $ta0,$a2,$minus4
 432         $LD     $t0,0($a1)
 433         beqz    $ta0,.L_bn_sqr_words_tail
 434
 435 .L_bn_sqr_words_loop:
 436         $MULTU  $t0,$t0
 437         $LD     $t2,$BNSZ($a1)
 438         $LD     $ta0,2*$BNSZ($a1)
 439         $LD     $ta2,3*$BNSZ($a1)
 440         mflo    $t1
 441         mfhi    $t0
 442         $ST     $t1,0($a0)
 443         $ST     $t0,$BNSZ($a0)
 444
 445         $MULTU  $t2,$t2
 446         subu    $a2,4
 447         $PTR_ADD $a0,8*$BNSZ
 448         $PTR_ADD $a1,4*$BNSZ
 449         mflo    $t3
 450         mfhi    $t2
 451         $ST     $t3,-6*$BNSZ($a0)
 452         $ST     $t2,-5*$BNSZ($a0)
 453
 454         $MULTU  $ta0,$ta0
 455         mflo    $ta1
 456         mfhi    $ta0
 457         $ST     $ta1,-4*$BNSZ($a0)
 458         $ST     $ta0,-3*$BNSZ($a0)
 459
 460
 461         $MULTU  $ta2,$ta2
 462         and     $ta0,$a2,$minus4
 463         mflo    $ta3
 464         mfhi    $ta2
 465         $ST     $ta3,-2*$BNSZ($a0)
 466         $ST     $ta2,-$BNSZ($a0)
 467
 468         .set    noreorder
 469         bgtzl   $ta0,.L_bn_sqr_words_loop
 470         $LD     $t0,0($a1)
 471
 472         beqz    $a2,.L_bn_sqr_words_return
 473         nop
 474
 475 .L_bn_sqr_words_tail:
 476         .set    reorder
 477         $LD     $t0,0($a1)
 478         $MULTU  $t0,$t0
 479         subu    $a2,1
 480         mflo    $t1
 481         mfhi    $t0
 482         $ST     $t1,0($a0)
 483         $ST     $t0,$BNSZ($a0)
 484         beqz    $a2,.L_bn_sqr_words_return
 485
 486         $LD     $t0,$BNSZ($a1)
 487         $MULTU  $t0,$t0
 488         subu    $a2,1
 489         mflo    $t1
 490         mfhi    $t0
 491         $ST     $t1,2*$BNSZ($a0)
 492         $ST     $t0,3*$BNSZ($a0)
 493         beqz    $a2,.L_bn_sqr_words_return
 494
 495         $LD     $t0,2*$BNSZ($a1)
 496         $MULTU  $t0,$t0
 497         mflo    $t1
 498         mfhi    $t0
 499         $ST     $t1,4*$BNSZ($a0)
 500         $ST     $t0,5*$BNSZ($a0)
 501
 502 .L_bn_sqr_words_return:
 503         .set    noreorder
 504 ___
 505 $code.=<<___ if ($flavour =~ /nubi/i);
 506         $REG_L  $t3,4*$SZREG($sp)
 507         $REG_L  $t2,3*$SZREG($sp)
 508         $REG_L  $t1,2*$SZREG($sp)
 509         $REG_L  $t0,1*$SZREG($sp)
 510         $REG_L  $gp,0*$SZREG($sp)
 511         $PTR_ADD $sp,6*$SZREG
 512 ___
 513 $code.=<<___;
 514         jr      $ra
 515         move    $a0,$v0
 516
 517 .end    bn_sqr_words_internal
 518
 519 .align  5
 520 .globl  bn_add_words
 521 .ent    bn_add_words
 522 bn_add_words:
 523         .set    noreorder
 524         bgtz    $a3,bn_add_words_internal
 525         move    $v0,$zero
 526         jr      $ra
 527         move    $a0,$v0
 528 .end    bn_add_words
 529
 530 .align  5
 531 .ent    bn_add_words_internal
 532 bn_add_words_internal:
 533 ___
 534 $code.=<<___ if ($flavour =~ /nubi/i);
 535         .frame  $sp,6*$SZREG,$ra
 536         .mask   0x8000f008,-$SZREG
 537         .set    noreorder
 538         $PTR_SUB $sp,6*$SZREG
 539         $REG_S  $ra,5*$SZREG($sp)
 540         $REG_S  $t3,4*$SZREG($sp)
 541         $REG_S  $t2,3*$SZREG($sp)
 542         $REG_S  $t1,2*$SZREG($sp)
 543         $REG_S  $t0,1*$SZREG($sp)
 544         $REG_S  $gp,0*$SZREG($sp)
 545 ___
 546 $code.=<<___;
 547         .set    reorder
 548         li      $minus4,-4
 549         and     $at,$a3,$minus4
 550         $LD     $t0,0($a1)
 551         beqz    $at,.L_bn_add_words_tail
 552
 553 .L_bn_add_words_loop:
 554         $LD     $ta0,0($a2)
 555         subu    $a3,4
 556         $LD     $t1,$BNSZ($a1)
 557         and     $at,$a3,$minus4
 558         $LD     $t2,2*$BNSZ($a1)
 559         $PTR_ADD $a2,4*$BNSZ
 560         $LD     $t3,3*$BNSZ($a1)
 561         $PTR_ADD $a0,4*$BNSZ
 562         $LD     $ta1,-3*$BNSZ($a2)
 563         $PTR_ADD $a1,4*$BNSZ
 564         $LD     $ta2,-2*$BNSZ($a2)
 565         $LD     $ta3,-$BNSZ($a2)
 566         $ADDU   $ta0,$t0
 567         sltu    $t8,$ta0,$t0
 568         $ADDU   $t0,$ta0,$v0
 569         sltu    $v0,$t0,$ta0
 570         $ST     $t0,-4*$BNSZ($a0)
 571         $ADDU   $v0,$t8
 572
 573         $ADDU   $ta1,$t1
 574         sltu    $t9,$ta1,$t1
 575         $ADDU   $t1,$ta1,$v0
 576         sltu    $v0,$t1,$ta1
 577         $ST     $t1,-3*$BNSZ($a0)
 578         $ADDU   $v0,$t9
 579
 580         $ADDU   $ta2,$t2
 581         sltu    $t8,$ta2,$t2
 582         $ADDU   $t2,$ta2,$v0
 583         sltu    $v0,$t2,$ta2
 584         $ST     $t2,-2*$BNSZ($a0)
 585         $ADDU   $v0,$t8
 586
 587         $ADDU   $ta3,$t3
 588         sltu    $t9,$ta3,$t3
 589         $ADDU   $t3,$ta3,$v0
 590         sltu    $v0,$t3,$ta3
 591         $ST     $t3,-$BNSZ($a0)
 592         $ADDU   $v0,$t9
 593
 594         .set    noreorder
 595         bgtzl   $at,.L_bn_add_words_loop
 596         $LD     $t0,0($a1)
 597
 598         beqz    $a3,.L_bn_add_words_return
 599         nop
 600
 601 .L_bn_add_words_tail:
 602         .set    reorder
 603         $LD     $t0,0($a1)
 604         $LD     $ta0,0($a2)
 605         $ADDU   $ta0,$t0
 606         subu    $a3,1
 607         sltu    $t8,$ta0,$t0
 608         $ADDU   $t0,$ta0,$v0
 609         sltu    $v0,$t0,$ta0
 610         $ST     $t0,0($a0)
 611         $ADDU   $v0,$t8
 612         beqz    $a3,.L_bn_add_words_return
 613
 614         $LD     $t1,$BNSZ($a1)
 615         $LD     $ta1,$BNSZ($a2)
 616         $ADDU   $ta1,$t1
 617         subu    $a3,1
 618         sltu    $t9,$ta1,$t1
 619         $ADDU   $t1,$ta1,$v0
 620         sltu    $v0,$t1,$ta1
 621         $ST     $t1,$BNSZ($a0)
 622         $ADDU   $v0,$t9
 623         beqz    $a3,.L_bn_add_words_return
 624
 625         $LD     $t2,2*$BNSZ($a1)
 626         $LD     $ta2,2*$BNSZ($a2)
 627         $ADDU   $ta2,$t2
 628         sltu    $t8,$ta2,$t2
 629         $ADDU   $t2,$ta2,$v0
 630         sltu    $v0,$t2,$ta2
 631         $ST     $t2,2*$BNSZ($a0)
 632         $ADDU   $v0,$t8
 633
 634 .L_bn_add_words_return:
 635         .set    noreorder
 636 ___
 637 $code.=<<___ if ($flavour =~ /nubi/i);
 638         $REG_L  $t3,4*$SZREG($sp)
 639         $REG_L  $t2,3*$SZREG($sp)
 640         $REG_L  $t1,2*$SZREG($sp)
 641         $REG_L  $t0,1*$SZREG($sp)
 642         $REG_L  $gp,0*$SZREG($sp)
 643         $PTR_ADD $sp,6*$SZREG
 644 ___
 645 $code.=<<___;
 646         jr      $ra
 647         move    $a0,$v0
 648
 649 .end    bn_add_words_internal
 650
 651 .align  5
 652 .globl  bn_sub_words
 653 .ent    bn_sub_words
 654 bn_sub_words:
 655         .set    noreorder
 656         bgtz    $a3,bn_sub_words_internal
 657         move    $v0,$zero
 658         jr      $ra
 659         move    $a0,$zero
 660 .end    bn_sub_words
 661
 662 .align  5
 663 .ent    bn_sub_words_internal
 664 bn_sub_words_internal:
 665 ___
 666 $code.=<<___ if ($flavour =~ /nubi/i);
 667         .frame  $sp,6*$SZREG,$ra
 668         .mask   0x8000f008,-$SZREG
 669         .set    noreorder
 670         $PTR_SUB $sp,6*$SZREG
 671         $REG_S  $ra,5*$SZREG($sp)
 672         $REG_S  $t3,4*$SZREG($sp)
 673         $REG_S  $t2,3*$SZREG($sp)
 674         $REG_S  $t1,2*$SZREG($sp)
 675         $REG_S  $t0,1*$SZREG($sp)
 676         $REG_S  $gp,0*$SZREG($sp)
 677 ___
 678 $code.=<<___;
 679         .set    reorder
 680         li      $minus4,-4
 681         and     $at,$a3,$minus4
 682         $LD     $t0,0($a1)
 683         beqz    $at,.L_bn_sub_words_tail
 684
 685 .L_bn_sub_words_loop:
 686         $LD     $ta0,0($a2)
 687         subu    $a3,4
 688         $LD     $t1,$BNSZ($a1)
 689         and     $at,$a3,$minus4
 690         $LD     $t2,2*$BNSZ($a1)
 691         $PTR_ADD $a2,4*$BNSZ
 692         $LD     $t3,3*$BNSZ($a1)
 693         $PTR_ADD $a0,4*$BNSZ
 694         $LD     $ta1,-3*$BNSZ($a2)
 695         $PTR_ADD $a1,4*$BNSZ
 696         $LD     $ta2,-2*$BNSZ($a2)
 697         $LD     $ta3,-$BNSZ($a2)
 698         sltu    $t8,$t0,$ta0
 699         $SUBU   $ta0,$t0,$ta0
 700         $SUBU   $t0,$ta0,$v0
 701         sgtu    $v0,$t0,$ta0
 702         $ST     $t0,-4*$BNSZ($a0)
 703         $ADDU   $v0,$t8
 704
 705         sltu    $t9,$t1,$ta1
 706         $SUBU   $ta1,$t1,$ta1
 707         $SUBU   $t1,$ta1,$v0
 708         sgtu    $v0,$t1,$ta1
 709         $ST     $t1,-3*$BNSZ($a0)
 710         $ADDU   $v0,$t9
 711
 712
 713         sltu    $t8,$t2,$ta2
 714         $SUBU   $ta2,$t2,$ta2
 715         $SUBU   $t2,$ta2,$v0
 716         sgtu    $v0,$t2,$ta2
 717         $ST     $t2,-2*$BNSZ($a0)
 718         $ADDU   $v0,$t8
 719
 720         sltu    $t9,$t3,$ta3
 721         $SUBU   $ta3,$t3,$ta3
 722         $SUBU   $t3,$ta3,$v0
 723         sgtu    $v0,$t3,$ta3
 724         $ST     $t3,-$BNSZ($a0)
 725         $ADDU   $v0,$t9
 726
 727         .set    noreorder
 728         bgtzl   $at,.L_bn_sub_words_loop
 729         $LD     $t0,0($a1)
 730
 731         beqz    $a3,.L_bn_sub_words_return
 732         nop
 733
 734 .L_bn_sub_words_tail:
 735         .set    reorder
 736         $LD     $t0,0($a1)
 737         $LD     $ta0,0($a2)
 738         subu    $a3,1
 739         sltu    $t8,$t0,$ta0
 740         $SUBU   $ta0,$t0,$ta0
 741         $SUBU   $t0,$ta0,$v0
 742         sgtu    $v0,$t0,$ta0
 743         $ST     $t0,0($a0)
 744         $ADDU   $v0,$t8
 745         beqz    $a3,.L_bn_sub_words_return
 746
 747         $LD     $t1,$BNSZ($a1)
 748         subu    $a3,1
 749         $LD     $ta1,$BNSZ($a2)
 750         sltu    $t9,$t1,$ta1
 751         $SUBU   $ta1,$t1,$ta1
 752         $SUBU   $t1,$ta1,$v0
 753         sgtu    $v0,$t1,$ta1
 754         $ST     $t1,$BNSZ($a0)
 755         $ADDU   $v0,$t9
 756         beqz    $a3,.L_bn_sub_words_return
 757
 758         $LD     $t2,2*$BNSZ($a1)
 759         $LD     $ta2,2*$BNSZ($a2)
 760         sltu    $t8,$t2,$ta2
 761         $SUBU   $ta2,$t2,$ta2
 762         $SUBU   $t2,$ta2,$v0
 763         sgtu    $v0,$t2,$ta2
 764         $ST     $t2,2*$BNSZ($a0)
 765         $ADDU   $v0,$t8
 766
 767 .L_bn_sub_words_return:
 768         .set    noreorder
 769 ___
 770 $code.=<<___ if ($flavour =~ /nubi/i);
 771         $REG_L  $t3,4*$SZREG($sp)
 772         $REG_L  $t2,3*$SZREG($sp)
 773         $REG_L  $t1,2*$SZREG($sp)
 774         $REG_L  $t0,1*$SZREG($sp)
 775         $REG_L  $gp,0*$SZREG($sp)
 776         $PTR_ADD $sp,6*$SZREG
 777 ___
 778 $code.=<<___;
 779         jr      $ra
 780         move    $a0,$v0
 781 .end    bn_sub_words_internal
 782
 783 .align 5
 784 .globl  bn_div_3_words
 785 .ent    bn_div_3_words
 786 bn_div_3_words:
 787         .set    noreorder
 788         move    $a3,$a0         # we know that bn_div_words does not
 789                                 # touch $a3, $ta2, $ta3 and preserves $a2
 790                                 # so that we can save two arguments
 791                                 # and return address in registers
 792                                 # instead of stack:-)
 793
 794         $LD     $a0,($a3)
 795         move    $ta2,$a1
 796         bne     $a0,$a2,bn_div_3_words_internal
 797         $LD     $a1,-$BNSZ($a3)
 798         li      $v0,-1
 799         jr      $ra
 800         move    $a0,$v0
 801 .end    bn_div_3_words
 802
 803 .align  5
 804 .ent    bn_div_3_words_internal
 805 bn_div_3_words_internal:
 806 ___
 807 $code.=<<___ if ($flavour =~ /nubi/i);
 808         .frame  $sp,6*$SZREG,$ra
 809         .mask   0x8000f008,-$SZREG
 810         .set    noreorder
 811         $PTR_SUB $sp,6*$SZREG
 812         $REG_S  $ra,5*$SZREG($sp)
 813         $REG_S  $t3,4*$SZREG($sp)
 814         $REG_S  $t2,3*$SZREG($sp)
 815         $REG_S  $t1,2*$SZREG($sp)
 816         $REG_S  $t0,1*$SZREG($sp)
 817         $REG_S  $gp,0*$SZREG($sp)
 818 ___
 819 $code.=<<___;
 820         .set    reorder
 821         move    $ta3,$ra
 822         bal     bn_div_words_internal
 823         move    $ra,$ta3
 824         $MULTU  $ta2,$v0
 825         $LD     $t2,-2*$BNSZ($a3)
 826         move    $ta0,$zero
 827         mfhi    $t1
 828         mflo    $t0
 829         sltu    $t8,$t1,$a1
 830 .L_bn_div_3_words_inner_loop:
 831         bnez    $t8,.L_bn_div_3_words_inner_loop_done
 832         sgeu    $at,$t2,$t0
 833         seq     $t9,$t1,$a1
 834         and     $at,$t9
 835         sltu    $t3,$t0,$ta2
 836         $ADDU   $a1,$a2
 837         $SUBU   $t1,$t3
 838         $SUBU   $t0,$ta2
 839         sltu    $t8,$t1,$a1
 840         sltu    $ta0,$a1,$a2
 841         or      $t8,$ta0
 842         .set    noreorder
 843         beqzl   $at,.L_bn_div_3_words_inner_loop
 844         $SUBU   $v0,1
 845         .set    reorder
 846 .L_bn_div_3_words_inner_loop_done:
 847         .set    noreorder
 848 ___
 849 $code.=<<___ if ($flavour =~ /nubi/i);
 850         $REG_L  $t3,4*$SZREG($sp)
 851         $REG_L  $t2,3*$SZREG($sp)
 852         $REG_L  $t1,2*$SZREG($sp)
 853         $REG_L  $t0,1*$SZREG($sp)
 854         $REG_L  $gp,0*$SZREG($sp)
 855         $PTR_ADD $sp,6*$SZREG
 856 ___
 857 $code.=<<___;
 858         jr      $ra
 859         move    $a0,$v0
 860 .end    bn_div_3_words_internal
 861
 862 .align  5
 863 .globl  bn_div_words
 864 .ent    bn_div_words
 865 bn_div_words:
 866         .set    noreorder
 867         bnez    $a2,bn_div_words_internal
 868         li      $v0,-1          # I would rather signal div-by-zero
 869                                 # which can be done with 'break 7'
 870         jr      $ra
 871         move    $a0,$v0
 872 .end    bn_div_words
 873
 874 .align  5
 875 .ent    bn_div_words_internal
 876 bn_div_words_internal:
 877 ___
 878 $code.=<<___ if ($flavour =~ /nubi/i);
 879         .frame  $sp,6*$SZREG,$ra
 880         .mask   0x8000f008,-$SZREG
 881         .set    noreorder
 882         $PTR_SUB $sp,6*$SZREG
 883         $REG_S  $ra,5*$SZREG($sp)
 884         $REG_S  $t3,4*$SZREG($sp)
 885         $REG_S  $t2,3*$SZREG($sp)
 886         $REG_S  $t1,2*$SZREG($sp)
 887         $REG_S  $t0,1*$SZREG($sp)
 888         $REG_S  $gp,0*$SZREG($sp)
 889 ___
 890 $code.=<<___;
 891         move    $v1,$zero
 892         bltz    $a2,.L_bn_div_words_body
 893         move    $t9,$v1
 894         $SLL    $a2,1
 895         bgtz    $a2,.-4
 896         addu    $t9,1
 897
 898         .set    reorder
 899         negu    $t1,$t9
 900         li      $t2,-1
 901         $SLL    $t2,$t1
 902         and     $t2,$a0
 903         $SRL    $at,$a1,$t1
 904         .set    noreorder
 905         bnezl   $t2,.+8
 906         break   6               # signal overflow
 907         .set    reorder
 908         $SLL    $a0,$t9
 909         $SLL    $a1,$t9
 910         or      $a0,$at
 911 ___
 912 $QT=$ta0;
 913 $HH=$ta1;
 914 $DH=$v1;
 915 $code.=<<___;
 916 .L_bn_div_words_body:
 917         $SRL    $DH,$a2,4*$BNSZ # bits
 918         sgeu    $at,$a0,$a2
 919         .set    noreorder
 920         bnezl   $at,.+8
 921         $SUBU   $a0,$a2
 922         .set    reorder
 923
 924         li      $QT,-1
 925         $SRL    $HH,$a0,4*$BNSZ # bits
 926         $SRL    $QT,4*$BNSZ     # q=0xffffffff
 927         beq     $DH,$HH,.L_bn_div_words_skip_div1
 928         $DIVU   $zero,$a0,$DH
 929         mflo    $QT
 930 .L_bn_div_words_skip_div1:
 931         $MULTU  $a2,$QT
 932         $SLL    $t3,$a0,4*$BNSZ # bits
 933         $SRL    $at,$a1,4*$BNSZ # bits
 934         or      $t3,$at
 935         mflo    $t0
 936         mfhi    $t1
 937 .L_bn_div_words_inner_loop1:
 938         sltu    $t2,$t3,$t0
 939         seq     $t8,$HH,$t1
 940         sltu    $at,$HH,$t1
 941         and     $t2,$t8
 942         sltu    $v0,$t0,$a2
 943         or      $at,$t2
 944         .set    noreorder
 945         beqz    $at,.L_bn_div_words_inner_loop1_done
 946         $SUBU   $t1,$v0
 947         $SUBU   $t0,$a2
 948         b       .L_bn_div_words_inner_loop1
 949         $SUBU   $QT,1
 950         .set    reorder
 951 .L_bn_div_words_inner_loop1_done:
 952
 953         $SLL    $a1,4*$BNSZ     # bits
 954         $SUBU   $a0,$t3,$t0
 955         $SLL    $v0,$QT,4*$BNSZ # bits
 956
 957         li      $QT,-1
 958         $SRL    $HH,$a0,4*$BNSZ # bits
 959         $SRL    $QT,4*$BNSZ     # q=0xffffffff
 960         beq     $DH,$HH,.L_bn_div_words_skip_div2
 961         $DIVU   $zero,$a0,$DH
 962         mflo    $QT
 963 .L_bn_div_words_skip_div2:
 964         $MULTU  $a2,$QT
 965         $SLL    $t3,$a0,4*$BNSZ # bits
 966         $SRL    $at,$a1,4*$BNSZ # bits
 967         or      $t3,$at
 968         mflo    $t0
 969         mfhi    $t1
 970 .L_bn_div_words_inner_loop2:
 971         sltu    $t2,$t3,$t0
 972         seq     $t8,$HH,$t1
 973         sltu    $at,$HH,$t1
 974         and     $t2,$t8
 975         sltu    $v1,$t0,$a2
 976         or      $at,$t2
 977         .set    noreorder
 978         beqz    $at,.L_bn_div_words_inner_loop2_done
 979         $SUBU   $t1,$v1
 980         $SUBU   $t0,$a2
 981         b       .L_bn_div_words_inner_loop2
 982         $SUBU   $QT,1
 983         .set    reorder
 984 .L_bn_div_words_inner_loop2_done:
 985
 986         $SUBU   $a0,$t3,$t0
 987         or      $v0,$QT
 988         $SRL    $v1,$a0,$t9     # $v1 contains remainder if anybody wants it
 989         $SRL    $a2,$t9         # restore $a2
 990
 991         .set    noreorder
 992         move    $a1,$v1
 993 ___
 994 $code.=<<___ if ($flavour =~ /nubi/i);
 995         $REG_L  $t3,4*$SZREG($sp)
 996         $REG_L  $t2,3*$SZREG($sp)
 997         $REG_L  $t1,2*$SZREG($sp)
 998         $REG_L  $t0,1*$SZREG($sp)
 999         $REG_L  $gp,0*$SZREG($sp)
1000         $PTR_ADD $sp,6*$SZREG
1001 ___
1002 $code.=<<___;
1003         jr      $ra
1004         move    $a0,$v0
1005 .end    bn_div_words_internal
1006 ___
1007 undef $HH; undef $QT; undef $DH;
1008
1009 ($a_0,$a_1,$a_2,$a_3)=($t0,$t1,$t2,$t3);
1010 ($b_0,$b_1,$b_2,$b_3)=($ta0,$ta1,$ta2,$ta3);
1011
1012 ($a_4,$a_5,$a_6,$a_7)=($s0,$s2,$s4,$a1); # once we load a[7], no use for $a1
1013 ($b_4,$b_5,$b_6,$b_7)=($s1,$s3,$s5,$a2); # once we load b[7], no use for $a2
1014
1015 ($t_1,$t_2,$c_1,$c_2,$c_3)=($t8,$t9,$v0,$v1,$a3);
1016
1017 $code.=<<___;
1018
1019 .align  5
1020 .globl  bn_mul_comba8
1021 .ent    bn_mul_comba8
1022 bn_mul_comba8:
1023         .set    noreorder
1024 ___
1025 $code.=<<___ if ($flavour =~ /nubi/i);
1026         .frame  $sp,12*$SZREG,$ra
1027         .mask   0x803ff008,-$SZREG
1028         $PTR_SUB $sp,12*$SZREG
1029         $REG_S  $ra,11*$SZREG($sp)
1030         $REG_S  $s5,10*$SZREG($sp)
1031         $REG_S  $s4,9*$SZREG($sp)
1032         $REG_S  $s3,8*$SZREG($sp)
1033         $REG_S  $s2,7*$SZREG($sp)
1034         $REG_S  $s1,6*$SZREG($sp)
1035         $REG_S  $s0,5*$SZREG($sp)
1036         $REG_S  $t3,4*$SZREG($sp)
1037         $REG_S  $t2,3*$SZREG($sp)
1038         $REG_S  $t1,2*$SZREG($sp)
1039         $REG_S  $t0,1*$SZREG($sp)
1040         $REG_S  $gp,0*$SZREG($sp)
1041 ___
1042 $code.=<<___ if ($flavour !~ /nubi/i);
1043         .frame  $sp,6*$SZREG,$ra
1044         .mask   0x003f0000,-$SZREG
1045         $PTR_SUB $sp,6*$SZREG
1046         $REG_S  $s5,5*$SZREG($sp)
1047         $REG_S  $s4,4*$SZREG($sp)
1048         $REG_S  $s3,3*$SZREG($sp)
1049         $REG_S  $s2,2*$SZREG($sp)
1050         $REG_S  $s1,1*$SZREG($sp)
1051         $REG_S  $s0,0*$SZREG($sp)
1052 ___
1053 $code.=<<___;
1054
1055         .set    reorder
1056         $LD     $a_0,0($a1)     # If compiled with -mips3 option on
1057                                 # R5000 box assembler barks on this
1058                                 # 1ine with "should not have mult/div
1059                                 # as last instruction in bb (R10K
1060                                 # bug)" warning. If anybody out there
1061                                 # has a clue about how to circumvent
1062                                 # this do send me a note.
1063                                 #               <appro\@fy.chalmers.se>
1064
1065         $LD     $b_0,0($a2)
1066         $LD     $a_1,$BNSZ($a1)
1067         $LD     $a_2,2*$BNSZ($a1)
1068         $MULTU  $a_0,$b_0               # mul_add_c(a[0],b[0],c1,c2,c3);
1069         $LD     $a_3,3*$BNSZ($a1)
1070         $LD     $b_1,$BNSZ($a2)
1071         $LD     $b_2,2*$BNSZ($a2)
1072         $LD     $b_3,3*$BNSZ($a2)
1073         mflo    $c_1
1074         mfhi    $c_2
1075
1076         $LD     $a_4,4*$BNSZ($a1)
1077         $LD     $a_5,5*$BNSZ($a1)
1078         $MULTU  $a_0,$b_1               # mul_add_c(a[0],b[1],c2,c3,c1);
1079         $LD     $a_6,6*$BNSZ($a1)
1080         $LD     $a_7,7*$BNSZ($a1)
1081         $LD     $b_4,4*$BNSZ($a2)
1082         $LD     $b_5,5*$BNSZ($a2)
1083         mflo    $t_1
1084         mfhi    $t_2
1085         $ADDU   $c_2,$t_1
1086         sltu    $at,$c_2,$t_1
1087         $MULTU  $a_1,$b_0               # mul_add_c(a[1],b[0],c2,c3,c1);
1088         $ADDU   $c_3,$t_2,$at
1089         $LD     $b_6,6*$BNSZ($a2)
1090         $LD     $b_7,7*$BNSZ($a2)
1091         $ST     $c_1,0($a0)     # r[0]=c1;
1092         mflo    $t_1
1093         mfhi    $t_2
1094         $ADDU   $c_2,$t_1
1095         sltu    $at,$c_2,$t_1
1096          $MULTU $a_2,$b_0               # mul_add_c(a[2],b[0],c3,c1,c2);
1097         $ADDU   $t_2,$at
1098         $ADDU   $c_3,$t_2
1099         sltu    $c_1,$c_3,$t_2
1100         $ST     $c_2,$BNSZ($a0) # r[1]=c2;
1101
1102         mflo    $t_1
1103         mfhi    $t_2
1104         $ADDU   $c_3,$t_1
1105         sltu    $at,$c_3,$t_1
1106         $MULTU  $a_1,$b_1               # mul_add_c(a[1],b[1],c3,c1,c2);
1107         $ADDU   $t_2,$at
1108         $ADDU   $c_1,$t_2
1109         mflo    $t_1
1110         mfhi    $t_2
1111         $ADDU   $c_3,$t_1
1112         sltu    $at,$c_3,$t_1
1113         $MULTU  $a_0,$b_2               # mul_add_c(a[0],b[2],c3,c1,c2);
1114         $ADDU   $t_2,$at
1115         $ADDU   $c_1,$t_2
1116         sltu    $c_2,$c_1,$t_2
1117         mflo    $t_1
1118         mfhi    $t_2
1119         $ADDU   $c_3,$t_1
1120         sltu    $at,$c_3,$t_1
1121          $MULTU $a_0,$b_3               # mul_add_c(a[0],b[3],c1,c2,c3);
1122         $ADDU   $t_2,$at
1123         $ADDU   $c_1,$t_2
1124         sltu    $at,$c_1,$t_2
1125         $ADDU   $c_2,$at
1126         $ST     $c_3,2*$BNSZ($a0)       # r[2]=c3;
1127
1128         mflo    $t_1
1129         mfhi    $t_2
1130         $ADDU   $c_1,$t_1
1131         sltu    $at,$c_1,$t_1
1132         $MULTU  $a_1,$b_2               # mul_add_c(a[1],b[2],c1,c2,c3);
1133         $ADDU   $t_2,$at
1134         $ADDU   $c_2,$t_2
1135         sltu    $c_3,$c_2,$t_2
1136         mflo    $t_1
1137         mfhi    $t_2
1138         $ADDU   $c_1,$t_1
1139         sltu    $at,$c_1,$t_1
1140         $MULTU  $a_2,$b_1               # mul_add_c(a[2],b[1],c1,c2,c3);
1141         $ADDU   $t_2,$at
1142         $ADDU   $c_2,$t_2
1143         sltu    $at,$c_2,$t_2
1144         $ADDU   $c_3,$at
1145         mflo    $t_1
1146         mfhi    $t_2
1147         $ADDU   $c_1,$t_1
1148         sltu    $at,$c_1,$t_1
1149         $MULTU  $a_3,$b_0               # mul_add_c(a[3],b[0],c1,c2,c3);
1150         $ADDU   $t_2,$at
1151         $ADDU   $c_2,$t_2
1152         sltu    $at,$c_2,$t_2
1153         $ADDU   $c_3,$at
1154         mflo    $t_1
1155         mfhi    $t_2
1156         $ADDU   $c_1,$t_1
1157         sltu    $at,$c_1,$t_1
1158          $MULTU $a_4,$b_0               # mul_add_c(a[4],b[0],c2,c3,c1);
1159         $ADDU   $t_2,$at
1160         $ADDU   $c_2,$t_2
1161         sltu    $at,$c_2,$t_2
1162         $ADDU   $c_3,$at
1163         $ST     $c_1,3*$BNSZ($a0)       # r[3]=c1;
1164
1165         mflo    $t_1
1166         mfhi    $t_2
1167         $ADDU   $c_2,$t_1
1168         sltu    $at,$c_2,$t_1
1169         $MULTU  $a_3,$b_1               # mul_add_c(a[3],b[1],c2,c3,c1);
1170         $ADDU   $t_2,$at
1171         $ADDU   $c_3,$t_2
1172         sltu    $c_1,$c_3,$t_2
1173         mflo    $t_1
1174         mfhi    $t_2
1175         $ADDU   $c_2,$t_1
1176         sltu    $at,$c_2,$t_1
1177         $MULTU  $a_2,$b_2               # mul_add_c(a[2],b[2],c2,c3,c1);
1178         $ADDU   $t_2,$at
1179         $ADDU   $c_3,$t_2
1180         sltu    $at,$c_3,$t_2
1181         $ADDU   $c_1,$at
1182         mflo    $t_1
1183         mfhi    $t_2
1184         $ADDU   $c_2,$t_1
1185         sltu    $at,$c_2,$t_1
1186         $MULTU  $a_1,$b_3               # mul_add_c(a[1],b[3],c2,c3,c1);
1187         $ADDU   $t_2,$at
1188         $ADDU   $c_3,$t_2
1189         sltu    $at,$c_3,$t_2
1190         $ADDU   $c_1,$at
1191         mflo    $t_1
1192         mfhi    $t_2
1193         $ADDU   $c_2,$t_1
1194         sltu    $at,$c_2,$t_1
1195         $MULTU  $a_0,$b_4               # mul_add_c(a[0],b[4],c2,c3,c1);
1196         $ADDU   $t_2,$at
1197         $ADDU   $c_3,$t_2
1198         sltu    $at,$c_3,$t_2
1199         $ADDU   $c_1,$at
1200         mflo    $t_1
1201         mfhi    $t_2
1202         $ADDU   $c_2,$t_1
1203         sltu    $at,$c_2,$t_1
1204          $MULTU $a_0,$b_5               # mul_add_c(a[0],b[5],c3,c1,c2);
1205         $ADDU   $t_2,$at
1206         $ADDU   $c_3,$t_2
1207         sltu    $at,$c_3,$t_2
1208         $ADDU   $c_1,$at
1209         $ST     $c_2,4*$BNSZ($a0)       # r[4]=c2;
1210
1211         mflo    $t_1
1212         mfhi    $t_2
1213         $ADDU   $c_3,$t_1
1214         sltu    $at,$c_3,$t_1
1215         $MULTU  $a_1,$b_4               # mul_add_c(a[1],b[4],c3,c1,c2);
1216         $ADDU   $t_2,$at
1217         $ADDU   $c_1,$t_2
1218         sltu    $c_2,$c_1,$t_2
1219         mflo    $t_1
1220         mfhi    $t_2
1221         $ADDU   $c_3,$t_1
1222         sltu    $at,$c_3,$t_1
1223         $MULTU  $a_2,$b_3               # mul_add_c(a[2],b[3],c3,c1,c2);
1224         $ADDU   $t_2,$at
1225         $ADDU   $c_1,$t_2
1226         sltu    $at,$c_1,$t_2
1227         $ADDU   $c_2,$at
1228         mflo    $t_1
1229         mfhi    $t_2
1230         $ADDU   $c_3,$t_1
1231         sltu    $at,$c_3,$t_1
1232         $MULTU  $a_3,$b_2               # mul_add_c(a[3],b[2],c3,c1,c2);
1233         $ADDU   $t_2,$at
1234         $ADDU   $c_1,$t_2
1235         sltu    $at,$c_1,$t_2
1236         $ADDU   $c_2,$at
1237         mflo    $t_1
1238         mfhi    $t_2
1239         $ADDU   $c_3,$t_1
1240         sltu    $at,$c_3,$t_1
1241         $MULTU  $a_4,$b_1               # mul_add_c(a[4],b[1],c3,c1,c2);
1242         $ADDU   $t_2,$at
1243         $ADDU   $c_1,$t_2
1244         sltu    $at,$c_1,$t_2
1245         $ADDU   $c_2,$at
1246         mflo    $t_1
1247         mfhi    $t_2
1248         $ADDU   $c_3,$t_1
1249         sltu    $at,$c_3,$t_1
1250         $MULTU  $a_5,$b_0               # mul_add_c(a[5],b[0],c3,c1,c2);
1251         $ADDU   $t_2,$at
1252         $ADDU   $c_1,$t_2
1253         sltu    $at,$c_1,$t_2
1254         $ADDU   $c_2,$at
1255         mflo    $t_1
1256         mfhi    $t_2
1257         $ADDU   $c_3,$t_1
1258         sltu    $at,$c_3,$t_1
1259          $MULTU $a_6,$b_0               # mul_add_c(a[6],b[0],c1,c2,c3);
1260         $ADDU   $t_2,$at
1261         $ADDU   $c_1,$t_2
1262         sltu    $at,$c_1,$t_2
1263         $ADDU   $c_2,$at
1264         $ST     $c_3,5*$BNSZ($a0)       # r[5]=c3;
1265
1266         mflo    $t_1
1267         mfhi    $t_2
1268         $ADDU   $c_1,$t_1
1269         sltu    $at,$c_1,$t_1
1270         $MULTU  $a_5,$b_1               # mul_add_c(a[5],b[1],c1,c2,c3);
1271         $ADDU   $t_2,$at
1272         $ADDU   $c_2,$t_2
1273         sltu    $c_3,$c_2,$t_2
1274         mflo    $t_1
1275         mfhi    $t_2
1276         $ADDU   $c_1,$t_1
1277         sltu    $at,$c_1,$t_1
1278         $MULTU  $a_4,$b_2               # mul_add_c(a[4],b[2],c1,c2,c3);
1279         $ADDU   $t_2,$at
1280         $ADDU   $c_2,$t_2
1281         sltu    $at,$c_2,$t_2
1282         $ADDU   $c_3,$at
1283         mflo    $t_1
1284         mfhi    $t_2
1285         $ADDU   $c_1,$t_1
1286         sltu    $at,$c_1,$t_1
1287         $MULTU  $a_3,$b_3               # mul_add_c(a[3],b[3],c1,c2,c3);
1288         $ADDU   $t_2,$at
1289         $ADDU   $c_2,$t_2
1290         sltu    $at,$c_2,$t_2
1291         $ADDU   $c_3,$at
1292         mflo    $t_1
1293         mfhi    $t_2
1294         $ADDU   $c_1,$t_1
1295         sltu    $at,$c_1,$t_1
1296         $MULTU  $a_2,$b_4               # mul_add_c(a[2],b[4],c1,c2,c3);
1297         $ADDU   $t_2,$at
1298         $ADDU   $c_2,$t_2
1299         sltu    $at,$c_2,$t_2
1300         $ADDU   $c_3,$at
1301         mflo    $t_1
1302         mfhi    $t_2
1303         $ADDU   $c_1,$t_1
1304         sltu    $at,$c_1,$t_1
1305         $MULTU  $a_1,$b_5               # mul_add_c(a[1],b[5],c1,c2,c3);
1306         $ADDU   $t_2,$at
1307         $ADDU   $c_2,$t_2
1308         sltu    $at,$c_2,$t_2
1309         $ADDU   $c_3,$at
1310         mflo    $t_1
1311         mfhi    $t_2
1312         $ADDU   $c_1,$t_1
1313         sltu    $at,$c_1,$t_1
1314         $MULTU  $a_0,$b_6               # mul_add_c(a[0],b[6],c1,c2,c3);
1315         $ADDU   $t_2,$at
1316         $ADDU   $c_2,$t_2
1317         sltu    $at,$c_2,$t_2
1318         $ADDU   $c_3,$at
1319         mflo    $t_1
1320         mfhi    $t_2
1321         $ADDU   $c_1,$t_1
1322         sltu    $at,$c_1,$t_1
1323          $MULTU $a_0,$b_7               # mul_add_c(a[0],b[7],c2,c3,c1);
1324         $ADDU   $t_2,$at
1325         $ADDU   $c_2,$t_2
1326         sltu    $at,$c_2,$t_2
1327         $ADDU   $c_3,$at
1328         $ST     $c_1,6*$BNSZ($a0)       # r[6]=c1;
1329
1330         mflo    $t_1
1331         mfhi    $t_2
1332         $ADDU   $c_2,$t_1
1333         sltu    $at,$c_2,$t_1
1334         $MULTU  $a_1,$b_6               # mul_add_c(a[1],b[6],c2,c3,c1);
1335         $ADDU   $t_2,$at
1336         $ADDU   $c_3,$t_2
1337         sltu    $c_1,$c_3,$t_2
1338         mflo    $t_1
1339         mfhi    $t_2
1340         $ADDU   $c_2,$t_1
1341         sltu    $at,$c_2,$t_1
1342         $MULTU  $a_2,$b_5               # mul_add_c(a[2],b[5],c2,c3,c1);
1343         $ADDU   $t_2,$at
1344         $ADDU   $c_3,$t_2
1345         sltu    $at,$c_3,$t_2
1346         $ADDU   $c_1,$at
1347         mflo    $t_1
1348         mfhi    $t_2
1349         $ADDU   $c_2,$t_1
1350         sltu    $at,$c_2,$t_1
1351         $MULTU  $a_3,$b_4               # mul_add_c(a[3],b[4],c2,c3,c1);
1352         $ADDU   $t_2,$at
1353         $ADDU   $c_3,$t_2
1354         sltu    $at,$c_3,$t_2
1355         $ADDU   $c_1,$at
1356         mflo    $t_1
1357         mfhi    $t_2
1358         $ADDU   $c_2,$t_1
1359         sltu    $at,$c_2,$t_1
1360         $MULTU  $a_4,$b_3               # mul_add_c(a[4],b[3],c2,c3,c1);
1361         $ADDU   $t_2,$at
1362         $ADDU   $c_3,$t_2
1363         sltu    $at,$c_3,$t_2
1364         $ADDU   $c_1,$at
1365         mflo    $t_1
1366         mfhi    $t_2
1367         $ADDU   $c_2,$t_1
1368         sltu    $at,$c_2,$t_1
1369         $MULTU  $a_5,$b_2               # mul_add_c(a[5],b[2],c2,c3,c1);
1370         $ADDU   $t_2,$at
1371         $ADDU   $c_3,$t_2
1372         sltu    $at,$c_3,$t_2
1373         $ADDU   $c_1,$at
1374         mflo    $t_1
1375         mfhi    $t_2
1376         $ADDU   $c_2,$t_1
1377         sltu    $at,$c_2,$t_1
1378         $MULTU  $a_6,$b_1               # mul_add_c(a[6],b[1],c2,c3,c1);
1379         $ADDU   $t_2,$at
1380         $ADDU   $c_3,$t_2
1381         sltu    $at,$c_3,$t_2
1382         $ADDU   $c_1,$at
1383         mflo    $t_1
1384         mfhi    $t_2
1385         $ADDU   $c_2,$t_1
1386         sltu    $at,$c_2,$t_1
1387         $MULTU  $a_7,$b_0               # mul_add_c(a[7],b[0],c2,c3,c1);
1388         $ADDU   $t_2,$at
1389         $ADDU   $c_3,$t_2
1390         sltu    $at,$c_3,$t_2
1391         $ADDU   $c_1,$at
1392         mflo    $t_1
1393         mfhi    $t_2
1394         $ADDU   $c_2,$t_1
1395         sltu    $at,$c_2,$t_1
1396          $MULTU $a_7,$b_1               # mul_add_c(a[7],b[1],c3,c1,c2);
1397         $ADDU   $t_2,$at
1398         $ADDU   $c_3,$t_2
1399         sltu    $at,$c_3,$t_2
1400         $ADDU   $c_1,$at
1401         $ST     $c_2,7*$BNSZ($a0)       # r[7]=c2;
1402
1403         mflo    $t_1
1404         mfhi    $t_2
1405         $ADDU   $c_3,$t_1
1406         sltu    $at,$c_3,$t_1
1407         $MULTU  $a_6,$b_2               # mul_add_c(a[6],b[2],c3,c1,c2);
1408         $ADDU   $t_2,$at
1409         $ADDU   $c_1,$t_2
1410         sltu    $c_2,$c_1,$t_2
1411         mflo    $t_1
1412         mfhi    $t_2
1413         $ADDU   $c_3,$t_1
1414         sltu    $at,$c_3,$t_1
1415         $MULTU  $a_5,$b_3               # mul_add_c(a[5],b[3],c3,c1,c2);
1416         $ADDU   $t_2,$at
1417         $ADDU   $c_1,$t_2
1418         sltu    $at,$c_1,$t_2
1419         $ADDU   $c_2,$at
1420         mflo    $t_1
1421         mfhi    $t_2
1422         $ADDU   $c_3,$t_1
1423         sltu    $at,$c_3,$t_1
1424         $MULTU  $a_4,$b_4               # mul_add_c(a[4],b[4],c3,c1,c2);
1425         $ADDU   $t_2,$at
1426         $ADDU   $c_1,$t_2
1427         sltu    $at,$c_1,$t_2
1428         $ADDU   $c_2,$at
1429         mflo    $t_1
1430         mfhi    $t_2
1431         $ADDU   $c_3,$t_1
1432         sltu    $at,$c_3,$t_1
1433         $MULTU  $a_3,$b_5               # mul_add_c(a[3],b[5],c3,c1,c2);
1434         $ADDU   $t_2,$at
1435         $ADDU   $c_1,$t_2
1436         sltu    $at,$c_1,$t_2
1437         $ADDU   $c_2,$at
1438         mflo    $t_1
1439         mfhi    $t_2
1440         $ADDU   $c_3,$t_1
1441         sltu    $at,$c_3,$t_1
1442         $MULTU  $a_2,$b_6               # mul_add_c(a[2],b[6],c3,c1,c2);
1443         $ADDU   $t_2,$at
1444         $ADDU   $c_1,$t_2
1445         sltu    $at,$c_1,$t_2
1446         $ADDU   $c_2,$at
1447         mflo    $t_1
1448         mfhi    $t_2
1449         $ADDU   $c_3,$t_1
1450         sltu    $at,$c_3,$t_1
1451         $MULTU  $a_1,$b_7               # mul_add_c(a[1],b[7],c3,c1,c2);
1452         $ADDU   $t_2,$at
1453         $ADDU   $c_1,$t_2
1454         sltu    $at,$c_1,$t_2
1455         $ADDU   $c_2,$at
1456         mflo    $t_1
1457         mfhi    $t_2
1458         $ADDU   $c_3,$t_1
1459         sltu    $at,$c_3,$t_1
1460          $MULTU $a_2,$b_7               # mul_add_c(a[2],b[7],c1,c2,c3);
1461         $ADDU   $t_2,$at
1462         $ADDU   $c_1,$t_2
1463         sltu    $at,$c_1,$t_2
1464         $ADDU   $c_2,$at
1465         $ST     $c_3,8*$BNSZ($a0)       # r[8]=c3;
1466
1467         mflo    $t_1
1468         mfhi    $t_2
1469         $ADDU   $c_1,$t_1
1470         sltu    $at,$c_1,$t_1
1471         $MULTU  $a_3,$b_6               # mul_add_c(a[3],b[6],c1,c2,c3);
1472         $ADDU   $t_2,$at
1473         $ADDU   $c_2,$t_2
1474         sltu    $c_3,$c_2,$t_2
1475         mflo    $t_1
1476         mfhi    $t_2
1477         $ADDU   $c_1,$t_1
1478         sltu    $at,$c_1,$t_1
1479         $MULTU  $a_4,$b_5               # mul_add_c(a[4],b[5],c1,c2,c3);
1480         $ADDU   $t_2,$at
1481         $ADDU   $c_2,$t_2
1482         sltu    $at,$c_2,$t_2
1483         $ADDU   $c_3,$at
1484         mflo    $t_1
1485         mfhi    $t_2
1486         $ADDU   $c_1,$t_1
1487         sltu    $at,$c_1,$t_1
1488         $MULTU  $a_5,$b_4               # mul_add_c(a[5],b[4],c1,c2,c3);
1489         $ADDU   $t_2,$at
1490         $ADDU   $c_2,$t_2
1491         sltu    $at,$c_2,$t_2
1492         $ADDU   $c_3,$at
1493         mflo    $t_1
1494         mfhi    $t_2
1495         $ADDU   $c_1,$t_1
1496         sltu    $at,$c_1,$t_1
1497         $MULTU  $a_6,$b_3               # mul_add_c(a[6],b[3],c1,c2,c3);
1498         $ADDU   $t_2,$at
1499         $ADDU   $c_2,$t_2
1500         sltu    $at,$c_2,$t_2
1501         $ADDU   $c_3,$at
1502         mflo    $t_1
1503         mfhi    $t_2
1504         $ADDU   $c_1,$t_1
1505         sltu    $at,$c_1,$t_1
1506         $MULTU  $a_7,$b_2               # mul_add_c(a[7],b[2],c1,c2,c3);
1507         $ADDU   $t_2,$at
1508         $ADDU   $c_2,$t_2
1509         sltu    $at,$c_2,$t_2
1510         $ADDU   $c_3,$at
1511         mflo    $t_1
1512         mfhi    $t_2
1513         $ADDU   $c_1,$t_1
1514         sltu    $at,$c_1,$t_1
1515          $MULTU $a_7,$b_3               # mul_add_c(a[7],b[3],c2,c3,c1);
1516         $ADDU   $t_2,$at
1517         $ADDU   $c_2,$t_2
1518         sltu    $at,$c_2,$t_2
1519         $ADDU   $c_3,$at
1520         $ST     $c_1,9*$BNSZ($a0)       # r[9]=c1;
1521
1522         mflo    $t_1
1523         mfhi    $t_2
1524         $ADDU   $c_2,$t_1
1525         sltu    $at,$c_2,$t_1
1526         $MULTU  $a_6,$b_4               # mul_add_c(a[6],b[4],c2,c3,c1);
1527         $ADDU   $t_2,$at
1528         $ADDU   $c_3,$t_2
1529         sltu    $c_1,$c_3,$t_2
1530         mflo    $t_1
1531         mfhi    $t_2
1532         $ADDU   $c_2,$t_1
1533         sltu    $at,$c_2,$t_1
1534         $MULTU  $a_5,$b_5               # mul_add_c(a[5],b[5],c2,c3,c1);
1535         $ADDU   $t_2,$at
1536         $ADDU   $c_3,$t_2
1537         sltu    $at,$c_3,$t_2
1538         $ADDU   $c_1,$at
1539         mflo    $t_1
1540         mfhi    $t_2
1541         $ADDU   $c_2,$t_1
1542         sltu    $at,$c_2,$t_1
1543         $MULTU  $a_4,$b_6               # mul_add_c(a[4],b[6],c2,c3,c1);
1544         $ADDU   $t_2,$at
1545         $ADDU   $c_3,$t_2
1546         sltu    $at,$c_3,$t_2
1547         $ADDU   $c_1,$at
1548         mflo    $t_1
1549         mfhi    $t_2
1550         $ADDU   $c_2,$t_1
1551         sltu    $at,$c_2,$t_1
1552         $MULTU  $a_3,$b_7               # mul_add_c(a[3],b[7],c2,c3,c1);
1553         $ADDU   $t_2,$at
1554         $ADDU   $c_3,$t_2
1555         sltu    $at,$c_3,$t_2
1556         $ADDU   $c_1,$at
1557         mflo    $t_1
1558         mfhi    $t_2
1559         $ADDU   $c_2,$t_1
1560         sltu    $at,$c_2,$t_1
1561         $MULTU  $a_4,$b_7               # mul_add_c(a[4],b[7],c3,c1,c2);
1562         $ADDU   $t_2,$at
1563         $ADDU   $c_3,$t_2
1564         sltu    $at,$c_3,$t_2
1565         $ADDU   $c_1,$at
1566         $ST     $c_2,10*$BNSZ($a0)      # r[10]=c2;
1567
1568         mflo    $t_1
1569         mfhi    $t_2
1570         $ADDU   $c_3,$t_1
1571         sltu    $at,$c_3,$t_1
1572         $MULTU  $a_5,$b_6               # mul_add_c(a[5],b[6],c3,c1,c2);
1573         $ADDU   $t_2,$at
1574         $ADDU   $c_1,$t_2
1575         sltu    $c_2,$c_1,$t_2
1576         mflo    $t_1
1577         mfhi    $t_2
1578         $ADDU   $c_3,$t_1
1579         sltu    $at,$c_3,$t_1
1580         $MULTU  $a_6,$b_5               # mul_add_c(a[6],b[5],c3,c1,c2);
1581         $ADDU   $t_2,$at
1582         $ADDU   $c_1,$t_2
1583         sltu    $at,$c_1,$t_2
1584         $ADDU   $c_2,$at
1585         mflo    $t_1
1586         mfhi    $t_2
1587         $ADDU   $c_3,$t_1
1588         sltu    $at,$c_3,$t_1
1589         $MULTU  $a_7,$b_4               # mul_add_c(a[7],b[4],c3,c1,c2);
1590         $ADDU   $t_2,$at
1591         $ADDU   $c_1,$t_2
1592         sltu    $at,$c_1,$t_2
1593         $ADDU   $c_2,$at
1594         mflo    $t_1
1595         mfhi    $t_2
1596         $ADDU   $c_3,$t_1
1597         sltu    $at,$c_3,$t_1
1598          $MULTU $a_7,$b_5               # mul_add_c(a[7],b[5],c1,c2,c3);
1599         $ADDU   $t_2,$at
1600         $ADDU   $c_1,$t_2
1601         sltu    $at,$c_1,$t_2
1602         $ADDU   $c_2,$at
1603         $ST     $c_3,11*$BNSZ($a0)      # r[11]=c3;
1604
1605         mflo    $t_1
1606         mfhi    $t_2
1607         $ADDU   $c_1,$t_1
1608         sltu    $at,$c_1,$t_1
1609         $MULTU  $a_6,$b_6               # mul_add_c(a[6],b[6],c1,c2,c3);
1610         $ADDU   $t_2,$at
1611         $ADDU   $c_2,$t_2
1612         sltu    $c_3,$c_2,$t_2
1613         mflo    $t_1
1614         mfhi    $t_2
1615         $ADDU   $c_1,$t_1
1616         sltu    $at,$c_1,$t_1
1617         $MULTU  $a_5,$b_7               # mul_add_c(a[5],b[7],c1,c2,c3);
1618         $ADDU   $t_2,$at
1619         $ADDU   $c_2,$t_2
1620         sltu    $at,$c_2,$t_2
1621         $ADDU   $c_3,$at
1622         mflo    $t_1
1623         mfhi    $t_2
1624         $ADDU   $c_1,$t_1
1625         sltu    $at,$c_1,$t_1
1626          $MULTU $a_6,$b_7               # mul_add_c(a[6],b[7],c2,c3,c1);
1627         $ADDU   $t_2,$at
1628         $ADDU   $c_2,$t_2
1629         sltu    $at,$c_2,$t_2
1630         $ADDU   $c_3,$at
1631         $ST     $c_1,12*$BNSZ($a0)      # r[12]=c1;
1632
1633         mflo    $t_1
1634         mfhi    $t_2
1635         $ADDU   $c_2,$t_1
1636         sltu    $at,$c_2,$t_1
1637         $MULTU  $a_7,$b_6               # mul_add_c(a[7],b[6],c2,c3,c1);
1638         $ADDU   $t_2,$at
1639         $ADDU   $c_3,$t_2
1640         sltu    $c_1,$c_3,$t_2
1641         mflo    $t_1
1642         mfhi    $t_2
1643         $ADDU   $c_2,$t_1
1644         sltu    $at,$c_2,$t_1
1645         $MULTU  $a_7,$b_7               # mul_add_c(a[7],b[7],c3,c1,c2);
1646         $ADDU   $t_2,$at
1647         $ADDU   $c_3,$t_2
1648         sltu    $at,$c_3,$t_2
1649         $ADDU   $c_1,$at
1650         $ST     $c_2,13*$BNSZ($a0)      # r[13]=c2;
1651
1652         mflo    $t_1
1653         mfhi    $t_2
1654         $ADDU   $c_3,$t_1
1655         sltu    $at,$c_3,$t_1
1656         $ADDU   $t_2,$at
1657         $ADDU   $c_1,$t_2
1658         $ST     $c_3,14*$BNSZ($a0)      # r[14]=c3;
1659         $ST     $c_1,15*$BNSZ($a0)      # r[15]=c1;
1660
1661         .set    noreorder
1662 ___
1663 $code.=<<___ if ($flavour =~ /nubi/i);
1664         $REG_L  $s5,10*$SZREG($sp)
1665         $REG_L  $s4,9*$SZREG($sp)
1666         $REG_L  $s3,8*$SZREG($sp)
1667         $REG_L  $s2,7*$SZREG($sp)
1668         $REG_L  $s1,6*$SZREG($sp)
1669         $REG_L  $s0,5*$SZREG($sp)
1670         $REG_L  $t3,4*$SZREG($sp)
1671         $REG_L  $t2,3*$SZREG($sp)
1672         $REG_L  $t1,2*$SZREG($sp)
1673         $REG_L  $t0,1*$SZREG($sp)
1674         $REG_L  $gp,0*$SZREG($sp)
1675         jr      $ra
1676         $PTR_ADD $sp,12*$SZREG
1677 ___
1678 $code.=<<___ if ($flavour !~ /nubi/i);
1679         $REG_L  $s5,5*$SZREG($sp)
1680         $REG_L  $s4,4*$SZREG($sp)
1681         $REG_L  $s3,3*$SZREG($sp)
1682         $REG_L  $s2,2*$SZREG($sp)
1683         $REG_L  $s1,1*$SZREG($sp)
1684         $REG_L  $s0,0*$SZREG($sp)
1685         jr      $ra
1686         $PTR_ADD $sp,6*$SZREG
1687 ___
1688 $code.=<<___;
1689 .end    bn_mul_comba8
1690
1691 .align  5
1692 .globl  bn_mul_comba4
1693 .ent    bn_mul_comba4
1694 bn_mul_comba4:
1695 ___
1696 $code.=<<___ if ($flavour =~ /nubi/i);
1697         .frame  $sp,6*$SZREG,$ra
1698         .mask   0x8000f008,-$SZREG
1699         .set    noreorder
1700         $PTR_SUB $sp,6*$SZREG
1701         $REG_S  $ra,5*$SZREG($sp)
1702         $REG_S  $t3,4*$SZREG($sp)
1703         $REG_S  $t2,3*$SZREG($sp)
1704         $REG_S  $t1,2*$SZREG($sp)
1705         $REG_S  $t0,1*$SZREG($sp)
1706         $REG_S  $gp,0*$SZREG($sp)
1707 ___
1708 $code.=<<___;
1709         .set    reorder
1710         $LD     $a_0,0($a1)
1711         $LD     $b_0,0($a2)
1712         $LD     $a_1,$BNSZ($a1)
1713         $LD     $a_2,2*$BNSZ($a1)
1714         $MULTU  $a_0,$b_0               # mul_add_c(a[0],b[0],c1,c2,c3);
1715         $LD     $a_3,3*$BNSZ($a1)
1716         $LD     $b_1,$BNSZ($a2)
1717         $LD     $b_2,2*$BNSZ($a2)
1718         $LD     $b_3,3*$BNSZ($a2)
1719         mflo    $c_1
1720         mfhi    $c_2
1721         $ST     $c_1,0($a0)
1722
1723         $MULTU  $a_0,$b_1               # mul_add_c(a[0],b[1],c2,c3,c1);
1724         mflo    $t_1
1725         mfhi    $t_2
1726         $ADDU   $c_2,$t_1
1727         sltu    $at,$c_2,$t_1
1728         $MULTU  $a_1,$b_0               # mul_add_c(a[1],b[0],c2,c3,c1);
1729         $ADDU   $c_3,$t_2,$at
1730         mflo    $t_1
1731         mfhi    $t_2
1732         $ADDU   $c_2,$t_1
1733         sltu    $at,$c_2,$t_1
1734          $MULTU $a_2,$b_0               # mul_add_c(a[2],b[0],c3,c1,c2);
1735         $ADDU   $t_2,$at
1736         $ADDU   $c_3,$t_2
1737         sltu    $c_1,$c_3,$t_2
1738         $ST     $c_2,$BNSZ($a0)
1739
1740         mflo    $t_1
1741         mfhi    $t_2
1742         $ADDU   $c_3,$t_1
1743         sltu    $at,$c_3,$t_1
1744         $MULTU  $a_1,$b_1               # mul_add_c(a[1],b[1],c3,c1,c2);
1745         $ADDU   $t_2,$at
1746         $ADDU   $c_1,$t_2
1747         mflo    $t_1
1748         mfhi    $t_2
1749         $ADDU   $c_3,$t_1
1750         sltu    $at,$c_3,$t_1
1751         $MULTU  $a_0,$b_2               # mul_add_c(a[0],b[2],c3,c1,c2);
1752         $ADDU   $t_2,$at
1753         $ADDU   $c_1,$t_2
1754         sltu    $c_2,$c_1,$t_2
1755         mflo    $t_1
1756         mfhi    $t_2
1757         $ADDU   $c_3,$t_1
1758         sltu    $at,$c_3,$t_1
1759          $MULTU $a_0,$b_3               # mul_add_c(a[0],b[3],c1,c2,c3);
1760         $ADDU   $t_2,$at
1761         $ADDU   $c_1,$t_2
1762         sltu    $at,$c_1,$t_2
1763         $ADDU   $c_2,$at
1764         $ST     $c_3,2*$BNSZ($a0)
1765
1766         mflo    $t_1
1767         mfhi    $t_2
1768         $ADDU   $c_1,$t_1
1769         sltu    $at,$c_1,$t_1
1770         $MULTU  $a_1,$b_2               # mul_add_c(a[1],b[2],c1,c2,c3);
1771         $ADDU   $t_2,$at
1772         $ADDU   $c_2,$t_2
1773         sltu    $c_3,$c_2,$t_2
1774         mflo    $t_1
1775         mfhi    $t_2
1776         $ADDU   $c_1,$t_1
1777         sltu    $at,$c_1,$t_1
1778         $MULTU  $a_2,$b_1               # mul_add_c(a[2],b[1],c1,c2,c3);
1779         $ADDU   $t_2,$at
1780         $ADDU   $c_2,$t_2
1781         sltu    $at,$c_2,$t_2
1782         $ADDU   $c_3,$at
1783         mflo    $t_1
1784         mfhi    $t_2
1785         $ADDU   $c_1,$t_1
1786         sltu    $at,$c_1,$t_1
1787         $MULTU  $a_3,$b_0               # mul_add_c(a[3],b[0],c1,c2,c3);
1788         $ADDU   $t_2,$at
1789         $ADDU   $c_2,$t_2
1790         sltu    $at,$c_2,$t_2
1791         $ADDU   $c_3,$at
1792         mflo    $t_1
1793         mfhi    $t_2
1794         $ADDU   $c_1,$t_1
1795         sltu    $at,$c_1,$t_1
1796          $MULTU $a_3,$b_1               # mul_add_c(a[3],b[1],c2,c3,c1);
1797         $ADDU   $t_2,$at
1798         $ADDU   $c_2,$t_2
1799         sltu    $at,$c_2,$t_2
1800         $ADDU   $c_3,$at
1801         $ST     $c_1,3*$BNSZ($a0)
1802
1803         mflo    $t_1
1804         mfhi    $t_2
1805         $ADDU   $c_2,$t_1
1806         sltu    $at,$c_2,$t_1
1807         $MULTU  $a_2,$b_2               # mul_add_c(a[2],b[2],c2,c3,c1);
1808         $ADDU   $t_2,$at
1809         $ADDU   $c_3,$t_2
1810         sltu    $c_1,$c_3,$t_2
1811         mflo    $t_1
1812         mfhi    $t_2
1813         $ADDU   $c_2,$t_1
1814         sltu    $at,$c_2,$t_1
1815         $MULTU  $a_1,$b_3               # mul_add_c(a[1],b[3],c2,c3,c1);
1816         $ADDU   $t_2,$at
1817         $ADDU   $c_3,$t_2
1818         sltu    $at,$c_3,$t_2
1819         $ADDU   $c_1,$at
1820         mflo    $t_1
1821         mfhi    $t_2
1822         $ADDU   $c_2,$t_1
1823         sltu    $at,$c_2,$t_1
1824          $MULTU $a_2,$b_3               # mul_add_c(a[2],b[3],c3,c1,c2);
1825         $ADDU   $t_2,$at
1826         $ADDU   $c_3,$t_2
1827         sltu    $at,$c_3,$t_2
1828         $ADDU   $c_1,$at
1829         $ST     $c_2,4*$BNSZ($a0)
1830
1831         mflo    $t_1
1832         mfhi    $t_2
1833         $ADDU   $c_3,$t_1
1834         sltu    $at,$c_3,$t_1
1835         $MULTU  $a_3,$b_2               # mul_add_c(a[3],b[2],c3,c1,c2);
1836         $ADDU   $t_2,$at
1837         $ADDU   $c_1,$t_2
1838         sltu    $c_2,$c_1,$t_2
1839         mflo    $t_1
1840         mfhi    $t_2
1841         $ADDU   $c_3,$t_1
1842         sltu    $at,$c_3,$t_1
1843          $MULTU $a_3,$b_3               # mul_add_c(a[3],b[3],c1,c2,c3);
1844         $ADDU   $t_2,$at
1845         $ADDU   $c_1,$t_2
1846         sltu    $at,$c_1,$t_2
1847         $ADDU   $c_2,$at
1848         $ST     $c_3,5*$BNSZ($a0)
1849
1850         mflo    $t_1
1851         mfhi    $t_2
1852         $ADDU   $c_1,$t_1
1853         sltu    $at,$c_1,$t_1
1854         $ADDU   $t_2,$at
1855         $ADDU   $c_2,$t_2
1856         $ST     $c_1,6*$BNSZ($a0)
1857         $ST     $c_2,7*$BNSZ($a0)
1858
1859         .set    noreorder
1860 ___
1861 $code.=<<___ if ($flavour =~ /nubi/i);
1862         $REG_L  $t3,4*$SZREG($sp)
1863         $REG_L  $t2,3*$SZREG($sp)
1864         $REG_L  $t1,2*$SZREG($sp)
1865         $REG_L  $t0,1*$SZREG($sp)
1866         $REG_L  $gp,0*$SZREG($sp)
1867         $PTR_ADD $sp,6*$SZREG
1868 ___
1869 $code.=<<___;
1870         jr      $ra
1871         nop
1872 .end    bn_mul_comba4
1873 ___
1874
1875 ($a_4,$a_5,$a_6,$a_7)=($b_0,$b_1,$b_2,$b_3);
1876
1877 $code.=<<___;
1878
1879 .align  5
1880 .globl  bn_sqr_comba8
1881 .ent    bn_sqr_comba8
1882 bn_sqr_comba8:
1883 ___
1884 $code.=<<___ if ($flavour =~ /nubi/i);
1885         .frame  $sp,6*$SZREG,$ra
1886         .mask   0x8000f008,-$SZREG
1887         .set    noreorder
1888         $PTR_SUB $sp,6*$SZREG
1889         $REG_S  $ra,5*$SZREG($sp)
1890         $REG_S  $t3,4*$SZREG($sp)
1891         $REG_S  $t2,3*$SZREG($sp)
1892         $REG_S  $t1,2*$SZREG($sp)
1893         $REG_S  $t0,1*$SZREG($sp)
1894         $REG_S  $gp,0*$SZREG($sp)
1895 ___
1896 $code.=<<___;
1897         .set    reorder
1898         $LD     $a_0,0($a1)
1899         $LD     $a_1,$BNSZ($a1)
1900         $LD     $a_2,2*$BNSZ($a1)
1901         $LD     $a_3,3*$BNSZ($a1)
1902
1903         $MULTU  $a_0,$a_0               # mul_add_c(a[0],b[0],c1,c2,c3);
1904         $LD     $a_4,4*$BNSZ($a1)
1905         $LD     $a_5,5*$BNSZ($a1)
1906         $LD     $a_6,6*$BNSZ($a1)
1907         $LD     $a_7,7*$BNSZ($a1)
1908         mflo    $c_1
1909         mfhi    $c_2
1910         $ST     $c_1,0($a0)
1911
1912         $MULTU  $a_0,$a_1               # mul_add_c2(a[0],b[1],c2,c3,c1);
1913         mflo    $t_1
1914         mfhi    $t_2
1915         slt     $c_1,$t_2,$zero
1916         $SLL    $t_2,1
1917          $MULTU $a_2,$a_0               # mul_add_c2(a[2],b[0],c3,c1,c2);
1918         slt     $a2,$t_1,$zero
1919         $ADDU   $t_2,$a2
1920         $SLL    $t_1,1
1921         $ADDU   $c_2,$t_1
1922         sltu    $at,$c_2,$t_1
1923         $ADDU   $c_3,$t_2,$at
1924         $ST     $c_2,$BNSZ($a0)
1925
1926         mflo    $t_1
1927         mfhi    $t_2
1928         slt     $c_2,$t_2,$zero
1929         $SLL    $t_2,1
1930         $MULTU  $a_1,$a_1               # mul_add_c(a[1],b[1],c3,c1,c2);
1931         slt     $a2,$t_1,$zero
1932         $ADDU   $t_2,$a2
1933         $SLL    $t_1,1
1934         $ADDU   $c_3,$t_1
1935         sltu    $at,$c_3,$t_1
1936         $ADDU   $t_2,$at
1937         $ADDU   $c_1,$t_2
1938         sltu    $at,$c_1,$t_2
1939         $ADDU   $c_2,$at
1940         mflo    $t_1
1941         mfhi    $t_2
1942         $ADDU   $c_3,$t_1
1943         sltu    $at,$c_3,$t_1
1944          $MULTU $a_0,$a_3               # mul_add_c2(a[0],b[3],c1,c2,c3);
1945         $ADDU   $t_2,$at
1946         $ADDU   $c_1,$t_2
1947         sltu    $at,$c_1,$t_2
1948         $ADDU   $c_2,$at
1949         $ST     $c_3,2*$BNSZ($a0)
1950
1951         mflo    $t_1
1952         mfhi    $t_2
1953         slt     $c_3,$t_2,$zero
1954         $SLL    $t_2,1
1955         $MULTU  $a_1,$a_2               # mul_add_c2(a[1],b[2],c1,c2,c3);
1956         slt     $a2,$t_1,$zero
1957         $ADDU   $t_2,$a2
1958         $SLL    $t_1,1
1959         $ADDU   $c_1,$t_1
1960         sltu    $at,$c_1,$t_1
1961         $ADDU   $t_2,$at
1962         $ADDU   $c_2,$t_2
1963         sltu    $at,$c_2,$t_2
1964         $ADDU   $c_3,$at
1965         mflo    $t_1
1966         mfhi    $t_2
1967         slt     $at,$t_2,$zero
1968         $ADDU   $c_3,$at
1969          $MULTU $a_4,$a_0               # mul_add_c2(a[4],b[0],c2,c3,c1);
1970         $SLL    $t_2,1
1971         slt     $a2,$t_1,$zero
1972         $ADDU   $t_2,$a2
1973         $SLL    $t_1,1
1974         $ADDU   $c_1,$t_1
1975         sltu    $at,$c_1,$t_1
1976         $ADDU   $t_2,$at
1977         $ADDU   $c_2,$t_2
1978         sltu    $at,$c_2,$t_2
1979         $ADDU   $c_3,$at
1980         $ST     $c_1,3*$BNSZ($a0)
1981
1982         mflo    $t_1
1983         mfhi    $t_2
1984         slt     $c_1,$t_2,$zero
1985         $SLL    $t_2,1
1986         $MULTU  $a_3,$a_1               # mul_add_c2(a[3],b[1],c2,c3,c1);
1987         slt     $a2,$t_1,$zero
1988         $ADDU   $t_2,$a2
1989         $SLL    $t_1,1
1990         $ADDU   $c_2,$t_1
1991         sltu    $at,$c_2,$t_1
1992         $ADDU   $t_2,$at
1993         $ADDU   $c_3,$t_2
1994         sltu    $at,$c_3,$t_2
1995         $ADDU   $c_1,$at
1996         mflo    $t_1
1997         mfhi    $t_2
1998         slt     $at,$t_2,$zero
1999         $ADDU   $c_1,$at
2000         $MULTU  $a_2,$a_2               # mul_add_c(a[2],b[2],c2,c3,c1);
2001         $SLL    $t_2,1
2002         slt     $a2,$t_1,$zero
2003         $ADDU   $t_2,$a2
2004         $SLL    $t_1,1
2005         $ADDU   $c_2,$t_1
2006         sltu    $at,$c_2,$t_1
2007         $ADDU   $t_2,$at
2008         $ADDU   $c_3,$t_2
2009         sltu    $at,$c_3,$t_2
2010         $ADDU   $c_1,$at
2011         mflo    $t_1
2012         mfhi    $t_2
2013         $ADDU   $c_2,$t_1
2014         sltu    $at,$c_2,$t_1
2015          $MULTU $a_0,$a_5               # mul_add_c2(a[0],b[5],c3,c1,c2);
2016         $ADDU   $t_2,$at
2017         $ADDU   $c_3,$t_2
2018         sltu    $at,$c_3,$t_2
2019         $ADDU   $c_1,$at
2020         $ST     $c_2,4*$BNSZ($a0)
2021
2022         mflo    $t_1
2023         mfhi    $t_2
2024         slt     $c_2,$t_2,$zero
2025         $SLL    $t_2,1
2026         $MULTU  $a_1,$a_4               # mul_add_c2(a[1],b[4],c3,c1,c2);
2027         slt     $a2,$t_1,$zero
2028         $ADDU   $t_2,$a2
2029         $SLL    $t_1,1
2030         $ADDU   $c_3,$t_1
2031         sltu    $at,$c_3,$t_1
2032         $ADDU   $t_2,$at
2033         $ADDU   $c_1,$t_2
2034         sltu    $at,$c_1,$t_2
2035         $ADDU   $c_2,$at
2036         mflo    $t_1
2037         mfhi    $t_2
2038         slt     $at,$t_2,$zero
2039         $ADDU   $c_2,$at
2040         $MULTU  $a_2,$a_3               # mul_add_c2(a[2],b[3],c3,c1,c2);
2041         $SLL    $t_2,1
2042         slt     $a2,$t_1,$zero
2043         $ADDU   $t_2,$a2
2044         $SLL    $t_1,1
2045         $ADDU   $c_3,$t_1
2046         sltu    $at,$c_3,$t_1
2047         $ADDU   $t_2,$at
2048         $ADDU   $c_1,$t_2
2049         sltu    $at,$c_1,$t_2
2050         $ADDU   $c_2,$at
2051         mflo    $t_1
2052         mfhi    $t_2
2053         slt     $at,$t_2,$zero
2054          $MULTU $a_6,$a_0               # mul_add_c2(a[6],b[0],c1,c2,c3);
2055         $ADDU   $c_2,$at
2056         $SLL    $t_2,1
2057         slt     $a2,$t_1,$zero
2058         $ADDU   $t_2,$a2
2059         $SLL    $t_1,1
2060         $ADDU   $c_3,$t_1
2061         sltu    $at,$c_3,$t_1
2062         $ADDU   $t_2,$at
2063         $ADDU   $c_1,$t_2
2064         sltu    $at,$c_1,$t_2
2065         $ADDU   $c_2,$at
2066         $ST     $c_3,5*$BNSZ($a0)
2067
2068         mflo    $t_1
2069         mfhi    $t_2
2070         slt     $c_3,$t_2,$zero
2071         $SLL    $t_2,1
2072         $MULTU  $a_5,$a_1               # mul_add_c2(a[5],b[1],c1,c2,c3);
2073         slt     $a2,$t_1,$zero
2074         $ADDU   $t_2,$a2
2075         $SLL    $t_1,1
2076         $ADDU   $c_1,$t_1
2077         sltu    $at,$c_1,$t_1
2078         $ADDU   $t_2,$at
2079         $ADDU   $c_2,$t_2
2080         sltu    $at,$c_2,$t_2
2081         $ADDU   $c_3,$at
2082         mflo    $t_1
2083         mfhi    $t_2
2084         slt     $at,$t_2,$zero
2085         $ADDU   $c_3,$at
2086         $MULTU  $a_4,$a_2               # mul_add_c2(a[4],b[2],c1,c2,c3);
2087         $SLL    $t_2,1
2088         slt     $a2,$t_1,$zero
2089         $ADDU   $t_2,$a2
2090         $SLL    $t_1,1
2091         $ADDU   $c_1,$t_1
2092         sltu    $at,$c_1,$t_1
2093         $ADDU   $t_2,$at
2094         $ADDU   $c_2,$t_2
2095         sltu    $at,$c_2,$t_2
2096         $ADDU   $c_3,$at
2097         mflo    $t_1
2098         mfhi    $t_2
2099         slt     $at,$t_2,$zero
2100         $ADDU   $c_3,$at
2101         $MULTU  $a_3,$a_3               # mul_add_c(a[3],b[3],c1,c2,c3);
2102         $SLL    $t_2,1
2103         slt     $a2,$t_1,$zero
2104         $ADDU   $t_2,$a2
2105         $SLL    $t_1,1
2106         $ADDU   $c_1,$t_1
2107         sltu    $at,$c_1,$t_1
2108         $ADDU   $t_2,$at
2109         $ADDU   $c_2,$t_2
2110         sltu    $at,$c_2,$t_2
2111         $ADDU   $c_3,$at
2112         mflo    $t_1
2113         mfhi    $t_2
2114         $ADDU   $c_1,$t_1
2115         sltu    $at,$c_1,$t_1
2116          $MULTU $a_0,$a_7               # mul_add_c2(a[0],b[7],c2,c3,c1);
2117         $ADDU   $t_2,$at
2118         $ADDU   $c_2,$t_2
2119         sltu    $at,$c_2,$t_2
2120         $ADDU   $c_3,$at
2121         $ST     $c_1,6*$BNSZ($a0)
2122
2123         mflo    $t_1
2124         mfhi    $t_2
2125         slt     $c_1,$t_2,$zero
2126         $SLL    $t_2,1
2127         $MULTU  $a_1,$a_6               # mul_add_c2(a[1],b[6],c2,c3,c1);
2128         slt     $a2,$t_1,$zero
2129         $ADDU   $t_2,$a2
2130         $SLL    $t_1,1
2131         $ADDU   $c_2,$t_1
2132         sltu    $at,$c_2,$t_1
2133         $ADDU   $t_2,$at
2134         $ADDU   $c_3,$t_2
2135         sltu    $at,$c_3,$t_2
2136         $ADDU   $c_1,$at
2137         mflo    $t_1
2138         mfhi    $t_2
2139         slt     $at,$t_2,$zero
2140         $ADDU   $c_1,$at
2141         $MULTU  $a_2,$a_5               # mul_add_c2(a[2],b[5],c2,c3,c1);
2142         $SLL    $t_2,1
2143         slt     $a2,$t_1,$zero
2144         $ADDU   $t_2,$a2
2145         $SLL    $t_1,1
2146         $ADDU   $c_2,$t_1
2147         sltu    $at,$c_2,$t_1
2148         $ADDU   $t_2,$at
2149         $ADDU   $c_3,$t_2
2150         sltu    $at,$c_3,$t_2
2151         $ADDU   $c_1,$at
2152         mflo    $t_1
2153         mfhi    $t_2
2154         slt     $at,$t_2,$zero
2155         $ADDU   $c_1,$at
2156         $MULTU  $a_3,$a_4               # mul_add_c2(a[3],b[4],c2,c3,c1);
2157         $SLL    $t_2,1
2158         slt     $a2,$t_1,$zero
2159         $ADDU   $t_2,$a2
2160         $SLL    $t_1,1
2161         $ADDU   $c_2,$t_1
2162         sltu    $at,$c_2,$t_1
2163         $ADDU   $t_2,$at
2164         $ADDU   $c_3,$t_2
2165         sltu    $at,$c_3,$t_2
2166         $ADDU   $c_1,$at
2167         mflo    $t_1
2168         mfhi    $t_2
2169         slt     $at,$t_2,$zero
2170         $ADDU   $c_1,$at
2171          $MULTU $a_7,$a_1               # mul_add_c2(a[7],b[1],c3,c1,c2);
2172         $SLL    $t_2,1
2173         slt     $a2,$t_1,$zero
2174         $ADDU   $t_2,$a2
2175         $SLL    $t_1,1
2176         $ADDU   $c_2,$t_1
2177         sltu    $at,$c_2,$t_1
2178         $ADDU   $t_2,$at
2179         $ADDU   $c_3,$t_2
2180         sltu    $at,$c_3,$t_2
2181         $ADDU   $c_1,$at
2182         $ST     $c_2,7*$BNSZ($a0)
2183
2184         mflo    $t_1
2185         mfhi    $t_2
2186         slt     $c_2,$t_2,$zero
2187         $SLL    $t_2,1
2188         $MULTU  $a_6,$a_2               # mul_add_c2(a[6],b[2],c3,c1,c2);
2189         slt     $a2,$t_1,$zero
2190         $ADDU   $t_2,$a2
2191         $SLL    $t_1,1
2192         $ADDU   $c_3,$t_1
2193         sltu    $at,$c_3,$t_1
2194         $ADDU   $t_2,$at
2195         $ADDU   $c_1,$t_2
2196         sltu    $at,$c_1,$t_2
2197         $ADDU   $c_2,$at
2198         mflo    $t_1
2199         mfhi    $t_2
2200         slt     $at,$t_2,$zero
2201         $ADDU   $c_2,$at
2202         $MULTU  $a_5,$a_3               # mul_add_c2(a[5],b[3],c3,c1,c2);
2203         $SLL    $t_2,1
2204         slt     $a2,$t_1,$zero
2205         $ADDU   $t_2,$a2
2206         $SLL    $t_1,1
2207         $ADDU   $c_3,$t_1
2208         sltu    $at,$c_3,$t_1
2209         $ADDU   $t_2,$at
2210         $ADDU   $c_1,$t_2
2211         sltu    $at,$c_1,$t_2
2212         $ADDU   $c_2,$at
2213         mflo    $t_1
2214         mfhi    $t_2
2215         slt     $at,$t_2,$zero
2216         $ADDU   $c_2,$at
2217         $MULTU  $a_4,$a_4               # mul_add_c(a[4],b[4],c3,c1,c2);
2218         $SLL    $t_2,1
2219         slt     $a2,$t_1,$zero
2220         $ADDU   $t_2,$a2
2221         $SLL    $t_1,1
2222         $ADDU   $c_3,$t_1
2223         sltu    $at,$c_3,$t_1
2224         $ADDU   $t_2,$at
2225         $ADDU   $c_1,$t_2
2226         sltu    $at,$c_1,$t_2
2227         $ADDU   $c_2,$at
2228         mflo    $t_1
2229         mfhi    $t_2
2230         $ADDU   $c_3,$t_1
2231         sltu    $at,$c_3,$t_1
2232          $MULTU $a_2,$a_7               # mul_add_c2(a[2],b[7],c1,c2,c3);
2233         $ADDU   $t_2,$at
2234         $ADDU   $c_1,$t_2
2235         sltu    $at,$c_1,$t_2
2236         $ADDU   $c_2,$at
2237         $ST     $c_3,8*$BNSZ($a0)
2238
2239         mflo    $t_1
2240         mfhi    $t_2
2241         slt     $c_3,$t_2,$zero
2242         $SLL    $t_2,1
2243         $MULTU  $a_3,$a_6               # mul_add_c2(a[3],b[6],c1,c2,c3);
2244         slt     $a2,$t_1,$zero
2245         $ADDU   $t_2,$a2
2246         $SLL    $t_1,1
2247         $ADDU   $c_1,$t_1
2248         sltu    $at,$c_1,$t_1
2249         $ADDU   $t_2,$at
2250         $ADDU   $c_2,$t_2
2251         sltu    $at,$c_2,$t_2
2252         $ADDU   $c_3,$at
2253         mflo    $t_1
2254         mfhi    $t_2
2255         slt     $at,$t_2,$zero
2256         $ADDU   $c_3,$at
2257         $MULTU  $a_4,$a_5               # mul_add_c2(a[4],b[5],c1,c2,c3);
2258         $SLL    $t_2,1
2259         slt     $a2,$t_1,$zero
2260         $ADDU   $t_2,$a2
2261         $SLL    $t_1,1
2262         $ADDU   $c_1,$t_1
2263         sltu    $at,$c_1,$t_1
2264         $ADDU   $t_2,$at
2265         $ADDU   $c_2,$t_2
2266         sltu    $at,$c_2,$t_2
2267         $ADDU   $c_3,$at
2268         mflo    $t_1
2269         mfhi    $t_2
2270         slt     $at,$t_2,$zero
2271         $ADDU   $c_3,$at
2272          $MULTU $a_7,$a_3               # mul_add_c2(a[7],b[3],c2,c3,c1);
2273         $SLL    $t_2,1
2274         slt     $a2,$t_1,$zero
2275         $ADDU   $t_2,$a2
2276         $SLL    $t_1,1
2277         $ADDU   $c_1,$t_1
2278         sltu    $at,$c_1,$t_1
2279         $ADDU   $t_2,$at
2280         $ADDU   $c_2,$t_2
2281         sltu    $at,$c_2,$t_2
2282         $ADDU   $c_3,$at
2283         $ST     $c_1,9*$BNSZ($a0)
2284
2285         mflo    $t_1
2286         mfhi    $t_2
2287         slt     $c_1,$t_2,$zero
2288         $SLL    $t_2,1
2289         $MULTU  $a_6,$a_4               # mul_add_c2(a[6],b[4],c2,c3,c1);
2290         slt     $a2,$t_1,$zero
2291         $ADDU   $t_2,$a2
2292         $SLL    $t_1,1
2293         $ADDU   $c_2,$t_1
2294         sltu    $at,$c_2,$t_1
2295         $ADDU   $t_2,$at
2296         $ADDU   $c_3,$t_2
2297         sltu    $at,$c_3,$t_2
2298         $ADDU   $c_1,$at
2299         mflo    $t_1
2300         mfhi    $t_2
2301         slt     $at,$t_2,$zero
2302         $ADDU   $c_1,$at
2303         $MULTU  $a_5,$a_5               # mul_add_c(a[5],b[5],c2,c3,c1);
2304         $SLL    $t_2,1
2305         slt     $a2,$t_1,$zero
2306         $ADDU   $t_2,$a2
2307         $SLL    $t_1,1
2308         $ADDU   $c_2,$t_1
2309         sltu    $at,$c_2,$t_1
2310         $ADDU   $t_2,$at
2311         $ADDU   $c_3,$t_2
2312         sltu    $at,$c_3,$t_2
2313         $ADDU   $c_1,$at
2314         mflo    $t_1
2315         mfhi    $t_2
2316         $ADDU   $c_2,$t_1
2317         sltu    $at,$c_2,$t_1
2318          $MULTU $a_4,$a_7               # mul_add_c2(a[4],b[7],c3,c1,c2);
2319         $ADDU   $t_2,$at
2320         $ADDU   $c_3,$t_2
2321         sltu    $at,$c_3,$t_2
2322         $ADDU   $c_1,$at
2323         $ST     $c_2,10*$BNSZ($a0)
2324
2325         mflo    $t_1
2326         mfhi    $t_2
2327         slt     $c_2,$t_2,$zero
2328         $SLL    $t_2,1
2329         $MULTU  $a_5,$a_6               # mul_add_c2(a[5],b[6],c3,c1,c2);
2330         slt     $a2,$t_1,$zero
2331         $ADDU   $t_2,$a2
2332         $SLL    $t_1,1
2333         $ADDU   $c_3,$t_1
2334         sltu    $at,$c_3,$t_1
2335         $ADDU   $t_2,$at
2336         $ADDU   $c_1,$t_2
2337         sltu    $at,$c_1,$t_2
2338         $ADDU   $c_2,$at
2339         mflo    $t_1
2340         mfhi    $t_2
2341         slt     $at,$t_2,$zero
2342         $ADDU   $c_2,$at
2343          $MULTU $a_7,$a_5               # mul_add_c2(a[7],b[5],c1,c2,c3);
2344         $SLL    $t_2,1
2345         slt     $a2,$t_1,$zero
2346         $ADDU   $t_2,$a2
2347         $SLL    $t_1,1
2348         $ADDU   $c_3,$t_1
2349         sltu    $at,$c_3,$t_1
2350         $ADDU   $t_2,$at
2351         $ADDU   $c_1,$t_2
2352         sltu    $at,$c_1,$t_2
2353         $ADDU   $c_2,$at
2354         $ST     $c_3,11*$BNSZ($a0)
2355
2356         mflo    $t_1
2357         mfhi    $t_2
2358         slt     $c_3,$t_2,$zero
2359         $SLL    $t_2,1
2360         $MULTU  $a_6,$a_6               # mul_add_c(a[6],b[6],c1,c2,c3);
2361         slt     $a2,$t_1,$zero
2362         $ADDU   $t_2,$a2
2363         $SLL    $t_1,1
2364         $ADDU   $c_1,$t_1
2365         sltu    $at,$c_1,$t_1
2366         $ADDU   $t_2,$at
2367         $ADDU   $c_2,$t_2
2368         sltu    $at,$c_2,$t_2
2369         $ADDU   $c_3,$at
2370         mflo    $t_1
2371         mfhi    $t_2
2372         $ADDU   $c_1,$t_1
2373         sltu    $at,$c_1,$t_1
2374          $MULTU $a_6,$a_7               # mul_add_c2(a[6],b[7],c2,c3,c1);
2375         $ADDU   $t_2,$at
2376         $ADDU   $c_2,$t_2
2377         sltu    $at,$c_2,$t_2
2378         $ADDU   $c_3,$at
2379         $ST     $c_1,12*$BNSZ($a0)
2380
2381         mflo    $t_1
2382         mfhi    $t_2
2383         slt     $c_1,$t_2,$zero
2384         $SLL    $t_2,1
2385          $MULTU $a_7,$a_7               # mul_add_c(a[7],b[7],c3,c1,c2);
2386         slt     $a2,$t_1,$zero
2387         $ADDU   $t_2,$a2
2388         $SLL    $t_1,1
2389         $ADDU   $c_2,$t_1
2390         sltu    $at,$c_2,$t_1
2391         $ADDU   $t_2,$at
2392         $ADDU   $c_3,$t_2
2393         sltu    $at,$c_3,$t_2
2394         $ADDU   $c_1,$at
2395         $ST     $c_2,13*$BNSZ($a0)
2396
2397         mflo    $t_1
2398         mfhi    $t_2
2399         $ADDU   $c_3,$t_1
2400         sltu    $at,$c_3,$t_1
2401         $ADDU   $t_2,$at
2402         $ADDU   $c_1,$t_2
2403         $ST     $c_3,14*$BNSZ($a0)
2404         $ST     $c_1,15*$BNSZ($a0)
2405
2406         .set    noreorder
2407 ___
2408 $code.=<<___ if ($flavour =~ /nubi/i);
2409         $REG_L  $t3,4*$SZREG($sp)
2410         $REG_L  $t2,3*$SZREG($sp)
2411         $REG_L  $t1,2*$SZREG($sp)
2412         $REG_L  $t0,1*$SZREG($sp)
2413         $REG_L  $gp,0*$SZREG($sp)
2414         $PTR_ADD $sp,6*$SZREG
2415 ___
2416 $code.=<<___;
2417         jr      $ra
2418         nop
2419 .end    bn_sqr_comba8
2420
2421 .align  5
2422 .globl  bn_sqr_comba4
2423 .ent    bn_sqr_comba4
2424 bn_sqr_comba4:
2425 ___
2426 $code.=<<___ if ($flavour =~ /nubi/i);
2427         .frame  $sp,6*$SZREG,$ra
2428         .mask   0x8000f008,-$SZREG
2429         .set    noreorder
2430         $PTR_SUB $sp,6*$SZREG
2431         $REG_S  $ra,5*$SZREG($sp)
2432         $REG_S  $t3,4*$SZREG($sp)
2433         $REG_S  $t2,3*$SZREG($sp)
2434         $REG_S  $t1,2*$SZREG($sp)
2435         $REG_S  $t0,1*$SZREG($sp)
2436         $REG_S  $gp,0*$SZREG($sp)
2437 ___
2438 $code.=<<___;
2439         .set    reorder
2440         $LD     $a_0,0($a1)
2441         $LD     $a_1,$BNSZ($a1)
2442         $MULTU  $a_0,$a_0               # mul_add_c(a[0],b[0],c1,c2,c3);
2443         $LD     $a_2,2*$BNSZ($a1)
2444         $LD     $a_3,3*$BNSZ($a1)
2445         mflo    $c_1
2446         mfhi    $c_2
2447         $ST     $c_1,0($a0)
2448
2449         $MULTU  $a_0,$a_1               # mul_add_c2(a[0],b[1],c2,c3,c1);
2450         mflo    $t_1
2451         mfhi    $t_2
2452         slt     $c_1,$t_2,$zero
2453         $SLL    $t_2,1
2454          $MULTU $a_2,$a_0               # mul_add_c2(a[2],b[0],c3,c1,c2);
2455         slt     $a2,$t_1,$zero
2456         $ADDU   $t_2,$a2
2457         $SLL    $t_1,1
2458         $ADDU   $c_2,$t_1
2459         sltu    $at,$c_2,$t_1
2460         $ADDU   $c_3,$t_2,$at
2461         $ST     $c_2,$BNSZ($a0)
2462
2463         mflo    $t_1
2464         mfhi    $t_2
2465         slt     $c_2,$t_2,$zero
2466         $SLL    $t_2,1
2467         $MULTU  $a_1,$a_1               # mul_add_c(a[1],b[1],c3,c1,c2);
2468         slt     $a2,$t_1,$zero
2469         $ADDU   $t_2,$a2
2470         $SLL    $t_1,1
2471         $ADDU   $c_3,$t_1
2472         sltu    $at,$c_3,$t_1
2473         $ADDU   $t_2,$at
2474         $ADDU   $c_1,$t_2
2475         sltu    $at,$c_1,$t_2
2476         $ADDU   $c_2,$at
2477         mflo    $t_1
2478         mfhi    $t_2
2479         $ADDU   $c_3,$t_1
2480         sltu    $at,$c_3,$t_1
2481          $MULTU $a_0,$a_3               # mul_add_c2(a[0],b[3],c1,c2,c3);
2482         $ADDU   $t_2,$at
2483         $ADDU   $c_1,$t_2
2484         sltu    $at,$c_1,$t_2
2485         $ADDU   $c_2,$at
2486         $ST     $c_3,2*$BNSZ($a0)
2487
2488         mflo    $t_1
2489         mfhi    $t_2
2490         slt     $c_3,$t_2,$zero
2491         $SLL    $t_2,1
2492         $MULTU  $a_1,$a_2               # mul_add_c(a2[1],b[2],c1,c2,c3);
2493         slt     $a2,$t_1,$zero
2494         $ADDU   $t_2,$a2
2495         $SLL    $t_1,1
2496         $ADDU   $c_1,$t_1
2497         sltu    $at,$c_1,$t_1
2498         $ADDU   $t_2,$at
2499         $ADDU   $c_2,$t_2
2500         sltu    $at,$c_2,$t_2
2501         $ADDU   $c_3,$at
2502         mflo    $t_1
2503         mfhi    $t_2
2504         slt     $at,$t_2,$zero
2505         $ADDU   $c_3,$at
2506          $MULTU $a_3,$a_1               # mul_add_c2(a[3],b[1],c2,c3,c1);
2507         $SLL    $t_2,1
2508         slt     $a2,$t_1,$zero
2509         $ADDU   $t_2,$a2
2510         $SLL    $t_1,1
2511         $ADDU   $c_1,$t_1
2512         sltu    $at,$c_1,$t_1
2513         $ADDU   $t_2,$at
2514         $ADDU   $c_2,$t_2
2515         sltu    $at,$c_2,$t_2
2516         $ADDU   $c_3,$at
2517         $ST     $c_1,3*$BNSZ($a0)
2518
2519         mflo    $t_1
2520         mfhi    $t_2
2521         slt     $c_1,$t_2,$zero
2522         $SLL    $t_2,1
2523         $MULTU  $a_2,$a_2               # mul_add_c(a[2],b[2],c2,c3,c1);
2524         slt     $a2,$t_1,$zero
2525         $ADDU   $t_2,$a2
2526         $SLL    $t_1,1
2527         $ADDU   $c_2,$t_1
2528         sltu    $at,$c_2,$t_1
2529         $ADDU   $t_2,$at
2530         $ADDU   $c_3,$t_2
2531         sltu    $at,$c_3,$t_2
2532         $ADDU   $c_1,$at
2533         mflo    $t_1
2534         mfhi    $t_2
2535         $ADDU   $c_2,$t_1
2536         sltu    $at,$c_2,$t_1
2537          $MULTU $a_2,$a_3               # mul_add_c2(a[2],b[3],c3,c1,c2);
2538         $ADDU   $t_2,$at
2539         $ADDU   $c_3,$t_2
2540         sltu    $at,$c_3,$t_2
2541         $ADDU   $c_1,$at
2542         $ST     $c_2,4*$BNSZ($a0)
2543
2544         mflo    $t_1
2545         mfhi    $t_2
2546         slt     $c_2,$t_2,$zero
2547         $SLL    $t_2,1
2548          $MULTU $a_3,$a_3               # mul_add_c(a[3],b[3],c1,c2,c3);
2549         slt     $a2,$t_1,$zero
2550         $ADDU   $t_2,$a2
2551         $SLL    $t_1,1
2552         $ADDU   $c_3,$t_1
2553         sltu    $at,$c_3,$t_1
2554         $ADDU   $t_2,$at
2555         $ADDU   $c_1,$t_2
2556         sltu    $at,$c_1,$t_2
2557         $ADDU   $c_2,$at
2558         $ST     $c_3,5*$BNSZ($a0)
2559
2560         mflo    $t_1
2561         mfhi    $t_2
2562         $ADDU   $c_1,$t_1
2563         sltu    $at,$c_1,$t_1
2564         $ADDU   $t_2,$at
2565         $ADDU   $c_2,$t_2
2566         $ST     $c_1,6*$BNSZ($a0)
2567         $ST     $c_2,7*$BNSZ($a0)
2568
2569         .set    noreorder
2570 ___
2571 $code.=<<___ if ($flavour =~ /nubi/i);
2572         $REG_L  $t3,4*$SZREG($sp)
2573         $REG_L  $t2,3*$SZREG($sp)
2574         $REG_L  $t1,2*$SZREG($sp)
2575         $REG_L  $t0,1*$SZREG($sp)
2576         $REG_L  $gp,0*$SZREG($sp)
2577         $PTR_ADD $sp,6*$SZREG
2578 ___
2579 $code.=<<___;
2580         jr      $ra
2581         nop
2582 .end    bn_sqr_comba4
2583 ___
2584 print $code;
2585 close STDOUT;