420f01f3a4c141f69ba03b0eb99f4e6a4121a81b
[openssl.git] / crypto / bn / asm / mips.pl
1 #! /usr/bin/env perl
2 # Copyright 2010-2016 The OpenSSL Project Authors. All Rights Reserved.
3 #
4 # Licensed under the OpenSSL license (the "License").  You may not use
5 # this file except in compliance with the License.  You can obtain a copy
6 # in the file LICENSE in the source distribution or at
7 # https://www.openssl.org/source/license.html
8
9 #
10 # ====================================================================
11 # Written by Andy Polyakov <appro@fy.chalmers.se> for the OpenSSL
12 # project.
13 #
14 # Rights for redistribution and usage in source and binary forms are
15 # granted according to the OpenSSL license. Warranty of any kind is
16 # disclaimed.
17 # ====================================================================
18
19
20 # July 1999
21 #
22 # This is drop-in MIPS III/IV ISA replacement for crypto/bn/bn_asm.c.
23 #
24 # The module is designed to work with either of the "new" MIPS ABI(5),
25 # namely N32 or N64, offered by IRIX 6.x. It's not meant to work under
26 # IRIX 5.x not only because it doesn't support new ABIs but also
27 # because 5.x kernels put R4x00 CPU into 32-bit mode and all those
28 # 64-bit instructions (daddu, dmultu, etc.) found below gonna only
29 # cause illegal instruction exception:-(
30 #
31 # In addition the code depends on preprocessor flags set up by MIPSpro
32 # compiler driver (either as or cc) and therefore (probably?) can't be
33 # compiled by the GNU assembler. GNU C driver manages fine though...
34 # I mean as long as -mmips-as is specified or is the default option,
35 # because then it simply invokes /usr/bin/as which in turn takes
36 # perfect care of the preprocessor definitions. Another neat feature
37 # offered by the MIPSpro assembler is an optimization pass. This gave
38 # me the opportunity to have the code looking more regular as all those
39 # architecture dependent instruction rescheduling details were left to
40 # the assembler. Cool, huh?
41 #
42 # Performance improvement is astonishing! 'apps/openssl speed rsa dsa'
43 # goes way over 3 times faster!
44 #
45 #                                       <appro@fy.chalmers.se>
46
47 # October 2010
48 #
49 # Adapt the module even for 32-bit ABIs and other OSes. The former was
50 # achieved by mechanical replacement of 64-bit arithmetic instructions
51 # such as dmultu, daddu, etc. with their 32-bit counterparts and
52 # adjusting offsets denoting multiples of BN_ULONG. Above mentioned
53 # >3x performance improvement naturally does not apply to 32-bit code
54 # [because there is no instruction 32-bit compiler can't use], one
55 # has to content with 40-85% improvement depending on benchmark and
56 # key length, more for longer keys.
57
58 $flavour = shift || "o32";
59 while (($output=shift) && ($output!~/\w[\w\-]*\.\w+$/)) {}
60 open STDOUT,">$output";
61
62 if ($flavour =~ /64|n32/i) {
63         $LD="ld";
64         $ST="sd";
65         $MULTU="dmultu";
66         $DIVU="ddivu";
67         $ADDU="daddu";
68         $SUBU="dsubu";
69         $SRL="dsrl";
70         $SLL="dsll";
71         $BNSZ=8;
72         $PTR_ADD="daddu";
73         $PTR_SUB="dsubu";
74         $SZREG=8;
75         $REG_S="sd";
76         $REG_L="ld";
77 } else {
78         $LD="lw";
79         $ST="sw";
80         $MULTU="multu";
81         $DIVU="divu";
82         $ADDU="addu";
83         $SUBU="subu";
84         $SRL="srl";
85         $SLL="sll";
86         $BNSZ=4;
87         $PTR_ADD="addu";
88         $PTR_SUB="subu";
89         $SZREG=4;
90         $REG_S="sw";
91         $REG_L="lw";
92         $code=".set     mips2\n";
93 }
94
95 # Below is N32/64 register layout used in the original module.
96 #
97 ($zero,$at,$v0,$v1)=map("\$$_",(0..3));
98 ($a0,$a1,$a2,$a3,$a4,$a5,$a6,$a7)=map("\$$_",(4..11));
99 ($t0,$t1,$t2,$t3,$t8,$t9)=map("\$$_",(12..15,24,25));
100 ($s0,$s1,$s2,$s3,$s4,$s5,$s6,$s7)=map("\$$_",(16..23));
101 ($gp,$sp,$fp,$ra)=map("\$$_",(28..31));
102 ($ta0,$ta1,$ta2,$ta3)=($a4,$a5,$a6,$a7);
103 #
104 # No special adaptation is required for O32. NUBI on the other hand
105 # is treated by saving/restoring ($v1,$t0..$t3).
106
107 $gp=$v1 if ($flavour =~ /nubi/i);
108
109 $minus4=$v1;
110
111 $code.=<<___;
112 .rdata
113 .asciiz "mips3.s, Version 1.2"
114 .asciiz "MIPS II/III/IV ISA artwork by Andy Polyakov <appro\@fy.chalmers.se>"
115
116 .text
117 .set    noat
118
119 .align  5
120 .globl  bn_mul_add_words
121 .ent    bn_mul_add_words
122 bn_mul_add_words:
123         .set    noreorder
124         bgtz    $a2,bn_mul_add_words_internal
125         move    $v0,$zero
126         jr      $ra
127         move    $a0,$v0
128 .end    bn_mul_add_words
129
130 .align  5
131 .ent    bn_mul_add_words_internal
132 bn_mul_add_words_internal:
133 ___
134 $code.=<<___ if ($flavour =~ /nubi/i);
135         .frame  $sp,6*$SZREG,$ra
136         .mask   0x8000f008,-$SZREG
137         .set    noreorder
138         $PTR_SUB $sp,6*$SZREG
139         $REG_S  $ra,5*$SZREG($sp)
140         $REG_S  $t3,4*$SZREG($sp)
141         $REG_S  $t2,3*$SZREG($sp)
142         $REG_S  $t1,2*$SZREG($sp)
143         $REG_S  $t0,1*$SZREG($sp)
144         $REG_S  $gp,0*$SZREG($sp)
145 ___
146 $code.=<<___;
147         .set    reorder
148         li      $minus4,-4
149         and     $ta0,$a2,$minus4
150         beqz    $ta0,.L_bn_mul_add_words_tail
151
152 .L_bn_mul_add_words_loop:
153         $LD     $t0,0($a1)
154         $MULTU  $t0,$a3
155         $LD     $t1,0($a0)
156         $LD     $t2,$BNSZ($a1)
157         $LD     $t3,$BNSZ($a0)
158         $LD     $ta0,2*$BNSZ($a1)
159         $LD     $ta1,2*$BNSZ($a0)
160         $ADDU   $t1,$v0
161         sltu    $v0,$t1,$v0     # All manuals say it "compares 32-bit
162                                 # values", but it seems to work fine
163                                 # even on 64-bit registers.
164         mflo    $at
165         mfhi    $t0
166         $ADDU   $t1,$at
167         $ADDU   $v0,$t0
168          $MULTU $t2,$a3
169         sltu    $at,$t1,$at
170         $ST     $t1,0($a0)
171         $ADDU   $v0,$at
172
173         $LD     $ta2,3*$BNSZ($a1)
174         $LD     $ta3,3*$BNSZ($a0)
175         $ADDU   $t3,$v0
176         sltu    $v0,$t3,$v0
177         mflo    $at
178         mfhi    $t2
179         $ADDU   $t3,$at
180         $ADDU   $v0,$t2
181          $MULTU $ta0,$a3
182         sltu    $at,$t3,$at
183         $ST     $t3,$BNSZ($a0)
184         $ADDU   $v0,$at
185
186         subu    $a2,4
187         $PTR_ADD $a0,4*$BNSZ
188         $PTR_ADD $a1,4*$BNSZ
189         $ADDU   $ta1,$v0
190         sltu    $v0,$ta1,$v0
191         mflo    $at
192         mfhi    $ta0
193         $ADDU   $ta1,$at
194         $ADDU   $v0,$ta0
195          $MULTU $ta2,$a3
196         sltu    $at,$ta1,$at
197         $ST     $ta1,-2*$BNSZ($a0)
198         $ADDU   $v0,$at
199
200
201         and     $ta0,$a2,$minus4
202         $ADDU   $ta3,$v0
203         sltu    $v0,$ta3,$v0
204         mflo    $at
205         mfhi    $ta2
206         $ADDU   $ta3,$at
207         $ADDU   $v0,$ta2
208         sltu    $at,$ta3,$at
209         $ST     $ta3,-$BNSZ($a0)
210         .set    noreorder
211         bgtz    $ta0,.L_bn_mul_add_words_loop
212         $ADDU   $v0,$at
213
214         beqz    $a2,.L_bn_mul_add_words_return
215         nop
216
217 .L_bn_mul_add_words_tail:
218         .set    reorder
219         $LD     $t0,0($a1)
220         $MULTU  $t0,$a3
221         $LD     $t1,0($a0)
222         subu    $a2,1
223         $ADDU   $t1,$v0
224         sltu    $v0,$t1,$v0
225         mflo    $at
226         mfhi    $t0
227         $ADDU   $t1,$at
228         $ADDU   $v0,$t0
229         sltu    $at,$t1,$at
230         $ST     $t1,0($a0)
231         $ADDU   $v0,$at
232         beqz    $a2,.L_bn_mul_add_words_return
233
234         $LD     $t0,$BNSZ($a1)
235         $MULTU  $t0,$a3
236         $LD     $t1,$BNSZ($a0)
237         subu    $a2,1
238         $ADDU   $t1,$v0
239         sltu    $v0,$t1,$v0
240         mflo    $at
241         mfhi    $t0
242         $ADDU   $t1,$at
243         $ADDU   $v0,$t0
244         sltu    $at,$t1,$at
245         $ST     $t1,$BNSZ($a0)
246         $ADDU   $v0,$at
247         beqz    $a2,.L_bn_mul_add_words_return
248
249         $LD     $t0,2*$BNSZ($a1)
250         $MULTU  $t0,$a3
251         $LD     $t1,2*$BNSZ($a0)
252         $ADDU   $t1,$v0
253         sltu    $v0,$t1,$v0
254         mflo    $at
255         mfhi    $t0
256         $ADDU   $t1,$at
257         $ADDU   $v0,$t0
258         sltu    $at,$t1,$at
259         $ST     $t1,2*$BNSZ($a0)
260         $ADDU   $v0,$at
261
262 .L_bn_mul_add_words_return:
263         .set    noreorder
264 ___
265 $code.=<<___ if ($flavour =~ /nubi/i);
266         $REG_L  $t3,4*$SZREG($sp)
267         $REG_L  $t2,3*$SZREG($sp)
268         $REG_L  $t1,2*$SZREG($sp)
269         $REG_L  $t0,1*$SZREG($sp)
270         $REG_L  $gp,0*$SZREG($sp)
271         $PTR_ADD $sp,6*$SZREG
272 ___
273 $code.=<<___;
274         jr      $ra
275         move    $a0,$v0
276 .end    bn_mul_add_words_internal
277
278 .align  5
279 .globl  bn_mul_words
280 .ent    bn_mul_words
281 bn_mul_words:
282         .set    noreorder
283         bgtz    $a2,bn_mul_words_internal
284         move    $v0,$zero
285         jr      $ra
286         move    $a0,$v0
287 .end    bn_mul_words
288
289 .align  5
290 .ent    bn_mul_words_internal
291 bn_mul_words_internal:
292 ___
293 $code.=<<___ if ($flavour =~ /nubi/i);
294         .frame  $sp,6*$SZREG,$ra
295         .mask   0x8000f008,-$SZREG
296         .set    noreorder
297         $PTR_SUB $sp,6*$SZREG
298         $REG_S  $ra,5*$SZREG($sp)
299         $REG_S  $t3,4*$SZREG($sp)
300         $REG_S  $t2,3*$SZREG($sp)
301         $REG_S  $t1,2*$SZREG($sp)
302         $REG_S  $t0,1*$SZREG($sp)
303         $REG_S  $gp,0*$SZREG($sp)
304 ___
305 $code.=<<___;
306         .set    reorder
307         li      $minus4,-4
308         and     $ta0,$a2,$minus4
309         beqz    $ta0,.L_bn_mul_words_tail
310
311 .L_bn_mul_words_loop:
312         $LD     $t0,0($a1)
313         $MULTU  $t0,$a3
314         $LD     $t2,$BNSZ($a1)
315         $LD     $ta0,2*$BNSZ($a1)
316         $LD     $ta2,3*$BNSZ($a1)
317         mflo    $at
318         mfhi    $t0
319         $ADDU   $v0,$at
320         sltu    $t1,$v0,$at
321          $MULTU $t2,$a3
322         $ST     $v0,0($a0)
323         $ADDU   $v0,$t1,$t0
324
325         subu    $a2,4
326         $PTR_ADD $a0,4*$BNSZ
327         $PTR_ADD $a1,4*$BNSZ
328         mflo    $at
329         mfhi    $t2
330         $ADDU   $v0,$at
331         sltu    $t3,$v0,$at
332          $MULTU $ta0,$a3
333         $ST     $v0,-3*$BNSZ($a0)
334         $ADDU   $v0,$t3,$t2
335
336         mflo    $at
337         mfhi    $ta0
338         $ADDU   $v0,$at
339         sltu    $ta1,$v0,$at
340          $MULTU $ta2,$a3
341         $ST     $v0,-2*$BNSZ($a0)
342         $ADDU   $v0,$ta1,$ta0
343
344         and     $ta0,$a2,$minus4
345         mflo    $at
346         mfhi    $ta2
347         $ADDU   $v0,$at
348         sltu    $ta3,$v0,$at
349         $ST     $v0,-$BNSZ($a0)
350         .set    noreorder
351         bgtz    $ta0,.L_bn_mul_words_loop
352         $ADDU   $v0,$ta3,$ta2
353
354         beqz    $a2,.L_bn_mul_words_return
355         nop
356
357 .L_bn_mul_words_tail:
358         .set    reorder
359         $LD     $t0,0($a1)
360         $MULTU  $t0,$a3
361         subu    $a2,1
362         mflo    $at
363         mfhi    $t0
364         $ADDU   $v0,$at
365         sltu    $t1,$v0,$at
366         $ST     $v0,0($a0)
367         $ADDU   $v0,$t1,$t0
368         beqz    $a2,.L_bn_mul_words_return
369
370         $LD     $t0,$BNSZ($a1)
371         $MULTU  $t0,$a3
372         subu    $a2,1
373         mflo    $at
374         mfhi    $t0
375         $ADDU   $v0,$at
376         sltu    $t1,$v0,$at
377         $ST     $v0,$BNSZ($a0)
378         $ADDU   $v0,$t1,$t0
379         beqz    $a2,.L_bn_mul_words_return
380
381         $LD     $t0,2*$BNSZ($a1)
382         $MULTU  $t0,$a3
383         mflo    $at
384         mfhi    $t0
385         $ADDU   $v0,$at
386         sltu    $t1,$v0,$at
387         $ST     $v0,2*$BNSZ($a0)
388         $ADDU   $v0,$t1,$t0
389
390 .L_bn_mul_words_return:
391         .set    noreorder
392 ___
393 $code.=<<___ if ($flavour =~ /nubi/i);
394         $REG_L  $t3,4*$SZREG($sp)
395         $REG_L  $t2,3*$SZREG($sp)
396         $REG_L  $t1,2*$SZREG($sp)
397         $REG_L  $t0,1*$SZREG($sp)
398         $REG_L  $gp,0*$SZREG($sp)
399         $PTR_ADD $sp,6*$SZREG
400 ___
401 $code.=<<___;
402         jr      $ra
403         move    $a0,$v0
404 .end    bn_mul_words_internal
405
406 .align  5
407 .globl  bn_sqr_words
408 .ent    bn_sqr_words
409 bn_sqr_words:
410         .set    noreorder
411         bgtz    $a2,bn_sqr_words_internal
412         move    $v0,$zero
413         jr      $ra
414         move    $a0,$v0
415 .end    bn_sqr_words
416
417 .align  5
418 .ent    bn_sqr_words_internal
419 bn_sqr_words_internal:
420 ___
421 $code.=<<___ if ($flavour =~ /nubi/i);
422         .frame  $sp,6*$SZREG,$ra
423         .mask   0x8000f008,-$SZREG
424         .set    noreorder
425         $PTR_SUB $sp,6*$SZREG
426         $REG_S  $ra,5*$SZREG($sp)
427         $REG_S  $t3,4*$SZREG($sp)
428         $REG_S  $t2,3*$SZREG($sp)
429         $REG_S  $t1,2*$SZREG($sp)
430         $REG_S  $t0,1*$SZREG($sp)
431         $REG_S  $gp,0*$SZREG($sp)
432 ___
433 $code.=<<___;
434         .set    reorder
435         li      $minus4,-4
436         and     $ta0,$a2,$minus4
437         beqz    $ta0,.L_bn_sqr_words_tail
438
439 .L_bn_sqr_words_loop:
440         $LD     $t0,0($a1)
441         $MULTU  $t0,$t0
442         $LD     $t2,$BNSZ($a1)
443         $LD     $ta0,2*$BNSZ($a1)
444         $LD     $ta2,3*$BNSZ($a1)
445         mflo    $t1
446         mfhi    $t0
447         $ST     $t1,0($a0)
448         $ST     $t0,$BNSZ($a0)
449
450         $MULTU  $t2,$t2
451         subu    $a2,4
452         $PTR_ADD $a0,8*$BNSZ
453         $PTR_ADD $a1,4*$BNSZ
454         mflo    $t3
455         mfhi    $t2
456         $ST     $t3,-6*$BNSZ($a0)
457         $ST     $t2,-5*$BNSZ($a0)
458
459         $MULTU  $ta0,$ta0
460         mflo    $ta1
461         mfhi    $ta0
462         $ST     $ta1,-4*$BNSZ($a0)
463         $ST     $ta0,-3*$BNSZ($a0)
464
465
466         $MULTU  $ta2,$ta2
467         and     $ta0,$a2,$minus4
468         mflo    $ta3
469         mfhi    $ta2
470         $ST     $ta3,-2*$BNSZ($a0)
471
472         .set    noreorder
473         bgtz    $ta0,.L_bn_sqr_words_loop
474         $ST     $ta2,-$BNSZ($a0)
475
476         beqz    $a2,.L_bn_sqr_words_return
477         nop
478
479 .L_bn_sqr_words_tail:
480         .set    reorder
481         $LD     $t0,0($a1)
482         $MULTU  $t0,$t0
483         subu    $a2,1
484         mflo    $t1
485         mfhi    $t0
486         $ST     $t1,0($a0)
487         $ST     $t0,$BNSZ($a0)
488         beqz    $a2,.L_bn_sqr_words_return
489
490         $LD     $t0,$BNSZ($a1)
491         $MULTU  $t0,$t0
492         subu    $a2,1
493         mflo    $t1
494         mfhi    $t0
495         $ST     $t1,2*$BNSZ($a0)
496         $ST     $t0,3*$BNSZ($a0)
497         beqz    $a2,.L_bn_sqr_words_return
498
499         $LD     $t0,2*$BNSZ($a1)
500         $MULTU  $t0,$t0
501         mflo    $t1
502         mfhi    $t0
503         $ST     $t1,4*$BNSZ($a0)
504         $ST     $t0,5*$BNSZ($a0)
505
506 .L_bn_sqr_words_return:
507         .set    noreorder
508 ___
509 $code.=<<___ if ($flavour =~ /nubi/i);
510         $REG_L  $t3,4*$SZREG($sp)
511         $REG_L  $t2,3*$SZREG($sp)
512         $REG_L  $t1,2*$SZREG($sp)
513         $REG_L  $t0,1*$SZREG($sp)
514         $REG_L  $gp,0*$SZREG($sp)
515         $PTR_ADD $sp,6*$SZREG
516 ___
517 $code.=<<___;
518         jr      $ra
519         move    $a0,$v0
520
521 .end    bn_sqr_words_internal
522
523 .align  5
524 .globl  bn_add_words
525 .ent    bn_add_words
526 bn_add_words:
527         .set    noreorder
528         bgtz    $a3,bn_add_words_internal
529         move    $v0,$zero
530         jr      $ra
531         move    $a0,$v0
532 .end    bn_add_words
533
534 .align  5
535 .ent    bn_add_words_internal
536 bn_add_words_internal:
537 ___
538 $code.=<<___ if ($flavour =~ /nubi/i);
539         .frame  $sp,6*$SZREG,$ra
540         .mask   0x8000f008,-$SZREG
541         .set    noreorder
542         $PTR_SUB $sp,6*$SZREG
543         $REG_S  $ra,5*$SZREG($sp)
544         $REG_S  $t3,4*$SZREG($sp)
545         $REG_S  $t2,3*$SZREG($sp)
546         $REG_S  $t1,2*$SZREG($sp)
547         $REG_S  $t0,1*$SZREG($sp)
548         $REG_S  $gp,0*$SZREG($sp)
549 ___
550 $code.=<<___;
551         .set    reorder
552         li      $minus4,-4
553         and     $at,$a3,$minus4
554         beqz    $at,.L_bn_add_words_tail
555
556 .L_bn_add_words_loop:
557         $LD     $t0,0($a1)
558         $LD     $ta0,0($a2)
559         subu    $a3,4
560         $LD     $t1,$BNSZ($a1)
561         and     $at,$a3,$minus4
562         $LD     $t2,2*$BNSZ($a1)
563         $PTR_ADD $a2,4*$BNSZ
564         $LD     $t3,3*$BNSZ($a1)
565         $PTR_ADD $a0,4*$BNSZ
566         $LD     $ta1,-3*$BNSZ($a2)
567         $PTR_ADD $a1,4*$BNSZ
568         $LD     $ta2,-2*$BNSZ($a2)
569         $LD     $ta3,-$BNSZ($a2)
570         $ADDU   $ta0,$t0
571         sltu    $t8,$ta0,$t0
572         $ADDU   $t0,$ta0,$v0
573         sltu    $v0,$t0,$ta0
574         $ST     $t0,-4*$BNSZ($a0)
575         $ADDU   $v0,$t8
576
577         $ADDU   $ta1,$t1
578         sltu    $t9,$ta1,$t1
579         $ADDU   $t1,$ta1,$v0
580         sltu    $v0,$t1,$ta1
581         $ST     $t1,-3*$BNSZ($a0)
582         $ADDU   $v0,$t9
583
584         $ADDU   $ta2,$t2
585         sltu    $t8,$ta2,$t2
586         $ADDU   $t2,$ta2,$v0
587         sltu    $v0,$t2,$ta2
588         $ST     $t2,-2*$BNSZ($a0)
589         $ADDU   $v0,$t8
590         
591         $ADDU   $ta3,$t3
592         sltu    $t9,$ta3,$t3
593         $ADDU   $t3,$ta3,$v0
594         sltu    $v0,$t3,$ta3
595         $ST     $t3,-$BNSZ($a0)
596         
597         .set    noreorder
598         bgtz    $at,.L_bn_add_words_loop
599         $ADDU   $v0,$t9
600
601         beqz    $a3,.L_bn_add_words_return
602         nop
603
604 .L_bn_add_words_tail:
605         .set    reorder
606         $LD     $t0,0($a1)
607         $LD     $ta0,0($a2)
608         $ADDU   $ta0,$t0
609         subu    $a3,1
610         sltu    $t8,$ta0,$t0
611         $ADDU   $t0,$ta0,$v0
612         sltu    $v0,$t0,$ta0
613         $ST     $t0,0($a0)
614         $ADDU   $v0,$t8
615         beqz    $a3,.L_bn_add_words_return
616
617         $LD     $t1,$BNSZ($a1)
618         $LD     $ta1,$BNSZ($a2)
619         $ADDU   $ta1,$t1
620         subu    $a3,1
621         sltu    $t9,$ta1,$t1
622         $ADDU   $t1,$ta1,$v0
623         sltu    $v0,$t1,$ta1
624         $ST     $t1,$BNSZ($a0)
625         $ADDU   $v0,$t9
626         beqz    $a3,.L_bn_add_words_return
627
628         $LD     $t2,2*$BNSZ($a1)
629         $LD     $ta2,2*$BNSZ($a2)
630         $ADDU   $ta2,$t2
631         sltu    $t8,$ta2,$t2
632         $ADDU   $t2,$ta2,$v0
633         sltu    $v0,$t2,$ta2
634         $ST     $t2,2*$BNSZ($a0)
635         $ADDU   $v0,$t8
636
637 .L_bn_add_words_return:
638         .set    noreorder
639 ___
640 $code.=<<___ if ($flavour =~ /nubi/i);
641         $REG_L  $t3,4*$SZREG($sp)
642         $REG_L  $t2,3*$SZREG($sp)
643         $REG_L  $t1,2*$SZREG($sp)
644         $REG_L  $t0,1*$SZREG($sp)
645         $REG_L  $gp,0*$SZREG($sp)
646         $PTR_ADD $sp,6*$SZREG
647 ___
648 $code.=<<___;
649         jr      $ra
650         move    $a0,$v0
651
652 .end    bn_add_words_internal
653
654 .align  5
655 .globl  bn_sub_words
656 .ent    bn_sub_words
657 bn_sub_words:
658         .set    noreorder
659         bgtz    $a3,bn_sub_words_internal
660         move    $v0,$zero
661         jr      $ra
662         move    $a0,$zero
663 .end    bn_sub_words
664
665 .align  5
666 .ent    bn_sub_words_internal
667 bn_sub_words_internal:
668 ___
669 $code.=<<___ if ($flavour =~ /nubi/i);
670         .frame  $sp,6*$SZREG,$ra
671         .mask   0x8000f008,-$SZREG
672         .set    noreorder
673         $PTR_SUB $sp,6*$SZREG
674         $REG_S  $ra,5*$SZREG($sp)
675         $REG_S  $t3,4*$SZREG($sp)
676         $REG_S  $t2,3*$SZREG($sp)
677         $REG_S  $t1,2*$SZREG($sp)
678         $REG_S  $t0,1*$SZREG($sp)
679         $REG_S  $gp,0*$SZREG($sp)
680 ___
681 $code.=<<___;
682         .set    reorder
683         li      $minus4,-4
684         and     $at,$a3,$minus4
685         beqz    $at,.L_bn_sub_words_tail
686
687 .L_bn_sub_words_loop:
688         $LD     $t0,0($a1)
689         $LD     $ta0,0($a2)
690         subu    $a3,4
691         $LD     $t1,$BNSZ($a1)
692         and     $at,$a3,$minus4
693         $LD     $t2,2*$BNSZ($a1)
694         $PTR_ADD $a2,4*$BNSZ
695         $LD     $t3,3*$BNSZ($a1)
696         $PTR_ADD $a0,4*$BNSZ
697         $LD     $ta1,-3*$BNSZ($a2)
698         $PTR_ADD $a1,4*$BNSZ
699         $LD     $ta2,-2*$BNSZ($a2)
700         $LD     $ta3,-$BNSZ($a2)
701         sltu    $t8,$t0,$ta0
702         $SUBU   $ta0,$t0,$ta0
703         $SUBU   $t0,$ta0,$v0
704         sgtu    $v0,$t0,$ta0
705         $ST     $t0,-4*$BNSZ($a0)
706         $ADDU   $v0,$t8
707
708         sltu    $t9,$t1,$ta1
709         $SUBU   $ta1,$t1,$ta1
710         $SUBU   $t1,$ta1,$v0
711         sgtu    $v0,$t1,$ta1
712         $ST     $t1,-3*$BNSZ($a0)
713         $ADDU   $v0,$t9
714
715
716         sltu    $t8,$t2,$ta2
717         $SUBU   $ta2,$t2,$ta2
718         $SUBU   $t2,$ta2,$v0
719         sgtu    $v0,$t2,$ta2
720         $ST     $t2,-2*$BNSZ($a0)
721         $ADDU   $v0,$t8
722
723         sltu    $t9,$t3,$ta3
724         $SUBU   $ta3,$t3,$ta3
725         $SUBU   $t3,$ta3,$v0
726         sgtu    $v0,$t3,$ta3
727         $ST     $t3,-$BNSZ($a0)
728
729         .set    noreorder
730         bgtz    $at,.L_bn_sub_words_loop
731         $ADDU   $v0,$t9
732
733         beqz    $a3,.L_bn_sub_words_return
734         nop
735
736 .L_bn_sub_words_tail:
737         .set    reorder
738         $LD     $t0,0($a1)
739         $LD     $ta0,0($a2)
740         subu    $a3,1
741         sltu    $t8,$t0,$ta0
742         $SUBU   $ta0,$t0,$ta0
743         $SUBU   $t0,$ta0,$v0
744         sgtu    $v0,$t0,$ta0
745         $ST     $t0,0($a0)
746         $ADDU   $v0,$t8
747         beqz    $a3,.L_bn_sub_words_return
748
749         $LD     $t1,$BNSZ($a1)
750         subu    $a3,1
751         $LD     $ta1,$BNSZ($a2)
752         sltu    $t9,$t1,$ta1
753         $SUBU   $ta1,$t1,$ta1
754         $SUBU   $t1,$ta1,$v0
755         sgtu    $v0,$t1,$ta1
756         $ST     $t1,$BNSZ($a0)
757         $ADDU   $v0,$t9
758         beqz    $a3,.L_bn_sub_words_return
759
760         $LD     $t2,2*$BNSZ($a1)
761         $LD     $ta2,2*$BNSZ($a2)
762         sltu    $t8,$t2,$ta2
763         $SUBU   $ta2,$t2,$ta2
764         $SUBU   $t2,$ta2,$v0
765         sgtu    $v0,$t2,$ta2
766         $ST     $t2,2*$BNSZ($a0)
767         $ADDU   $v0,$t8
768
769 .L_bn_sub_words_return:
770         .set    noreorder
771 ___
772 $code.=<<___ if ($flavour =~ /nubi/i);
773         $REG_L  $t3,4*$SZREG($sp)
774         $REG_L  $t2,3*$SZREG($sp)
775         $REG_L  $t1,2*$SZREG($sp)
776         $REG_L  $t0,1*$SZREG($sp)
777         $REG_L  $gp,0*$SZREG($sp)
778         $PTR_ADD $sp,6*$SZREG
779 ___
780 $code.=<<___;
781         jr      $ra
782         move    $a0,$v0
783 .end    bn_sub_words_internal
784
785 .align 5
786 .globl  bn_div_3_words
787 .ent    bn_div_3_words
788 bn_div_3_words:
789         .set    noreorder
790         move    $a3,$a0         # we know that bn_div_words does not
791                                 # touch $a3, $ta2, $ta3 and preserves $a2
792                                 # so that we can save two arguments
793                                 # and return address in registers
794                                 # instead of stack:-)
795                                 
796         $LD     $a0,($a3)
797         move    $ta2,$a1
798         bne     $a0,$a2,bn_div_3_words_internal
799         $LD     $a1,-$BNSZ($a3)
800         li      $v0,-1
801         jr      $ra
802         move    $a0,$v0
803 .end    bn_div_3_words
804
805 .align  5
806 .ent    bn_div_3_words_internal
807 bn_div_3_words_internal:
808 ___
809 $code.=<<___ if ($flavour =~ /nubi/i);
810         .frame  $sp,6*$SZREG,$ra
811         .mask   0x8000f008,-$SZREG
812         .set    noreorder
813         $PTR_SUB $sp,6*$SZREG
814         $REG_S  $ra,5*$SZREG($sp)
815         $REG_S  $t3,4*$SZREG($sp)
816         $REG_S  $t2,3*$SZREG($sp)
817         $REG_S  $t1,2*$SZREG($sp)
818         $REG_S  $t0,1*$SZREG($sp)
819         $REG_S  $gp,0*$SZREG($sp)
820 ___
821 $code.=<<___;
822         .set    reorder
823         move    $ta3,$ra
824         bal     bn_div_words_internal
825         move    $ra,$ta3
826         $MULTU  $ta2,$v0
827         $LD     $t2,-2*$BNSZ($a3)
828         move    $ta0,$zero
829         mfhi    $t1
830         mflo    $t0
831         sltu    $t8,$t1,$a1
832 .L_bn_div_3_words_inner_loop:
833         bnez    $t8,.L_bn_div_3_words_inner_loop_done
834         sgeu    $at,$t2,$t0
835         seq     $t9,$t1,$a1
836         and     $at,$t9
837         sltu    $t3,$t0,$ta2
838         $ADDU   $a1,$a2
839         $SUBU   $t1,$t3
840         $SUBU   $t0,$ta2
841         sltu    $t8,$t1,$a1
842         sltu    $ta0,$a1,$a2
843         or      $t8,$ta0
844         .set    noreorder
845         beqz    $at,.L_bn_div_3_words_inner_loop
846         $SUBU   $v0,1
847         $ADDU   $v0,1
848         .set    reorder
849 .L_bn_div_3_words_inner_loop_done:
850         .set    noreorder
851 ___
852 $code.=<<___ if ($flavour =~ /nubi/i);
853         $REG_L  $t3,4*$SZREG($sp)
854         $REG_L  $t2,3*$SZREG($sp)
855         $REG_L  $t1,2*$SZREG($sp)
856         $REG_L  $t0,1*$SZREG($sp)
857         $REG_L  $gp,0*$SZREG($sp)
858         $PTR_ADD $sp,6*$SZREG
859 ___
860 $code.=<<___;
861         jr      $ra
862         move    $a0,$v0
863 .end    bn_div_3_words_internal
864
865 .align  5
866 .globl  bn_div_words
867 .ent    bn_div_words
868 bn_div_words:
869         .set    noreorder
870         bnez    $a2,bn_div_words_internal
871         li      $v0,-1          # I would rather signal div-by-zero
872                                 # which can be done with 'break 7'
873         jr      $ra
874         move    $a0,$v0
875 .end    bn_div_words
876
877 .align  5
878 .ent    bn_div_words_internal
879 bn_div_words_internal:
880 ___
881 $code.=<<___ if ($flavour =~ /nubi/i);
882         .frame  $sp,6*$SZREG,$ra
883         .mask   0x8000f008,-$SZREG
884         .set    noreorder
885         $PTR_SUB $sp,6*$SZREG
886         $REG_S  $ra,5*$SZREG($sp)
887         $REG_S  $t3,4*$SZREG($sp)
888         $REG_S  $t2,3*$SZREG($sp)
889         $REG_S  $t1,2*$SZREG($sp)
890         $REG_S  $t0,1*$SZREG($sp)
891         $REG_S  $gp,0*$SZREG($sp)
892 ___
893 $code.=<<___;
894         move    $v1,$zero
895         bltz    $a2,.L_bn_div_words_body
896         move    $t9,$v1
897         $SLL    $a2,1
898         bgtz    $a2,.-4
899         addu    $t9,1
900
901         .set    reorder
902         negu    $t1,$t9
903         li      $t2,-1
904         $SLL    $t2,$t1
905         and     $t2,$a0
906         $SRL    $at,$a1,$t1
907         .set    noreorder
908         beqz    $t2,.+12
909         nop
910         break   6               # signal overflow
911         .set    reorder
912         $SLL    $a0,$t9
913         $SLL    $a1,$t9
914         or      $a0,$at
915 ___
916 $QT=$ta0;
917 $HH=$ta1;
918 $DH=$v1;
919 $code.=<<___;
920 .L_bn_div_words_body:
921         $SRL    $DH,$a2,4*$BNSZ # bits
922         sgeu    $at,$a0,$a2
923         .set    noreorder
924         beqz    $at,.+12
925         nop
926         $SUBU   $a0,$a2
927         .set    reorder
928
929         li      $QT,-1
930         $SRL    $HH,$a0,4*$BNSZ # bits
931         $SRL    $QT,4*$BNSZ     # q=0xffffffff
932         beq     $DH,$HH,.L_bn_div_words_skip_div1
933         $DIVU   $zero,$a0,$DH
934         mflo    $QT
935 .L_bn_div_words_skip_div1:
936         $MULTU  $a2,$QT
937         $SLL    $t3,$a0,4*$BNSZ # bits
938         $SRL    $at,$a1,4*$BNSZ # bits
939         or      $t3,$at
940         mflo    $t0
941         mfhi    $t1
942 .L_bn_div_words_inner_loop1:
943         sltu    $t2,$t3,$t0
944         seq     $t8,$HH,$t1
945         sltu    $at,$HH,$t1
946         and     $t2,$t8
947         sltu    $v0,$t0,$a2
948         or      $at,$t2
949         .set    noreorder
950         beqz    $at,.L_bn_div_words_inner_loop1_done
951         $SUBU   $t1,$v0
952         $SUBU   $t0,$a2
953         b       .L_bn_div_words_inner_loop1
954         $SUBU   $QT,1
955         .set    reorder
956 .L_bn_div_words_inner_loop1_done:
957
958         $SLL    $a1,4*$BNSZ     # bits
959         $SUBU   $a0,$t3,$t0
960         $SLL    $v0,$QT,4*$BNSZ # bits
961
962         li      $QT,-1
963         $SRL    $HH,$a0,4*$BNSZ # bits
964         $SRL    $QT,4*$BNSZ     # q=0xffffffff
965         beq     $DH,$HH,.L_bn_div_words_skip_div2
966         $DIVU   $zero,$a0,$DH
967         mflo    $QT
968 .L_bn_div_words_skip_div2:
969         $MULTU  $a2,$QT
970         $SLL    $t3,$a0,4*$BNSZ # bits
971         $SRL    $at,$a1,4*$BNSZ # bits
972         or      $t3,$at
973         mflo    $t0
974         mfhi    $t1
975 .L_bn_div_words_inner_loop2:
976         sltu    $t2,$t3,$t0
977         seq     $t8,$HH,$t1
978         sltu    $at,$HH,$t1
979         and     $t2,$t8
980         sltu    $v1,$t0,$a2
981         or      $at,$t2
982         .set    noreorder
983         beqz    $at,.L_bn_div_words_inner_loop2_done
984         $SUBU   $t1,$v1
985         $SUBU   $t0,$a2
986         b       .L_bn_div_words_inner_loop2
987         $SUBU   $QT,1
988         .set    reorder
989 .L_bn_div_words_inner_loop2_done:
990
991         $SUBU   $a0,$t3,$t0
992         or      $v0,$QT
993         $SRL    $v1,$a0,$t9     # $v1 contains remainder if anybody wants it
994         $SRL    $a2,$t9         # restore $a2
995
996         .set    noreorder
997         move    $a1,$v1
998 ___
999 $code.=<<___ if ($flavour =~ /nubi/i);
1000         $REG_L  $t3,4*$SZREG($sp)
1001         $REG_L  $t2,3*$SZREG($sp)
1002         $REG_L  $t1,2*$SZREG($sp)
1003         $REG_L  $t0,1*$SZREG($sp)
1004         $REG_L  $gp,0*$SZREG($sp)
1005         $PTR_ADD $sp,6*$SZREG
1006 ___
1007 $code.=<<___;
1008         jr      $ra
1009         move    $a0,$v0
1010 .end    bn_div_words_internal
1011 ___
1012 undef $HH; undef $QT; undef $DH;
1013
1014 ($a_0,$a_1,$a_2,$a_3)=($t0,$t1,$t2,$t3);
1015 ($b_0,$b_1,$b_2,$b_3)=($ta0,$ta1,$ta2,$ta3);
1016
1017 ($a_4,$a_5,$a_6,$a_7)=($s0,$s2,$s4,$a1); # once we load a[7], no use for $a1
1018 ($b_4,$b_5,$b_6,$b_7)=($s1,$s3,$s5,$a2); # once we load b[7], no use for $a2
1019
1020 ($t_1,$t_2,$c_1,$c_2,$c_3)=($t8,$t9,$v0,$v1,$a3);
1021
1022 $code.=<<___;
1023
1024 .align  5
1025 .globl  bn_mul_comba8
1026 .ent    bn_mul_comba8
1027 bn_mul_comba8:
1028         .set    noreorder
1029 ___
1030 $code.=<<___ if ($flavour =~ /nubi/i);
1031         .frame  $sp,12*$SZREG,$ra
1032         .mask   0x803ff008,-$SZREG
1033         $PTR_SUB $sp,12*$SZREG
1034         $REG_S  $ra,11*$SZREG($sp)
1035         $REG_S  $s5,10*$SZREG($sp)
1036         $REG_S  $s4,9*$SZREG($sp)
1037         $REG_S  $s3,8*$SZREG($sp)
1038         $REG_S  $s2,7*$SZREG($sp)
1039         $REG_S  $s1,6*$SZREG($sp)
1040         $REG_S  $s0,5*$SZREG($sp)
1041         $REG_S  $t3,4*$SZREG($sp)
1042         $REG_S  $t2,3*$SZREG($sp)
1043         $REG_S  $t1,2*$SZREG($sp)
1044         $REG_S  $t0,1*$SZREG($sp)
1045         $REG_S  $gp,0*$SZREG($sp)
1046 ___
1047 $code.=<<___ if ($flavour !~ /nubi/i);
1048         .frame  $sp,6*$SZREG,$ra
1049         .mask   0x003f0000,-$SZREG
1050         $PTR_SUB $sp,6*$SZREG
1051         $REG_S  $s5,5*$SZREG($sp)
1052         $REG_S  $s4,4*$SZREG($sp)
1053         $REG_S  $s3,3*$SZREG($sp)
1054         $REG_S  $s2,2*$SZREG($sp)
1055         $REG_S  $s1,1*$SZREG($sp)
1056         $REG_S  $s0,0*$SZREG($sp)
1057 ___
1058 $code.=<<___;
1059
1060         .set    reorder
1061         $LD     $a_0,0($a1)     # If compiled with -mips3 option on
1062                                 # R5000 box assembler barks on this
1063                                 # 1ine with "should not have mult/div
1064                                 # as last instruction in bb (R10K
1065                                 # bug)" warning. If anybody out there
1066                                 # has a clue about how to circumvent
1067                                 # this do send me a note.
1068                                 #               <appro\@fy.chalmers.se>
1069
1070         $LD     $b_0,0($a2)
1071         $LD     $a_1,$BNSZ($a1)
1072         $LD     $a_2,2*$BNSZ($a1)
1073         $MULTU  $a_0,$b_0               # mul_add_c(a[0],b[0],c1,c2,c3);
1074         $LD     $a_3,3*$BNSZ($a1)
1075         $LD     $b_1,$BNSZ($a2)
1076         $LD     $b_2,2*$BNSZ($a2)
1077         $LD     $b_3,3*$BNSZ($a2)
1078         mflo    $c_1
1079         mfhi    $c_2
1080
1081         $LD     $a_4,4*$BNSZ($a1)
1082         $LD     $a_5,5*$BNSZ($a1)
1083         $MULTU  $a_0,$b_1               # mul_add_c(a[0],b[1],c2,c3,c1);
1084         $LD     $a_6,6*$BNSZ($a1)
1085         $LD     $a_7,7*$BNSZ($a1)
1086         $LD     $b_4,4*$BNSZ($a2)
1087         $LD     $b_5,5*$BNSZ($a2)
1088         mflo    $t_1
1089         mfhi    $t_2
1090         $ADDU   $c_2,$t_1
1091         sltu    $at,$c_2,$t_1
1092         $MULTU  $a_1,$b_0               # mul_add_c(a[1],b[0],c2,c3,c1);
1093         $ADDU   $c_3,$t_2,$at
1094         $LD     $b_6,6*$BNSZ($a2)
1095         $LD     $b_7,7*$BNSZ($a2)
1096         $ST     $c_1,0($a0)     # r[0]=c1;
1097         mflo    $t_1
1098         mfhi    $t_2
1099         $ADDU   $c_2,$t_1
1100         sltu    $at,$c_2,$t_1
1101          $MULTU $a_2,$b_0               # mul_add_c(a[2],b[0],c3,c1,c2);
1102         $ADDU   $t_2,$at
1103         $ADDU   $c_3,$t_2
1104         sltu    $c_1,$c_3,$t_2
1105         $ST     $c_2,$BNSZ($a0) # r[1]=c2;
1106
1107         mflo    $t_1
1108         mfhi    $t_2
1109         $ADDU   $c_3,$t_1
1110         sltu    $at,$c_3,$t_1
1111         $MULTU  $a_1,$b_1               # mul_add_c(a[1],b[1],c3,c1,c2);
1112         $ADDU   $t_2,$at
1113         $ADDU   $c_1,$t_2
1114         mflo    $t_1
1115         mfhi    $t_2
1116         $ADDU   $c_3,$t_1
1117         sltu    $at,$c_3,$t_1
1118         $MULTU  $a_0,$b_2               # mul_add_c(a[0],b[2],c3,c1,c2);
1119         $ADDU   $t_2,$at
1120         $ADDU   $c_1,$t_2
1121         sltu    $c_2,$c_1,$t_2
1122         mflo    $t_1
1123         mfhi    $t_2
1124         $ADDU   $c_3,$t_1
1125         sltu    $at,$c_3,$t_1
1126          $MULTU $a_0,$b_3               # mul_add_c(a[0],b[3],c1,c2,c3);
1127         $ADDU   $t_2,$at
1128         $ADDU   $c_1,$t_2
1129         sltu    $at,$c_1,$t_2
1130         $ADDU   $c_2,$at
1131         $ST     $c_3,2*$BNSZ($a0)       # r[2]=c3;
1132
1133         mflo    $t_1
1134         mfhi    $t_2
1135         $ADDU   $c_1,$t_1
1136         sltu    $at,$c_1,$t_1
1137         $MULTU  $a_1,$b_2               # mul_add_c(a[1],b[2],c1,c2,c3);
1138         $ADDU   $t_2,$at
1139         $ADDU   $c_2,$t_2
1140         sltu    $c_3,$c_2,$t_2
1141         mflo    $t_1
1142         mfhi    $t_2
1143         $ADDU   $c_1,$t_1
1144         sltu    $at,$c_1,$t_1
1145         $MULTU  $a_2,$b_1               # mul_add_c(a[2],b[1],c1,c2,c3);
1146         $ADDU   $t_2,$at
1147         $ADDU   $c_2,$t_2
1148         sltu    $at,$c_2,$t_2
1149         $ADDU   $c_3,$at
1150         mflo    $t_1
1151         mfhi    $t_2
1152         $ADDU   $c_1,$t_1
1153         sltu    $at,$c_1,$t_1
1154         $MULTU  $a_3,$b_0               # mul_add_c(a[3],b[0],c1,c2,c3);
1155         $ADDU   $t_2,$at
1156         $ADDU   $c_2,$t_2
1157         sltu    $at,$c_2,$t_2
1158         $ADDU   $c_3,$at
1159         mflo    $t_1
1160         mfhi    $t_2
1161         $ADDU   $c_1,$t_1
1162         sltu    $at,$c_1,$t_1
1163          $MULTU $a_4,$b_0               # mul_add_c(a[4],b[0],c2,c3,c1);
1164         $ADDU   $t_2,$at
1165         $ADDU   $c_2,$t_2
1166         sltu    $at,$c_2,$t_2
1167         $ADDU   $c_3,$at
1168         $ST     $c_1,3*$BNSZ($a0)       # r[3]=c1;
1169
1170         mflo    $t_1
1171         mfhi    $t_2
1172         $ADDU   $c_2,$t_1
1173         sltu    $at,$c_2,$t_1
1174         $MULTU  $a_3,$b_1               # mul_add_c(a[3],b[1],c2,c3,c1);
1175         $ADDU   $t_2,$at
1176         $ADDU   $c_3,$t_2
1177         sltu    $c_1,$c_3,$t_2
1178         mflo    $t_1
1179         mfhi    $t_2
1180         $ADDU   $c_2,$t_1
1181         sltu    $at,$c_2,$t_1
1182         $MULTU  $a_2,$b_2               # mul_add_c(a[2],b[2],c2,c3,c1);
1183         $ADDU   $t_2,$at
1184         $ADDU   $c_3,$t_2
1185         sltu    $at,$c_3,$t_2
1186         $ADDU   $c_1,$at
1187         mflo    $t_1
1188         mfhi    $t_2
1189         $ADDU   $c_2,$t_1
1190         sltu    $at,$c_2,$t_1
1191         $MULTU  $a_1,$b_3               # mul_add_c(a[1],b[3],c2,c3,c1);
1192         $ADDU   $t_2,$at
1193         $ADDU   $c_3,$t_2
1194         sltu    $at,$c_3,$t_2
1195         $ADDU   $c_1,$at
1196         mflo    $t_1
1197         mfhi    $t_2
1198         $ADDU   $c_2,$t_1
1199         sltu    $at,$c_2,$t_1
1200         $MULTU  $a_0,$b_4               # mul_add_c(a[0],b[4],c2,c3,c1);
1201         $ADDU   $t_2,$at
1202         $ADDU   $c_3,$t_2
1203         sltu    $at,$c_3,$t_2
1204         $ADDU   $c_1,$at
1205         mflo    $t_1
1206         mfhi    $t_2
1207         $ADDU   $c_2,$t_1
1208         sltu    $at,$c_2,$t_1
1209          $MULTU $a_0,$b_5               # mul_add_c(a[0],b[5],c3,c1,c2);
1210         $ADDU   $t_2,$at
1211         $ADDU   $c_3,$t_2
1212         sltu    $at,$c_3,$t_2
1213         $ADDU   $c_1,$at
1214         $ST     $c_2,4*$BNSZ($a0)       # r[4]=c2;
1215
1216         mflo    $t_1
1217         mfhi    $t_2
1218         $ADDU   $c_3,$t_1
1219         sltu    $at,$c_3,$t_1
1220         $MULTU  $a_1,$b_4               # mul_add_c(a[1],b[4],c3,c1,c2);
1221         $ADDU   $t_2,$at
1222         $ADDU   $c_1,$t_2
1223         sltu    $c_2,$c_1,$t_2
1224         mflo    $t_1
1225         mfhi    $t_2
1226         $ADDU   $c_3,$t_1
1227         sltu    $at,$c_3,$t_1
1228         $MULTU  $a_2,$b_3               # mul_add_c(a[2],b[3],c3,c1,c2);
1229         $ADDU   $t_2,$at
1230         $ADDU   $c_1,$t_2
1231         sltu    $at,$c_1,$t_2
1232         $ADDU   $c_2,$at
1233         mflo    $t_1
1234         mfhi    $t_2
1235         $ADDU   $c_3,$t_1
1236         sltu    $at,$c_3,$t_1
1237         $MULTU  $a_3,$b_2               # mul_add_c(a[3],b[2],c3,c1,c2);
1238         $ADDU   $t_2,$at
1239         $ADDU   $c_1,$t_2
1240         sltu    $at,$c_1,$t_2
1241         $ADDU   $c_2,$at
1242         mflo    $t_1
1243         mfhi    $t_2
1244         $ADDU   $c_3,$t_1
1245         sltu    $at,$c_3,$t_1
1246         $MULTU  $a_4,$b_1               # mul_add_c(a[4],b[1],c3,c1,c2);
1247         $ADDU   $t_2,$at
1248         $ADDU   $c_1,$t_2
1249         sltu    $at,$c_1,$t_2
1250         $ADDU   $c_2,$at
1251         mflo    $t_1
1252         mfhi    $t_2
1253         $ADDU   $c_3,$t_1
1254         sltu    $at,$c_3,$t_1
1255         $MULTU  $a_5,$b_0               # mul_add_c(a[5],b[0],c3,c1,c2);
1256         $ADDU   $t_2,$at
1257         $ADDU   $c_1,$t_2
1258         sltu    $at,$c_1,$t_2
1259         $ADDU   $c_2,$at
1260         mflo    $t_1
1261         mfhi    $t_2
1262         $ADDU   $c_3,$t_1
1263         sltu    $at,$c_3,$t_1
1264          $MULTU $a_6,$b_0               # mul_add_c(a[6],b[0],c1,c2,c3);
1265         $ADDU   $t_2,$at
1266         $ADDU   $c_1,$t_2
1267         sltu    $at,$c_1,$t_2
1268         $ADDU   $c_2,$at
1269         $ST     $c_3,5*$BNSZ($a0)       # r[5]=c3;
1270
1271         mflo    $t_1
1272         mfhi    $t_2
1273         $ADDU   $c_1,$t_1
1274         sltu    $at,$c_1,$t_1
1275         $MULTU  $a_5,$b_1               # mul_add_c(a[5],b[1],c1,c2,c3);
1276         $ADDU   $t_2,$at
1277         $ADDU   $c_2,$t_2
1278         sltu    $c_3,$c_2,$t_2
1279         mflo    $t_1
1280         mfhi    $t_2
1281         $ADDU   $c_1,$t_1
1282         sltu    $at,$c_1,$t_1
1283         $MULTU  $a_4,$b_2               # mul_add_c(a[4],b[2],c1,c2,c3);
1284         $ADDU   $t_2,$at
1285         $ADDU   $c_2,$t_2
1286         sltu    $at,$c_2,$t_2
1287         $ADDU   $c_3,$at
1288         mflo    $t_1
1289         mfhi    $t_2
1290         $ADDU   $c_1,$t_1
1291         sltu    $at,$c_1,$t_1
1292         $MULTU  $a_3,$b_3               # mul_add_c(a[3],b[3],c1,c2,c3);
1293         $ADDU   $t_2,$at
1294         $ADDU   $c_2,$t_2
1295         sltu    $at,$c_2,$t_2
1296         $ADDU   $c_3,$at
1297         mflo    $t_1
1298         mfhi    $t_2
1299         $ADDU   $c_1,$t_1
1300         sltu    $at,$c_1,$t_1
1301         $MULTU  $a_2,$b_4               # mul_add_c(a[2],b[4],c1,c2,c3);
1302         $ADDU   $t_2,$at
1303         $ADDU   $c_2,$t_2
1304         sltu    $at,$c_2,$t_2
1305         $ADDU   $c_3,$at
1306         mflo    $t_1
1307         mfhi    $t_2
1308         $ADDU   $c_1,$t_1
1309         sltu    $at,$c_1,$t_1
1310         $MULTU  $a_1,$b_5               # mul_add_c(a[1],b[5],c1,c2,c3);
1311         $ADDU   $t_2,$at
1312         $ADDU   $c_2,$t_2
1313         sltu    $at,$c_2,$t_2
1314         $ADDU   $c_3,$at
1315         mflo    $t_1
1316         mfhi    $t_2
1317         $ADDU   $c_1,$t_1
1318         sltu    $at,$c_1,$t_1
1319         $MULTU  $a_0,$b_6               # mul_add_c(a[0],b[6],c1,c2,c3);
1320         $ADDU   $t_2,$at
1321         $ADDU   $c_2,$t_2
1322         sltu    $at,$c_2,$t_2
1323         $ADDU   $c_3,$at
1324         mflo    $t_1
1325         mfhi    $t_2
1326         $ADDU   $c_1,$t_1
1327         sltu    $at,$c_1,$t_1
1328          $MULTU $a_0,$b_7               # mul_add_c(a[0],b[7],c2,c3,c1);
1329         $ADDU   $t_2,$at
1330         $ADDU   $c_2,$t_2
1331         sltu    $at,$c_2,$t_2
1332         $ADDU   $c_3,$at
1333         $ST     $c_1,6*$BNSZ($a0)       # r[6]=c1;
1334
1335         mflo    $t_1
1336         mfhi    $t_2
1337         $ADDU   $c_2,$t_1
1338         sltu    $at,$c_2,$t_1
1339         $MULTU  $a_1,$b_6               # mul_add_c(a[1],b[6],c2,c3,c1);
1340         $ADDU   $t_2,$at
1341         $ADDU   $c_3,$t_2
1342         sltu    $c_1,$c_3,$t_2
1343         mflo    $t_1
1344         mfhi    $t_2
1345         $ADDU   $c_2,$t_1
1346         sltu    $at,$c_2,$t_1
1347         $MULTU  $a_2,$b_5               # mul_add_c(a[2],b[5],c2,c3,c1);
1348         $ADDU   $t_2,$at
1349         $ADDU   $c_3,$t_2
1350         sltu    $at,$c_3,$t_2
1351         $ADDU   $c_1,$at
1352         mflo    $t_1
1353         mfhi    $t_2
1354         $ADDU   $c_2,$t_1
1355         sltu    $at,$c_2,$t_1
1356         $MULTU  $a_3,$b_4               # mul_add_c(a[3],b[4],c2,c3,c1);
1357         $ADDU   $t_2,$at
1358         $ADDU   $c_3,$t_2
1359         sltu    $at,$c_3,$t_2
1360         $ADDU   $c_1,$at
1361         mflo    $t_1
1362         mfhi    $t_2
1363         $ADDU   $c_2,$t_1
1364         sltu    $at,$c_2,$t_1
1365         $MULTU  $a_4,$b_3               # mul_add_c(a[4],b[3],c2,c3,c1);
1366         $ADDU   $t_2,$at
1367         $ADDU   $c_3,$t_2
1368         sltu    $at,$c_3,$t_2
1369         $ADDU   $c_1,$at
1370         mflo    $t_1
1371         mfhi    $t_2
1372         $ADDU   $c_2,$t_1
1373         sltu    $at,$c_2,$t_1
1374         $MULTU  $a_5,$b_2               # mul_add_c(a[5],b[2],c2,c3,c1);
1375         $ADDU   $t_2,$at
1376         $ADDU   $c_3,$t_2
1377         sltu    $at,$c_3,$t_2
1378         $ADDU   $c_1,$at
1379         mflo    $t_1
1380         mfhi    $t_2
1381         $ADDU   $c_2,$t_1
1382         sltu    $at,$c_2,$t_1
1383         $MULTU  $a_6,$b_1               # mul_add_c(a[6],b[1],c2,c3,c1);
1384         $ADDU   $t_2,$at
1385         $ADDU   $c_3,$t_2
1386         sltu    $at,$c_3,$t_2
1387         $ADDU   $c_1,$at
1388         mflo    $t_1
1389         mfhi    $t_2
1390         $ADDU   $c_2,$t_1
1391         sltu    $at,$c_2,$t_1
1392         $MULTU  $a_7,$b_0               # mul_add_c(a[7],b[0],c2,c3,c1);
1393         $ADDU   $t_2,$at
1394         $ADDU   $c_3,$t_2
1395         sltu    $at,$c_3,$t_2
1396         $ADDU   $c_1,$at
1397         mflo    $t_1
1398         mfhi    $t_2
1399         $ADDU   $c_2,$t_1
1400         sltu    $at,$c_2,$t_1
1401          $MULTU $a_7,$b_1               # mul_add_c(a[7],b[1],c3,c1,c2);
1402         $ADDU   $t_2,$at
1403         $ADDU   $c_3,$t_2
1404         sltu    $at,$c_3,$t_2
1405         $ADDU   $c_1,$at
1406         $ST     $c_2,7*$BNSZ($a0)       # r[7]=c2;
1407
1408         mflo    $t_1
1409         mfhi    $t_2
1410         $ADDU   $c_3,$t_1
1411         sltu    $at,$c_3,$t_1
1412         $MULTU  $a_6,$b_2               # mul_add_c(a[6],b[2],c3,c1,c2);
1413         $ADDU   $t_2,$at
1414         $ADDU   $c_1,$t_2
1415         sltu    $c_2,$c_1,$t_2
1416         mflo    $t_1
1417         mfhi    $t_2
1418         $ADDU   $c_3,$t_1
1419         sltu    $at,$c_3,$t_1
1420         $MULTU  $a_5,$b_3               # mul_add_c(a[5],b[3],c3,c1,c2);
1421         $ADDU   $t_2,$at
1422         $ADDU   $c_1,$t_2
1423         sltu    $at,$c_1,$t_2
1424         $ADDU   $c_2,$at
1425         mflo    $t_1
1426         mfhi    $t_2
1427         $ADDU   $c_3,$t_1
1428         sltu    $at,$c_3,$t_1
1429         $MULTU  $a_4,$b_4               # mul_add_c(a[4],b[4],c3,c1,c2);
1430         $ADDU   $t_2,$at
1431         $ADDU   $c_1,$t_2
1432         sltu    $at,$c_1,$t_2
1433         $ADDU   $c_2,$at
1434         mflo    $t_1
1435         mfhi    $t_2
1436         $ADDU   $c_3,$t_1
1437         sltu    $at,$c_3,$t_1
1438         $MULTU  $a_3,$b_5               # mul_add_c(a[3],b[5],c3,c1,c2);
1439         $ADDU   $t_2,$at
1440         $ADDU   $c_1,$t_2
1441         sltu    $at,$c_1,$t_2
1442         $ADDU   $c_2,$at
1443         mflo    $t_1
1444         mfhi    $t_2
1445         $ADDU   $c_3,$t_1
1446         sltu    $at,$c_3,$t_1
1447         $MULTU  $a_2,$b_6               # mul_add_c(a[2],b[6],c3,c1,c2);
1448         $ADDU   $t_2,$at
1449         $ADDU   $c_1,$t_2
1450         sltu    $at,$c_1,$t_2
1451         $ADDU   $c_2,$at
1452         mflo    $t_1
1453         mfhi    $t_2
1454         $ADDU   $c_3,$t_1
1455         sltu    $at,$c_3,$t_1
1456         $MULTU  $a_1,$b_7               # mul_add_c(a[1],b[7],c3,c1,c2);
1457         $ADDU   $t_2,$at
1458         $ADDU   $c_1,$t_2
1459         sltu    $at,$c_1,$t_2
1460         $ADDU   $c_2,$at
1461         mflo    $t_1
1462         mfhi    $t_2
1463         $ADDU   $c_3,$t_1
1464         sltu    $at,$c_3,$t_1
1465          $MULTU $a_2,$b_7               # mul_add_c(a[2],b[7],c1,c2,c3);
1466         $ADDU   $t_2,$at
1467         $ADDU   $c_1,$t_2
1468         sltu    $at,$c_1,$t_2
1469         $ADDU   $c_2,$at
1470         $ST     $c_3,8*$BNSZ($a0)       # r[8]=c3;
1471
1472         mflo    $t_1
1473         mfhi    $t_2
1474         $ADDU   $c_1,$t_1
1475         sltu    $at,$c_1,$t_1
1476         $MULTU  $a_3,$b_6               # mul_add_c(a[3],b[6],c1,c2,c3);
1477         $ADDU   $t_2,$at
1478         $ADDU   $c_2,$t_2
1479         sltu    $c_3,$c_2,$t_2
1480         mflo    $t_1
1481         mfhi    $t_2
1482         $ADDU   $c_1,$t_1
1483         sltu    $at,$c_1,$t_1
1484         $MULTU  $a_4,$b_5               # mul_add_c(a[4],b[5],c1,c2,c3);
1485         $ADDU   $t_2,$at
1486         $ADDU   $c_2,$t_2
1487         sltu    $at,$c_2,$t_2
1488         $ADDU   $c_3,$at
1489         mflo    $t_1
1490         mfhi    $t_2
1491         $ADDU   $c_1,$t_1
1492         sltu    $at,$c_1,$t_1
1493         $MULTU  $a_5,$b_4               # mul_add_c(a[5],b[4],c1,c2,c3);
1494         $ADDU   $t_2,$at
1495         $ADDU   $c_2,$t_2
1496         sltu    $at,$c_2,$t_2
1497         $ADDU   $c_3,$at
1498         mflo    $t_1
1499         mfhi    $t_2
1500         $ADDU   $c_1,$t_1
1501         sltu    $at,$c_1,$t_1
1502         $MULTU  $a_6,$b_3               # mul_add_c(a[6],b[3],c1,c2,c3);
1503         $ADDU   $t_2,$at
1504         $ADDU   $c_2,$t_2
1505         sltu    $at,$c_2,$t_2
1506         $ADDU   $c_3,$at
1507         mflo    $t_1
1508         mfhi    $t_2
1509         $ADDU   $c_1,$t_1
1510         sltu    $at,$c_1,$t_1
1511         $MULTU  $a_7,$b_2               # mul_add_c(a[7],b[2],c1,c2,c3);
1512         $ADDU   $t_2,$at
1513         $ADDU   $c_2,$t_2
1514         sltu    $at,$c_2,$t_2
1515         $ADDU   $c_3,$at
1516         mflo    $t_1
1517         mfhi    $t_2
1518         $ADDU   $c_1,$t_1
1519         sltu    $at,$c_1,$t_1
1520          $MULTU $a_7,$b_3               # mul_add_c(a[7],b[3],c2,c3,c1);
1521         $ADDU   $t_2,$at
1522         $ADDU   $c_2,$t_2
1523         sltu    $at,$c_2,$t_2
1524         $ADDU   $c_3,$at
1525         $ST     $c_1,9*$BNSZ($a0)       # r[9]=c1;
1526
1527         mflo    $t_1
1528         mfhi    $t_2
1529         $ADDU   $c_2,$t_1
1530         sltu    $at,$c_2,$t_1
1531         $MULTU  $a_6,$b_4               # mul_add_c(a[6],b[4],c2,c3,c1);
1532         $ADDU   $t_2,$at
1533         $ADDU   $c_3,$t_2
1534         sltu    $c_1,$c_3,$t_2
1535         mflo    $t_1
1536         mfhi    $t_2
1537         $ADDU   $c_2,$t_1
1538         sltu    $at,$c_2,$t_1
1539         $MULTU  $a_5,$b_5               # mul_add_c(a[5],b[5],c2,c3,c1);
1540         $ADDU   $t_2,$at
1541         $ADDU   $c_3,$t_2
1542         sltu    $at,$c_3,$t_2
1543         $ADDU   $c_1,$at
1544         mflo    $t_1
1545         mfhi    $t_2
1546         $ADDU   $c_2,$t_1
1547         sltu    $at,$c_2,$t_1
1548         $MULTU  $a_4,$b_6               # mul_add_c(a[4],b[6],c2,c3,c1);
1549         $ADDU   $t_2,$at
1550         $ADDU   $c_3,$t_2
1551         sltu    $at,$c_3,$t_2
1552         $ADDU   $c_1,$at
1553         mflo    $t_1
1554         mfhi    $t_2
1555         $ADDU   $c_2,$t_1
1556         sltu    $at,$c_2,$t_1
1557         $MULTU  $a_3,$b_7               # mul_add_c(a[3],b[7],c2,c3,c1);
1558         $ADDU   $t_2,$at
1559         $ADDU   $c_3,$t_2
1560         sltu    $at,$c_3,$t_2
1561         $ADDU   $c_1,$at
1562         mflo    $t_1
1563         mfhi    $t_2
1564         $ADDU   $c_2,$t_1
1565         sltu    $at,$c_2,$t_1
1566         $MULTU  $a_4,$b_7               # mul_add_c(a[4],b[7],c3,c1,c2);
1567         $ADDU   $t_2,$at
1568         $ADDU   $c_3,$t_2
1569         sltu    $at,$c_3,$t_2
1570         $ADDU   $c_1,$at
1571         $ST     $c_2,10*$BNSZ($a0)      # r[10]=c2;
1572
1573         mflo    $t_1
1574         mfhi    $t_2
1575         $ADDU   $c_3,$t_1
1576         sltu    $at,$c_3,$t_1
1577         $MULTU  $a_5,$b_6               # mul_add_c(a[5],b[6],c3,c1,c2);
1578         $ADDU   $t_2,$at
1579         $ADDU   $c_1,$t_2
1580         sltu    $c_2,$c_1,$t_2
1581         mflo    $t_1
1582         mfhi    $t_2
1583         $ADDU   $c_3,$t_1
1584         sltu    $at,$c_3,$t_1
1585         $MULTU  $a_6,$b_5               # mul_add_c(a[6],b[5],c3,c1,c2);
1586         $ADDU   $t_2,$at
1587         $ADDU   $c_1,$t_2
1588         sltu    $at,$c_1,$t_2
1589         $ADDU   $c_2,$at
1590         mflo    $t_1
1591         mfhi    $t_2
1592         $ADDU   $c_3,$t_1
1593         sltu    $at,$c_3,$t_1
1594         $MULTU  $a_7,$b_4               # mul_add_c(a[7],b[4],c3,c1,c2);
1595         $ADDU   $t_2,$at
1596         $ADDU   $c_1,$t_2
1597         sltu    $at,$c_1,$t_2
1598         $ADDU   $c_2,$at
1599         mflo    $t_1
1600         mfhi    $t_2
1601         $ADDU   $c_3,$t_1
1602         sltu    $at,$c_3,$t_1
1603          $MULTU $a_7,$b_5               # mul_add_c(a[7],b[5],c1,c2,c3);
1604         $ADDU   $t_2,$at
1605         $ADDU   $c_1,$t_2
1606         sltu    $at,$c_1,$t_2
1607         $ADDU   $c_2,$at
1608         $ST     $c_3,11*$BNSZ($a0)      # r[11]=c3;
1609
1610         mflo    $t_1
1611         mfhi    $t_2
1612         $ADDU   $c_1,$t_1
1613         sltu    $at,$c_1,$t_1
1614         $MULTU  $a_6,$b_6               # mul_add_c(a[6],b[6],c1,c2,c3);
1615         $ADDU   $t_2,$at
1616         $ADDU   $c_2,$t_2
1617         sltu    $c_3,$c_2,$t_2
1618         mflo    $t_1
1619         mfhi    $t_2
1620         $ADDU   $c_1,$t_1
1621         sltu    $at,$c_1,$t_1
1622         $MULTU  $a_5,$b_7               # mul_add_c(a[5],b[7],c1,c2,c3);
1623         $ADDU   $t_2,$at
1624         $ADDU   $c_2,$t_2
1625         sltu    $at,$c_2,$t_2
1626         $ADDU   $c_3,$at
1627         mflo    $t_1
1628         mfhi    $t_2
1629         $ADDU   $c_1,$t_1
1630         sltu    $at,$c_1,$t_1
1631          $MULTU $a_6,$b_7               # mul_add_c(a[6],b[7],c2,c3,c1);
1632         $ADDU   $t_2,$at
1633         $ADDU   $c_2,$t_2
1634         sltu    $at,$c_2,$t_2
1635         $ADDU   $c_3,$at
1636         $ST     $c_1,12*$BNSZ($a0)      # r[12]=c1;
1637
1638         mflo    $t_1
1639         mfhi    $t_2
1640         $ADDU   $c_2,$t_1
1641         sltu    $at,$c_2,$t_1
1642         $MULTU  $a_7,$b_6               # mul_add_c(a[7],b[6],c2,c3,c1);
1643         $ADDU   $t_2,$at
1644         $ADDU   $c_3,$t_2
1645         sltu    $c_1,$c_3,$t_2
1646         mflo    $t_1
1647         mfhi    $t_2
1648         $ADDU   $c_2,$t_1
1649         sltu    $at,$c_2,$t_1
1650         $MULTU  $a_7,$b_7               # mul_add_c(a[7],b[7],c3,c1,c2);
1651         $ADDU   $t_2,$at
1652         $ADDU   $c_3,$t_2
1653         sltu    $at,$c_3,$t_2
1654         $ADDU   $c_1,$at
1655         $ST     $c_2,13*$BNSZ($a0)      # r[13]=c2;
1656
1657         mflo    $t_1
1658         mfhi    $t_2
1659         $ADDU   $c_3,$t_1
1660         sltu    $at,$c_3,$t_1
1661         $ADDU   $t_2,$at
1662         $ADDU   $c_1,$t_2
1663         $ST     $c_3,14*$BNSZ($a0)      # r[14]=c3;
1664         $ST     $c_1,15*$BNSZ($a0)      # r[15]=c1;
1665
1666         .set    noreorder
1667 ___
1668 $code.=<<___ if ($flavour =~ /nubi/i);
1669         $REG_L  $s5,10*$SZREG($sp)
1670         $REG_L  $s4,9*$SZREG($sp)
1671         $REG_L  $s3,8*$SZREG($sp)
1672         $REG_L  $s2,7*$SZREG($sp)
1673         $REG_L  $s1,6*$SZREG($sp)
1674         $REG_L  $s0,5*$SZREG($sp)
1675         $REG_L  $t3,4*$SZREG($sp)
1676         $REG_L  $t2,3*$SZREG($sp)
1677         $REG_L  $t1,2*$SZREG($sp)
1678         $REG_L  $t0,1*$SZREG($sp)
1679         $REG_L  $gp,0*$SZREG($sp)
1680         jr      $ra
1681         $PTR_ADD $sp,12*$SZREG
1682 ___
1683 $code.=<<___ if ($flavour !~ /nubi/i);
1684         $REG_L  $s5,5*$SZREG($sp)
1685         $REG_L  $s4,4*$SZREG($sp)
1686         $REG_L  $s3,3*$SZREG($sp)
1687         $REG_L  $s2,2*$SZREG($sp)
1688         $REG_L  $s1,1*$SZREG($sp)
1689         $REG_L  $s0,0*$SZREG($sp)
1690         jr      $ra
1691         $PTR_ADD $sp,6*$SZREG
1692 ___
1693 $code.=<<___;
1694 .end    bn_mul_comba8
1695
1696 .align  5
1697 .globl  bn_mul_comba4
1698 .ent    bn_mul_comba4
1699 bn_mul_comba4:
1700 ___
1701 $code.=<<___ if ($flavour =~ /nubi/i);
1702         .frame  $sp,6*$SZREG,$ra
1703         .mask   0x8000f008,-$SZREG
1704         .set    noreorder
1705         $PTR_SUB $sp,6*$SZREG
1706         $REG_S  $ra,5*$SZREG($sp)
1707         $REG_S  $t3,4*$SZREG($sp)
1708         $REG_S  $t2,3*$SZREG($sp)
1709         $REG_S  $t1,2*$SZREG($sp)
1710         $REG_S  $t0,1*$SZREG($sp)
1711         $REG_S  $gp,0*$SZREG($sp)
1712 ___
1713 $code.=<<___;
1714         .set    reorder
1715         $LD     $a_0,0($a1)
1716         $LD     $b_0,0($a2)
1717         $LD     $a_1,$BNSZ($a1)
1718         $LD     $a_2,2*$BNSZ($a1)
1719         $MULTU  $a_0,$b_0               # mul_add_c(a[0],b[0],c1,c2,c3);
1720         $LD     $a_3,3*$BNSZ($a1)
1721         $LD     $b_1,$BNSZ($a2)
1722         $LD     $b_2,2*$BNSZ($a2)
1723         $LD     $b_3,3*$BNSZ($a2)
1724         mflo    $c_1
1725         mfhi    $c_2
1726         $ST     $c_1,0($a0)
1727
1728         $MULTU  $a_0,$b_1               # mul_add_c(a[0],b[1],c2,c3,c1);
1729         mflo    $t_1
1730         mfhi    $t_2
1731         $ADDU   $c_2,$t_1
1732         sltu    $at,$c_2,$t_1
1733         $MULTU  $a_1,$b_0               # mul_add_c(a[1],b[0],c2,c3,c1);
1734         $ADDU   $c_3,$t_2,$at
1735         mflo    $t_1
1736         mfhi    $t_2
1737         $ADDU   $c_2,$t_1
1738         sltu    $at,$c_2,$t_1
1739          $MULTU $a_2,$b_0               # mul_add_c(a[2],b[0],c3,c1,c2);
1740         $ADDU   $t_2,$at
1741         $ADDU   $c_3,$t_2
1742         sltu    $c_1,$c_3,$t_2
1743         $ST     $c_2,$BNSZ($a0)
1744
1745         mflo    $t_1
1746         mfhi    $t_2
1747         $ADDU   $c_3,$t_1
1748         sltu    $at,$c_3,$t_1
1749         $MULTU  $a_1,$b_1               # mul_add_c(a[1],b[1],c3,c1,c2);
1750         $ADDU   $t_2,$at
1751         $ADDU   $c_1,$t_2
1752         mflo    $t_1
1753         mfhi    $t_2
1754         $ADDU   $c_3,$t_1
1755         sltu    $at,$c_3,$t_1
1756         $MULTU  $a_0,$b_2               # mul_add_c(a[0],b[2],c3,c1,c2);
1757         $ADDU   $t_2,$at
1758         $ADDU   $c_1,$t_2
1759         sltu    $c_2,$c_1,$t_2
1760         mflo    $t_1
1761         mfhi    $t_2
1762         $ADDU   $c_3,$t_1
1763         sltu    $at,$c_3,$t_1
1764          $MULTU $a_0,$b_3               # mul_add_c(a[0],b[3],c1,c2,c3);
1765         $ADDU   $t_2,$at
1766         $ADDU   $c_1,$t_2
1767         sltu    $at,$c_1,$t_2
1768         $ADDU   $c_2,$at
1769         $ST     $c_3,2*$BNSZ($a0)
1770
1771         mflo    $t_1
1772         mfhi    $t_2
1773         $ADDU   $c_1,$t_1
1774         sltu    $at,$c_1,$t_1
1775         $MULTU  $a_1,$b_2               # mul_add_c(a[1],b[2],c1,c2,c3);
1776         $ADDU   $t_2,$at
1777         $ADDU   $c_2,$t_2
1778         sltu    $c_3,$c_2,$t_2
1779         mflo    $t_1
1780         mfhi    $t_2
1781         $ADDU   $c_1,$t_1
1782         sltu    $at,$c_1,$t_1
1783         $MULTU  $a_2,$b_1               # mul_add_c(a[2],b[1],c1,c2,c3);
1784         $ADDU   $t_2,$at
1785         $ADDU   $c_2,$t_2
1786         sltu    $at,$c_2,$t_2
1787         $ADDU   $c_3,$at
1788         mflo    $t_1
1789         mfhi    $t_2
1790         $ADDU   $c_1,$t_1
1791         sltu    $at,$c_1,$t_1
1792         $MULTU  $a_3,$b_0               # mul_add_c(a[3],b[0],c1,c2,c3);
1793         $ADDU   $t_2,$at
1794         $ADDU   $c_2,$t_2
1795         sltu    $at,$c_2,$t_2
1796         $ADDU   $c_3,$at
1797         mflo    $t_1
1798         mfhi    $t_2
1799         $ADDU   $c_1,$t_1
1800         sltu    $at,$c_1,$t_1
1801          $MULTU $a_3,$b_1               # mul_add_c(a[3],b[1],c2,c3,c1);
1802         $ADDU   $t_2,$at
1803         $ADDU   $c_2,$t_2
1804         sltu    $at,$c_2,$t_2
1805         $ADDU   $c_3,$at
1806         $ST     $c_1,3*$BNSZ($a0)
1807
1808         mflo    $t_1
1809         mfhi    $t_2
1810         $ADDU   $c_2,$t_1
1811         sltu    $at,$c_2,$t_1
1812         $MULTU  $a_2,$b_2               # mul_add_c(a[2],b[2],c2,c3,c1);
1813         $ADDU   $t_2,$at
1814         $ADDU   $c_3,$t_2
1815         sltu    $c_1,$c_3,$t_2
1816         mflo    $t_1
1817         mfhi    $t_2
1818         $ADDU   $c_2,$t_1
1819         sltu    $at,$c_2,$t_1
1820         $MULTU  $a_1,$b_3               # mul_add_c(a[1],b[3],c2,c3,c1);
1821         $ADDU   $t_2,$at
1822         $ADDU   $c_3,$t_2
1823         sltu    $at,$c_3,$t_2
1824         $ADDU   $c_1,$at
1825         mflo    $t_1
1826         mfhi    $t_2
1827         $ADDU   $c_2,$t_1
1828         sltu    $at,$c_2,$t_1
1829          $MULTU $a_2,$b_3               # mul_add_c(a[2],b[3],c3,c1,c2);
1830         $ADDU   $t_2,$at
1831         $ADDU   $c_3,$t_2
1832         sltu    $at,$c_3,$t_2
1833         $ADDU   $c_1,$at
1834         $ST     $c_2,4*$BNSZ($a0)
1835
1836         mflo    $t_1
1837         mfhi    $t_2
1838         $ADDU   $c_3,$t_1
1839         sltu    $at,$c_3,$t_1
1840         $MULTU  $a_3,$b_2               # mul_add_c(a[3],b[2],c3,c1,c2);
1841         $ADDU   $t_2,$at
1842         $ADDU   $c_1,$t_2
1843         sltu    $c_2,$c_1,$t_2
1844         mflo    $t_1
1845         mfhi    $t_2
1846         $ADDU   $c_3,$t_1
1847         sltu    $at,$c_3,$t_1
1848          $MULTU $a_3,$b_3               # mul_add_c(a[3],b[3],c1,c2,c3);
1849         $ADDU   $t_2,$at
1850         $ADDU   $c_1,$t_2
1851         sltu    $at,$c_1,$t_2
1852         $ADDU   $c_2,$at
1853         $ST     $c_3,5*$BNSZ($a0)
1854
1855         mflo    $t_1
1856         mfhi    $t_2
1857         $ADDU   $c_1,$t_1
1858         sltu    $at,$c_1,$t_1
1859         $ADDU   $t_2,$at
1860         $ADDU   $c_2,$t_2
1861         $ST     $c_1,6*$BNSZ($a0)
1862         $ST     $c_2,7*$BNSZ($a0)
1863
1864         .set    noreorder
1865 ___
1866 $code.=<<___ if ($flavour =~ /nubi/i);
1867         $REG_L  $t3,4*$SZREG($sp)
1868         $REG_L  $t2,3*$SZREG($sp)
1869         $REG_L  $t1,2*$SZREG($sp)
1870         $REG_L  $t0,1*$SZREG($sp)
1871         $REG_L  $gp,0*$SZREG($sp)
1872         $PTR_ADD $sp,6*$SZREG
1873 ___
1874 $code.=<<___;
1875         jr      $ra
1876         nop
1877 .end    bn_mul_comba4
1878 ___
1879
1880 ($a_4,$a_5,$a_6,$a_7)=($b_0,$b_1,$b_2,$b_3);
1881
1882 sub add_c2 () {
1883 my ($hi,$lo,$c0,$c1,$c2,
1884     $warm,      # !$warm denotes first call with specific sequence of
1885                 # $c_[XYZ] when there is no Z-carry to accumulate yet;
1886     $an,$bn     # these two are arguments for multiplication which
1887                 # result is used in *next* step [which is why it's
1888                 # commented as "forward multiplication" below];
1889     )=@_;
1890 $code.=<<___;
1891         mflo    $lo
1892         mfhi    $hi
1893         $ADDU   $c0,$lo
1894         sltu    $at,$c0,$lo
1895          $MULTU $an,$bn                 # forward multiplication
1896         $ADDU   $c0,$lo
1897         $ADDU   $at,$hi
1898         sltu    $lo,$c0,$lo
1899         $ADDU   $c1,$at
1900         $ADDU   $hi,$lo
1901 ___
1902 $code.=<<___    if (!$warm);
1903         sltu    $c2,$c1,$at
1904         $ADDU   $c1,$hi
1905         sltu    $hi,$c1,$hi
1906         $ADDU   $c2,$hi
1907 ___
1908 $code.=<<___    if ($warm);
1909         sltu    $at,$c1,$at
1910         $ADDU   $c1,$hi
1911         $ADDU   $c2,$at
1912         sltu    $hi,$c1,$hi
1913         $ADDU   $c2,$hi
1914 ___
1915 }
1916
1917 $code.=<<___;
1918
1919 .align  5
1920 .globl  bn_sqr_comba8
1921 .ent    bn_sqr_comba8
1922 bn_sqr_comba8:
1923 ___
1924 $code.=<<___ if ($flavour =~ /nubi/i);
1925         .frame  $sp,6*$SZREG,$ra
1926         .mask   0x8000f008,-$SZREG
1927         .set    noreorder
1928         $PTR_SUB $sp,6*$SZREG
1929         $REG_S  $ra,5*$SZREG($sp)
1930         $REG_S  $t3,4*$SZREG($sp)
1931         $REG_S  $t2,3*$SZREG($sp)
1932         $REG_S  $t1,2*$SZREG($sp)
1933         $REG_S  $t0,1*$SZREG($sp)
1934         $REG_S  $gp,0*$SZREG($sp)
1935 ___
1936 $code.=<<___;
1937         .set    reorder
1938         $LD     $a_0,0($a1)
1939         $LD     $a_1,$BNSZ($a1)
1940         $LD     $a_2,2*$BNSZ($a1)
1941         $LD     $a_3,3*$BNSZ($a1)
1942
1943         $MULTU  $a_0,$a_0               # mul_add_c(a[0],b[0],c1,c2,c3);
1944         $LD     $a_4,4*$BNSZ($a1)
1945         $LD     $a_5,5*$BNSZ($a1)
1946         $LD     $a_6,6*$BNSZ($a1)
1947         $LD     $a_7,7*$BNSZ($a1)
1948         mflo    $c_1
1949         mfhi    $c_2
1950         $ST     $c_1,0($a0)
1951
1952         $MULTU  $a_0,$a_1               # mul_add_c2(a[0],b[1],c2,c3,c1);
1953         mflo    $t_1
1954         mfhi    $t_2
1955         slt     $c_1,$t_2,$zero
1956         $SLL    $t_2,1
1957          $MULTU $a_2,$a_0               # mul_add_c2(a[2],b[0],c3,c1,c2);
1958         slt     $a2,$t_1,$zero
1959         $ADDU   $t_2,$a2
1960         $SLL    $t_1,1
1961         $ADDU   $c_2,$t_1
1962         sltu    $at,$c_2,$t_1
1963         $ADDU   $c_3,$t_2,$at
1964         $ST     $c_2,$BNSZ($a0)
1965 ___
1966         &add_c2($t_2,$t_1,$c_3,$c_1,$c_2,0,
1967                 $a_1,$a_1);             # mul_add_c(a[1],b[1],c3,c1,c2);
1968 $code.=<<___;
1969         mflo    $t_1
1970         mfhi    $t_2
1971         $ADDU   $c_3,$t_1
1972         sltu    $at,$c_3,$t_1
1973          $MULTU $a_0,$a_3               # mul_add_c2(a[0],b[3],c1,c2,c3);
1974         $ADDU   $t_2,$at
1975         $ADDU   $c_1,$t_2
1976         sltu    $at,$c_1,$t_2
1977         $ADDU   $c_2,$at
1978         $ST     $c_3,2*$BNSZ($a0)
1979 ___
1980         &add_c2($t_2,$t_1,$c_1,$c_2,$c_3,0,
1981                 $a_1,$a_2);             # mul_add_c2(a[1],b[2],c1,c2,c3);
1982         &add_c2($t_2,$t_1,$c_1,$c_2,$c_3,1,
1983                 $a_4,$a_0);             # mul_add_c2(a[4],b[0],c2,c3,c1);
1984 $code.=<<___;
1985         $ST     $c_1,3*$BNSZ($a0)
1986 ___
1987         &add_c2($t_2,$t_1,$c_2,$c_3,$c_1,0,
1988                 $a_3,$a_1);             # mul_add_c2(a[3],b[1],c2,c3,c1);
1989         &add_c2($t_2,$t_1,$c_2,$c_3,$c_1,1,
1990                 $a_2,$a_2);             # mul_add_c(a[2],b[2],c2,c3,c1);
1991 $code.=<<___;
1992         mflo    $t_1
1993         mfhi    $t_2
1994         $ADDU   $c_2,$t_1
1995         sltu    $at,$c_2,$t_1
1996          $MULTU $a_0,$a_5               # mul_add_c2(a[0],b[5],c3,c1,c2);
1997         $ADDU   $t_2,$at
1998         $ADDU   $c_3,$t_2
1999         sltu    $at,$c_3,$t_2
2000         $ADDU   $c_1,$at
2001         $ST     $c_2,4*$BNSZ($a0)
2002 ___
2003         &add_c2($t_2,$t_1,$c_3,$c_1,$c_2,0,
2004                 $a_1,$a_4);             # mul_add_c2(a[1],b[4],c3,c1,c2);
2005         &add_c2($t_2,$t_1,$c_3,$c_1,$c_2,1,
2006                 $a_2,$a_3);             # mul_add_c2(a[2],b[3],c3,c1,c2);
2007         &add_c2($t_2,$t_1,$c_3,$c_1,$c_2,1,
2008                 $a_6,$a_0);             # mul_add_c2(a[6],b[0],c1,c2,c3);
2009 $code.=<<___;
2010         $ST     $c_3,5*$BNSZ($a0)
2011 ___
2012         &add_c2($t_2,$t_1,$c_1,$c_2,$c_3,0,
2013                 $a_5,$a_1);             # mul_add_c2(a[5],b[1],c1,c2,c3);
2014         &add_c2($t_2,$t_1,$c_1,$c_2,$c_3,1,
2015                 $a_4,$a_2);             # mul_add_c2(a[4],b[2],c1,c2,c3);
2016         &add_c2($t_2,$t_1,$c_1,$c_2,$c_3,1,
2017                 $a_3,$a_3);             # mul_add_c(a[3],b[3],c1,c2,c3);
2018 $code.=<<___;
2019         mflo    $t_1
2020         mfhi    $t_2
2021         $ADDU   $c_1,$t_1
2022         sltu    $at,$c_1,$t_1
2023          $MULTU $a_0,$a_7               # mul_add_c2(a[0],b[7],c2,c3,c1);
2024         $ADDU   $t_2,$at
2025         $ADDU   $c_2,$t_2
2026         sltu    $at,$c_2,$t_2
2027         $ADDU   $c_3,$at
2028         $ST     $c_1,6*$BNSZ($a0)
2029 ___
2030         &add_c2($t_2,$t_1,$c_2,$c_3,$c_1,0,
2031                 $a_1,$a_6);             # mul_add_c2(a[1],b[6],c2,c3,c1);
2032         &add_c2($t_2,$t_1,$c_2,$c_3,$c_1,1,
2033                 $a_2,$a_5);             # mul_add_c2(a[2],b[5],c2,c3,c1);
2034         &add_c2($t_2,$t_1,$c_2,$c_3,$c_1,1,
2035                 $a_3,$a_4);             # mul_add_c2(a[3],b[4],c2,c3,c1);
2036         &add_c2($t_2,$t_1,$c_2,$c_3,$c_1,1,
2037                 $a_7,$a_1);             # mul_add_c2(a[7],b[1],c3,c1,c2);
2038 $code.=<<___;
2039         $ST     $c_2,7*$BNSZ($a0)
2040 ___
2041         &add_c2($t_2,$t_1,$c_3,$c_1,$c_2,0,
2042                 $a_6,$a_2);             # mul_add_c2(a[6],b[2],c3,c1,c2);
2043         &add_c2($t_2,$t_1,$c_3,$c_1,$c_2,1,
2044                 $a_5,$a_3);             # mul_add_c2(a[5],b[3],c3,c1,c2);
2045         &add_c2($t_2,$t_1,$c_3,$c_1,$c_2,1,
2046                 $a_4,$a_4);             # mul_add_c(a[4],b[4],c3,c1,c2);
2047 $code.=<<___;
2048         mflo    $t_1
2049         mfhi    $t_2
2050         $ADDU   $c_3,$t_1
2051         sltu    $at,$c_3,$t_1
2052          $MULTU $a_2,$a_7               # mul_add_c2(a[2],b[7],c1,c2,c3);
2053         $ADDU   $t_2,$at
2054         $ADDU   $c_1,$t_2
2055         sltu    $at,$c_1,$t_2
2056         $ADDU   $c_2,$at
2057         $ST     $c_3,8*$BNSZ($a0)
2058 ___
2059         &add_c2($t_2,$t_1,$c_1,$c_2,$c_3,0,
2060                 $a_3,$a_6);             # mul_add_c2(a[3],b[6],c1,c2,c3);
2061         &add_c2($t_2,$t_1,$c_1,$c_2,$c_3,1,
2062                 $a_4,$a_5);             # mul_add_c2(a[4],b[5],c1,c2,c3);
2063         &add_c2($t_2,$t_1,$c_1,$c_2,$c_3,1,
2064                 $a_7,$a_3);             # mul_add_c2(a[7],b[3],c2,c3,c1);
2065 $code.=<<___;
2066         $ST     $c_1,9*$BNSZ($a0)
2067 ___
2068         &add_c2($t_2,$t_1,$c_2,$c_3,$c_1,0,
2069                 $a_6,$a_4);             # mul_add_c2(a[6],b[4],c2,c3,c1);
2070         &add_c2($t_2,$t_1,$c_2,$c_3,$c_1,1,
2071                 $a_5,$a_5);             # mul_add_c(a[5],b[5],c2,c3,c1);
2072 $code.=<<___;
2073         mflo    $t_1
2074         mfhi    $t_2
2075         $ADDU   $c_2,$t_1
2076         sltu    $at,$c_2,$t_1
2077          $MULTU $a_4,$a_7               # mul_add_c2(a[4],b[7],c3,c1,c2);
2078         $ADDU   $t_2,$at
2079         $ADDU   $c_3,$t_2
2080         sltu    $at,$c_3,$t_2
2081         $ADDU   $c_1,$at
2082         $ST     $c_2,10*$BNSZ($a0)
2083 ___
2084         &add_c2($t_2,$t_1,$c_3,$c_1,$c_2,0,
2085                 $a_5,$a_6);             # mul_add_c2(a[5],b[6],c3,c1,c2);
2086         &add_c2($t_2,$t_1,$c_3,$c_1,$c_2,1,
2087                 $a_7,$a_5);             # mul_add_c2(a[7],b[5],c1,c2,c3);
2088 $code.=<<___;
2089         $ST     $c_3,11*$BNSZ($a0)
2090 ___
2091         &add_c2($t_2,$t_1,$c_1,$c_2,$c_3,0,
2092                 $a_6,$a_6);             # mul_add_c(a[6],b[6],c1,c2,c3);
2093 $code.=<<___;
2094         mflo    $t_1
2095         mfhi    $t_2
2096         $ADDU   $c_1,$t_1
2097         sltu    $at,$c_1,$t_1
2098          $MULTU $a_6,$a_7               # mul_add_c2(a[6],b[7],c2,c3,c1);
2099         $ADDU   $t_2,$at
2100         $ADDU   $c_2,$t_2
2101         sltu    $at,$c_2,$t_2
2102         $ADDU   $c_3,$at
2103         $ST     $c_1,12*$BNSZ($a0)
2104 ___
2105         &add_c2($t_2,$t_1,$c_2,$c_3,$c_1,0,
2106                 $a_7,$a_7);             # mul_add_c(a[7],b[7],c3,c1,c2);
2107 $code.=<<___;
2108         $ST     $c_2,13*$BNSZ($a0)
2109
2110         mflo    $t_1
2111         mfhi    $t_2
2112         $ADDU   $c_3,$t_1
2113         sltu    $at,$c_3,$t_1
2114         $ADDU   $t_2,$at
2115         $ADDU   $c_1,$t_2
2116         $ST     $c_3,14*$BNSZ($a0)
2117         $ST     $c_1,15*$BNSZ($a0)
2118
2119         .set    noreorder
2120 ___
2121 $code.=<<___ if ($flavour =~ /nubi/i);
2122         $REG_L  $t3,4*$SZREG($sp)
2123         $REG_L  $t2,3*$SZREG($sp)
2124         $REG_L  $t1,2*$SZREG($sp)
2125         $REG_L  $t0,1*$SZREG($sp)
2126         $REG_L  $gp,0*$SZREG($sp)
2127         $PTR_ADD $sp,6*$SZREG
2128 ___
2129 $code.=<<___;
2130         jr      $ra
2131         nop
2132 .end    bn_sqr_comba8
2133
2134 .align  5
2135 .globl  bn_sqr_comba4
2136 .ent    bn_sqr_comba4
2137 bn_sqr_comba4:
2138 ___
2139 $code.=<<___ if ($flavour =~ /nubi/i);
2140         .frame  $sp,6*$SZREG,$ra
2141         .mask   0x8000f008,-$SZREG
2142         .set    noreorder
2143         $PTR_SUB $sp,6*$SZREG
2144         $REG_S  $ra,5*$SZREG($sp)
2145         $REG_S  $t3,4*$SZREG($sp)
2146         $REG_S  $t2,3*$SZREG($sp)
2147         $REG_S  $t1,2*$SZREG($sp)
2148         $REG_S  $t0,1*$SZREG($sp)
2149         $REG_S  $gp,0*$SZREG($sp)
2150 ___
2151 $code.=<<___;
2152         .set    reorder
2153         $LD     $a_0,0($a1)
2154         $LD     $a_1,$BNSZ($a1)
2155         $MULTU  $a_0,$a_0               # mul_add_c(a[0],b[0],c1,c2,c3);
2156         $LD     $a_2,2*$BNSZ($a1)
2157         $LD     $a_3,3*$BNSZ($a1)
2158         mflo    $c_1
2159         mfhi    $c_2
2160         $ST     $c_1,0($a0)
2161
2162         $MULTU  $a_0,$a_1               # mul_add_c2(a[0],b[1],c2,c3,c1);
2163         mflo    $t_1
2164         mfhi    $t_2
2165         slt     $c_1,$t_2,$zero
2166         $SLL    $t_2,1
2167          $MULTU $a_2,$a_0               # mul_add_c2(a[2],b[0],c3,c1,c2);
2168         slt     $a2,$t_1,$zero
2169         $ADDU   $t_2,$a2
2170         $SLL    $t_1,1
2171         $ADDU   $c_2,$t_1
2172         sltu    $at,$c_2,$t_1
2173         $ADDU   $c_3,$t_2,$at
2174         $ST     $c_2,$BNSZ($a0)
2175 ___
2176         &add_c2($t_2,$t_1,$c_3,$c_1,$c_2,0,
2177                 $a_1,$a_1);             # mul_add_c(a[1],b[1],c3,c1,c2);
2178 $code.=<<___;
2179         mflo    $t_1
2180         mfhi    $t_2
2181         $ADDU   $c_3,$t_1
2182         sltu    $at,$c_3,$t_1
2183          $MULTU $a_0,$a_3               # mul_add_c2(a[0],b[3],c1,c2,c3);
2184         $ADDU   $t_2,$at
2185         $ADDU   $c_1,$t_2
2186         sltu    $at,$c_1,$t_2
2187         $ADDU   $c_2,$at
2188         $ST     $c_3,2*$BNSZ($a0)
2189 ___
2190         &add_c2($t_2,$t_1,$c_1,$c_2,$c_3,0,
2191                 $a_1,$a_2);             # mul_add_c2(a2[1],b[2],c1,c2,c3);
2192         &add_c2($t_2,$t_1,$c_1,$c_2,$c_3,1,
2193                 $a_3,$a_1);             # mul_add_c2(a[3],b[1],c2,c3,c1);
2194 $code.=<<___;
2195         $ST     $c_1,3*$BNSZ($a0)
2196 ___
2197         &add_c2($t_2,$t_1,$c_2,$c_3,$c_1,0,
2198                 $a_2,$a_2);             # mul_add_c(a[2],b[2],c2,c3,c1);
2199 $code.=<<___;
2200         mflo    $t_1
2201         mfhi    $t_2
2202         $ADDU   $c_2,$t_1
2203         sltu    $at,$c_2,$t_1
2204          $MULTU $a_2,$a_3               # mul_add_c2(a[2],b[3],c3,c1,c2);
2205         $ADDU   $t_2,$at
2206         $ADDU   $c_3,$t_2
2207         sltu    $at,$c_3,$t_2
2208         $ADDU   $c_1,$at
2209         $ST     $c_2,4*$BNSZ($a0)
2210 ___
2211         &add_c2($t_2,$t_1,$c_3,$c_1,$c_2,0,
2212                 $a_3,$a_3);             # mul_add_c(a[3],b[3],c1,c2,c3);
2213 $code.=<<___;
2214         $ST     $c_3,5*$BNSZ($a0)
2215
2216         mflo    $t_1
2217         mfhi    $t_2
2218         $ADDU   $c_1,$t_1
2219         sltu    $at,$c_1,$t_1
2220         $ADDU   $t_2,$at
2221         $ADDU   $c_2,$t_2
2222         $ST     $c_1,6*$BNSZ($a0)
2223         $ST     $c_2,7*$BNSZ($a0)
2224
2225         .set    noreorder
2226 ___
2227 $code.=<<___ if ($flavour =~ /nubi/i);
2228         $REG_L  $t3,4*$SZREG($sp)
2229         $REG_L  $t2,3*$SZREG($sp)
2230         $REG_L  $t1,2*$SZREG($sp)
2231         $REG_L  $t0,1*$SZREG($sp)
2232         $REG_L  $gp,0*$SZREG($sp)
2233         $PTR_ADD $sp,6*$SZREG
2234 ___
2235 $code.=<<___;
2236         jr      $ra
2237         nop
2238 .end    bn_sqr_comba4
2239 ___
2240 print $code;
2241 close STDOUT;