88c5dc480a763111f9f39109ca3d8f5f9b5ba928
[openssl.git] / crypto / bn / asm / sparcv8.S
1 .ident  "sparcv8.s, Version 1.4"
2 .ident  "SPARC v8 ISA artwork by Andy Polyakov <appro@fy.chalmers.se>"
3
4 /*
5  * ====================================================================
6  * Written by Andy Polyakov <appro@fy.chalmers.se> for the OpenSSL
7  * project.
8  *
9  * Rights for redistribution and usage in source and binary forms are
10  * granted according to the OpenSSL license. Warranty of any kind is
11  * disclaimed.
12  * ====================================================================
13  */
14
15 /*
16  * This is my modest contributon to OpenSSL project (see
17  * http://www.openssl.org/ for more information about it) and is
18  * a drop-in SuperSPARC ISA replacement for crypto/bn/bn_asm.c
19  * module. For updates see http://fy.chalmers.se/~appro/hpe/.
20  *
21  * See bn_asm.sparc.v8plus.S for more details.
22  */
23
24 /*
25  * Revision history.
26  *
27  * 1.1  - new loop unrolling model(*);
28  * 1.2  - made gas friendly;
29  * 1.3  - fixed problem with /usr/ccs/lib/cpp;
30  * 1.4  - some retunes;
31  *
32  * (*)  see bn_asm.sparc.v8plus.S for details
33  */
34
35 .section        ".text",#alloc,#execinstr
36 .file           "bn_asm.sparc.v8.S"
37
38 .align  32
39
40 .global bn_mul_add_words
41 /*
42  * BN_ULONG bn_mul_add_words(rp,ap,num,w)
43  * BN_ULONG *rp,*ap;
44  * int num;
45  * BN_ULONG w;
46  */
47 bn_mul_add_words:
48         cmp     %o2,0
49         bg,a    .L_bn_mul_add_words_proceed
50         ld      [%o1],%g2
51         retl
52         clr     %o0
53
54 .L_bn_mul_add_words_proceed:
55         andcc   %o2,-4,%g0
56         bz      .L_bn_mul_add_words_tail
57         clr     %o5
58
59 .L_bn_mul_add_words_loop:
60         ld      [%o0],%o4
61         ld      [%o1+4],%g3
62         umul    %o3,%g2,%g2
63         rd      %y,%g1
64         addcc   %o4,%o5,%o4
65         addx    %g1,0,%g1
66         addcc   %o4,%g2,%o4
67         st      %o4,[%o0]
68         addx    %g1,0,%o5
69
70         ld      [%o0+4],%o4
71         ld      [%o1+8],%g2
72         umul    %o3,%g3,%g3
73         dec     4,%o2
74         rd      %y,%g1
75         addcc   %o4,%o5,%o4
76         addx    %g1,0,%g1
77         addcc   %o4,%g3,%o4
78         st      %o4,[%o0+4]
79         addx    %g1,0,%o5
80
81         ld      [%o0+8],%o4
82         ld      [%o1+12],%g3
83         umul    %o3,%g2,%g2
84         inc     16,%o1
85         rd      %y,%g1
86         addcc   %o4,%o5,%o4
87         addx    %g1,0,%g1
88         addcc   %o4,%g2,%o4
89         st      %o4,[%o0+8]
90         addx    %g1,0,%o5
91
92         ld      [%o0+12],%o4
93         umul    %o3,%g3,%g3
94         inc     16,%o0
95         rd      %y,%g1
96         addcc   %o4,%o5,%o4
97         addx    %g1,0,%g1
98         addcc   %o4,%g3,%o4
99         st      %o4,[%o0-4]
100         addx    %g1,0,%o5
101         andcc   %o2,-4,%g0
102         bnz,a   .L_bn_mul_add_words_loop
103         ld      [%o1],%g2
104
105         tst     %o2
106         bnz,a   .L_bn_mul_add_words_tail
107         ld      [%o1],%g2
108 .L_bn_mul_add_words_return:
109         retl
110         mov     %o5,%o0
111         nop
112
113 .L_bn_mul_add_words_tail:
114         ld      [%o0],%o4
115         umul    %o3,%g2,%g2
116         addcc   %o4,%o5,%o4
117         rd      %y,%g1
118         addx    %g1,0,%g1
119         addcc   %o4,%g2,%o4
120         addx    %g1,0,%o5
121         deccc   %o2
122         bz      .L_bn_mul_add_words_return
123         st      %o4,[%o0]
124
125         ld      [%o1+4],%g2
126         ld      [%o0+4],%o4
127         umul    %o3,%g2,%g2
128         rd      %y,%g1
129         addcc   %o4,%o5,%o4
130         addx    %g1,0,%g1
131         addcc   %o4,%g2,%o4
132         addx    %g1,0,%o5
133         deccc   %o2
134         bz      .L_bn_mul_add_words_return
135         st      %o4,[%o0+4]
136
137         ld      [%o1+8],%g2
138         ld      [%o0+8],%o4
139         umul    %o3,%g2,%g2
140         rd      %y,%g1
141         addcc   %o4,%o5,%o4
142         addx    %g1,0,%g1
143         addcc   %o4,%g2,%o4
144         st      %o4,[%o0+8]
145         retl
146         addx    %g1,0,%o0
147
148 .type   bn_mul_add_words,#function
149 .size   bn_mul_add_words,(.-bn_mul_add_words)
150
151 .align  32
152
153 .global bn_mul_words
154 /*
155  * BN_ULONG bn_mul_words(rp,ap,num,w)
156  * BN_ULONG *rp,*ap;
157  * int num;
158  * BN_ULONG w;
159  */
160 bn_mul_words:
161         cmp     %o2,0
162         bg,a    .L_bn_mul_words_proceeed
163         ld      [%o1],%g2
164         retl
165         clr     %o0
166
167 .L_bn_mul_words_proceeed:
168         andcc   %o2,-4,%g0
169         bz      .L_bn_mul_words_tail
170         clr     %o5
171
172 .L_bn_mul_words_loop:
173         ld      [%o1+4],%g3
174         umul    %o3,%g2,%g2
175         addcc   %g2,%o5,%g2
176         rd      %y,%g1
177         addx    %g1,0,%o5
178         st      %g2,[%o0]
179
180         ld      [%o1+8],%g2
181         umul    %o3,%g3,%g3
182         addcc   %g3,%o5,%g3
183         rd      %y,%g1
184         dec     4,%o2
185         addx    %g1,0,%o5
186         st      %g3,[%o0+4]
187
188         ld      [%o1+12],%g3
189         umul    %o3,%g2,%g2
190         addcc   %g2,%o5,%g2
191         rd      %y,%g1
192         inc     16,%o1
193         st      %g2,[%o0+8]
194         addx    %g1,0,%o5
195
196         umul    %o3,%g3,%g3
197         addcc   %g3,%o5,%g3
198         rd      %y,%g1
199         inc     16,%o0
200         addx    %g1,0,%o5
201         st      %g3,[%o0-4]
202         andcc   %o2,-4,%g0
203         nop
204         bnz,a   .L_bn_mul_words_loop
205         ld      [%o1],%g2
206
207         tst     %o2
208         bnz,a   .L_bn_mul_words_tail
209         ld      [%o1],%g2
210 .L_bn_mul_words_return:
211         retl
212         mov     %o5,%o0
213         nop
214
215 .L_bn_mul_words_tail:
216         umul    %o3,%g2,%g2
217         addcc   %g2,%o5,%g2
218         rd      %y,%g1
219         addx    %g1,0,%o5
220         deccc   %o2
221         bz      .L_bn_mul_words_return
222         st      %g2,[%o0]
223         nop
224
225         ld      [%o1+4],%g2
226         umul    %o3,%g2,%g2
227         addcc   %g2,%o5,%g2
228         rd      %y,%g1
229         addx    %g1,0,%o5
230         deccc   %o2
231         bz      .L_bn_mul_words_return
232         st      %g2,[%o0+4]
233
234         ld      [%o1+8],%g2
235         umul    %o3,%g2,%g2
236         addcc   %g2,%o5,%g2
237         rd      %y,%g1
238         st      %g2,[%o0+8]
239         retl
240         addx    %g1,0,%o0
241
242 .type   bn_mul_words,#function
243 .size   bn_mul_words,(.-bn_mul_words)
244
245 .align  32
246 .global bn_sqr_words
247 /*
248  * void bn_sqr_words(r,a,n)
249  * BN_ULONG *r,*a;
250  * int n;
251  */
252 bn_sqr_words:
253         cmp     %o2,0
254         bg,a    .L_bn_sqr_words_proceeed
255         ld      [%o1],%g2
256         retl
257         clr     %o0
258
259 .L_bn_sqr_words_proceeed:
260         andcc   %o2,-4,%g0
261         bz      .L_bn_sqr_words_tail
262         clr     %o5
263
264 .L_bn_sqr_words_loop:
265         ld      [%o1+4],%g3
266         umul    %g2,%g2,%o4
267         st      %o4,[%o0]
268         rd      %y,%o5
269         st      %o5,[%o0+4]
270
271         ld      [%o1+8],%g2
272         umul    %g3,%g3,%o4
273         dec     4,%o2
274         st      %o4,[%o0+8]
275         rd      %y,%o5
276         st      %o5,[%o0+12]
277         nop
278
279         ld      [%o1+12],%g3
280         umul    %g2,%g2,%o4
281         st      %o4,[%o0+16]
282         rd      %y,%o5
283         inc     16,%o1
284         st      %o5,[%o0+20]
285
286         umul    %g3,%g3,%o4
287         inc     32,%o0
288         st      %o4,[%o0-8]
289         rd      %y,%o5
290         st      %o5,[%o0-4]
291         andcc   %o2,-4,%g2
292         bnz,a   .L_bn_sqr_words_loop
293         ld      [%o1],%g2
294
295         tst     %o2
296         nop
297         bnz,a   .L_bn_sqr_words_tail
298         ld      [%o1],%g2
299 .L_bn_sqr_words_return:
300         retl
301         clr     %o0
302
303 .L_bn_sqr_words_tail:
304         umul    %g2,%g2,%o4
305         st      %o4,[%o0]
306         deccc   %o2
307         rd      %y,%o5
308         bz      .L_bn_sqr_words_return
309         st      %o5,[%o0+4]
310
311         ld      [%o1+4],%g2
312         umul    %g2,%g2,%o4
313         st      %o4,[%o0+8]
314         deccc   %o2
315         rd      %y,%o5
316         nop
317         bz      .L_bn_sqr_words_return
318         st      %o5,[%o0+12]
319
320         ld      [%o1+8],%g2
321         umul    %g2,%g2,%o4
322         st      %o4,[%o0+16]
323         rd      %y,%o5
324         st      %o5,[%o0+20]
325         retl
326         clr     %o0
327
328 .type   bn_sqr_words,#function
329 .size   bn_sqr_words,(.-bn_sqr_words)
330
331 .align  32
332
333 .global bn_div_words
334 /*
335  * BN_ULONG bn_div_words(h,l,d)
336  * BN_ULONG h,l,d;
337  */
338 bn_div_words:
339         wr      %o0,%y
340         udiv    %o1,%o2,%o0
341         retl
342         nop
343
344 .type   bn_div_words,#function
345 .size   bn_div_words,(.-bn_div_words)
346
347 .align  32
348
349 .global bn_add_words
350 /*
351  * BN_ULONG bn_add_words(rp,ap,bp,n)
352  * BN_ULONG *rp,*ap,*bp;
353  * int n;
354  */
355 bn_add_words:
356         cmp     %o3,0
357         bg,a    .L_bn_add_words_proceed
358         ld      [%o1],%o4
359         retl
360         clr     %o0
361
362 .L_bn_add_words_proceed:
363         andcc   %o3,-4,%g0
364         bz      .L_bn_add_words_tail
365         clr     %g1
366         ba      .L_bn_add_words_warn_loop
367         addcc   %g0,0,%g0       ! clear carry flag
368
369 .L_bn_add_words_loop:
370         ld      [%o1],%o4
371 .L_bn_add_words_warn_loop:
372         ld      [%o2],%o5
373         ld      [%o1+4],%g3
374         ld      [%o2+4],%g4
375         dec     4,%o3
376         addxcc  %o5,%o4,%o5
377         st      %o5,[%o0]
378
379         ld      [%o1+8],%o4
380         ld      [%o2+8],%o5
381         inc     16,%o1
382         addxcc  %g3,%g4,%g3
383         st      %g3,[%o0+4]
384         
385         ld      [%o1-4],%g3
386         ld      [%o2+12],%g4
387         inc     16,%o2
388         addxcc  %o5,%o4,%o5
389         st      %o5,[%o0+8]
390
391         inc     16,%o0
392         addxcc  %g3,%g4,%g3
393         st      %g3,[%o0-4]
394         addx    %g0,0,%g1
395         andcc   %o3,-4,%g0
396         bnz,a   .L_bn_add_words_loop
397         addcc   %g1,-1,%g0
398
399         tst     %o3
400         bnz,a   .L_bn_add_words_tail
401         ld      [%o1],%o4
402 .L_bn_add_words_return:
403         retl
404         mov     %g1,%o0
405
406 .L_bn_add_words_tail:
407         addcc   %g1,-1,%g0
408         ld      [%o2],%o5
409         addxcc  %o5,%o4,%o5
410         addx    %g0,0,%g1
411         deccc   %o3
412         bz      .L_bn_add_words_return
413         st      %o5,[%o0]
414
415         ld      [%o1+4],%o4
416         addcc   %g1,-1,%g0
417         ld      [%o2+4],%o5
418         addxcc  %o5,%o4,%o5
419         addx    %g0,0,%g1
420         deccc   %o3
421         bz      .L_bn_add_words_return
422         st      %o5,[%o0+4]
423
424         ld      [%o1+8],%o4
425         addcc   %g1,-1,%g0
426         ld      [%o2+8],%o5
427         addxcc  %o5,%o4,%o5
428         st      %o5,[%o0+8]
429         retl
430         addx    %g0,0,%o0
431
432 .type   bn_add_words,#function
433 .size   bn_add_words,(.-bn_add_words)
434
435 .align  32
436
437 .global bn_sub_words
438 /*
439  * BN_ULONG bn_sub_words(rp,ap,bp,n)
440  * BN_ULONG *rp,*ap,*bp;
441  * int n;
442  */
443 bn_sub_words:
444         cmp     %o3,0
445         bg,a    .L_bn_sub_words_proceed
446         ld      [%o1],%o4
447         retl
448         clr     %o0
449
450 .L_bn_sub_words_proceed:
451         andcc   %o3,-4,%g0
452         bz      .L_bn_sub_words_tail
453         clr     %g1
454         ba      .L_bn_sub_words_warm_loop
455         addcc   %g0,0,%g0       ! clear carry flag
456
457 .L_bn_sub_words_loop:
458         ld      [%o1],%o4
459 .L_bn_sub_words_warm_loop:
460         ld      [%o2],%o5
461         ld      [%o1+4],%g3
462         ld      [%o2+4],%g4
463         dec     4,%o3
464         subxcc  %o4,%o5,%o5
465         st      %o5,[%o0]
466
467         ld      [%o1+8],%o4
468         ld      [%o2+8],%o5
469         inc     16,%o1
470         subxcc  %g3,%g4,%g4
471         st      %g4,[%o0+4]
472         
473         ld      [%o1-4],%g3
474         ld      [%o2+12],%g4
475         inc     16,%o2
476         subxcc  %o4,%o5,%o5
477         st      %o5,[%o0+8]
478
479         inc     16,%o0
480         subxcc  %g3,%g4,%g4
481         st      %g4,[%o0-4]
482         addx    %g0,0,%g1
483         andcc   %o3,-4,%g0
484         bnz,a   .L_bn_sub_words_loop
485         addcc   %g1,-1,%g0
486
487         tst     %o3
488         nop
489         bnz,a   .L_bn_sub_words_tail
490         ld      [%o1],%o4
491 .L_bn_sub_words_return:
492         retl
493         mov     %g1,%o0
494
495 .L_bn_sub_words_tail:
496         addcc   %g1,-1,%g0
497         ld      [%o2],%o5
498         subxcc  %o4,%o5,%o5
499         addx    %g0,0,%g1
500         deccc   %o3
501         bz      .L_bn_sub_words_return
502         st      %o5,[%o0]
503         nop
504
505         ld      [%o1+4],%o4
506         addcc   %g1,-1,%g0
507         ld      [%o2+4],%o5
508         subxcc  %o4,%o5,%o5
509         addx    %g0,0,%g1
510         deccc   %o3
511         bz      .L_bn_sub_words_return
512         st      %o5,[%o0+4]
513
514         ld      [%o1+8],%o4
515         addcc   %g1,-1,%g0
516         ld      [%o2+8],%o5
517         subxcc  %o4,%o5,%o5
518         st      %o5,[%o0+8]
519         retl
520         addx    %g0,0,%o0
521
522 .type   bn_sub_words,#function
523 .size   bn_sub_words,(.-bn_sub_words)
524
525 #define FRAME_SIZE      -96
526
527 /*
528  * Here is register usage map for *all* routines below.
529  */
530 #define t_1     %o0
531 #define t_2     %o1
532 #define c_1     %o2
533 #define c_2     %o3
534 #define c_3     %o4
535
536 #define ap(I)   [%i1+4*I]
537 #define bp(I)   [%i2+4*I]
538 #define rp(I)   [%i0+4*I]
539
540 #define a_0     %l0
541 #define a_1     %l1
542 #define a_2     %l2
543 #define a_3     %l3
544 #define a_4     %l4
545 #define a_5     %l5
546 #define a_6     %l6
547 #define a_7     %l7
548
549 #define b_0     %i3
550 #define b_1     %i4
551 #define b_2     %i5
552 #define b_3     %o5
553 #define b_4     %g1
554 #define b_5     %g2
555 #define b_6     %g3
556 #define b_7     %g4
557
558 .align  32
559 .global bn_mul_comba8
560 /*
561  * void bn_mul_comba8(r,a,b)
562  * BN_ULONG *r,*a,*b;
563  */
564 bn_mul_comba8:
565         save    %sp,FRAME_SIZE,%sp
566         ld      ap(0),a_0
567         ld      bp(0),b_0
568         umul    a_0,b_0,c_1     !=!mul_add_c(a[0],b[0],c1,c2,c3);
569         ld      bp(1),b_1
570         rd      %y,c_2
571         st      c_1,rp(0)       !r[0]=c1;
572
573         umul    a_0,b_1,t_1     !=!mul_add_c(a[0],b[1],c2,c3,c1);
574         ld      ap(1),a_1
575         addcc   c_2,t_1,c_2
576         rd      %y,t_2
577         addxcc  %g0,t_2,c_3     !=
578         addx    %g0,%g0,c_1
579         ld      ap(2),a_2
580         umul    a_1,b_0,t_1     !mul_add_c(a[1],b[0],c2,c3,c1);
581         addcc   c_2,t_1,c_2     !=
582         rd      %y,t_2
583         addxcc  c_3,t_2,c_3
584         st      c_2,rp(1)       !r[1]=c2;
585         addx    c_1,%g0,c_1     !=
586
587         umul    a_2,b_0,t_1     !mul_add_c(a[2],b[0],c3,c1,c2);
588         addcc   c_3,t_1,c_3
589         rd      %y,t_2
590         addxcc  c_1,t_2,c_1     !=
591         addx    %g0,%g0,c_2
592         ld      bp(2),b_2
593         umul    a_1,b_1,t_1     !mul_add_c(a[1],b[1],c3,c1,c2);
594         addcc   c_3,t_1,c_3     !=
595         rd      %y,t_2
596         addxcc  c_1,t_2,c_1
597         ld      bp(3),b_3
598         addx    c_2,%g0,c_2     !=
599         umul    a_0,b_2,t_1     !mul_add_c(a[0],b[2],c3,c1,c2);
600         addcc   c_3,t_1,c_3
601         rd      %y,t_2
602         addxcc  c_1,t_2,c_1     !=
603         addx    c_2,%g0,c_2
604         st      c_3,rp(2)       !r[2]=c3;
605
606         umul    a_0,b_3,t_1     !mul_add_c(a[0],b[3],c1,c2,c3);
607         addcc   c_1,t_1,c_1     !=
608         rd      %y,t_2
609         addxcc  c_2,t_2,c_2
610         addx    %g0,%g0,c_3
611         umul    a_1,b_2,t_1     !=!mul_add_c(a[1],b[2],c1,c2,c3);
612         addcc   c_1,t_1,c_1
613         rd      %y,t_2
614         addxcc  c_2,t_2,c_2
615         addx    c_3,%g0,c_3     !=
616         ld      ap(3),a_3
617         umul    a_2,b_1,t_1     !mul_add_c(a[2],b[1],c1,c2,c3);
618         addcc   c_1,t_1,c_1
619         rd      %y,t_2          !=
620         addxcc  c_2,t_2,c_2
621         addx    c_3,%g0,c_3
622         ld      ap(4),a_4
623         umul    a_3,b_0,t_1     !mul_add_c(a[3],b[0],c1,c2,c3);!=
624         addcc   c_1,t_1,c_1
625         rd      %y,t_2
626         addxcc  c_2,t_2,c_2
627         addx    c_3,%g0,c_3     !=
628         st      c_1,rp(3)       !r[3]=c1;
629
630         umul    a_4,b_0,t_1     !mul_add_c(a[4],b[0],c2,c3,c1);
631         addcc   c_2,t_1,c_2
632         rd      %y,t_2          !=
633         addxcc  c_3,t_2,c_3
634         addx    %g0,%g0,c_1
635         umul    a_3,b_1,t_1     !mul_add_c(a[3],b[1],c2,c3,c1);
636         addcc   c_2,t_1,c_2     !=
637         rd      %y,t_2
638         addxcc  c_3,t_2,c_3
639         addx    c_1,%g0,c_1
640         umul    a_2,b_2,t_1     !=!mul_add_c(a[2],b[2],c2,c3,c1);
641         addcc   c_2,t_1,c_2
642         rd      %y,t_2
643         addxcc  c_3,t_2,c_3
644         addx    c_1,%g0,c_1     !=
645         ld      bp(4),b_4
646         umul    a_1,b_3,t_1     !mul_add_c(a[1],b[3],c2,c3,c1);
647         addcc   c_2,t_1,c_2
648         rd      %y,t_2          !=
649         addxcc  c_3,t_2,c_3
650         addx    c_1,%g0,c_1
651         ld      bp(5),b_5
652         umul    a_0,b_4,t_1     !=!mul_add_c(a[0],b[4],c2,c3,c1);
653         addcc   c_2,t_1,c_2
654         rd      %y,t_2
655         addxcc  c_3,t_2,c_3
656         addx    c_1,%g0,c_1     !=
657         st      c_2,rp(4)       !r[4]=c2;
658
659         umul    a_0,b_5,t_1     !mul_add_c(a[0],b[5],c3,c1,c2);
660         addcc   c_3,t_1,c_3
661         rd      %y,t_2          !=
662         addxcc  c_1,t_2,c_1
663         addx    %g0,%g0,c_2
664         umul    a_1,b_4,t_1     !mul_add_c(a[1],b[4],c3,c1,c2);
665         addcc   c_3,t_1,c_3     !=
666         rd      %y,t_2
667         addxcc  c_1,t_2,c_1
668         addx    c_2,%g0,c_2
669         umul    a_2,b_3,t_1     !=!mul_add_c(a[2],b[3],c3,c1,c2);
670         addcc   c_3,t_1,c_3
671         rd      %y,t_2
672         addxcc  c_1,t_2,c_1
673         addx    c_2,%g0,c_2     !=
674         umul    a_3,b_2,t_1     !mul_add_c(a[3],b[2],c3,c1,c2);
675         addcc   c_3,t_1,c_3
676         rd      %y,t_2
677         addxcc  c_1,t_2,c_1     !=
678         addx    c_2,%g0,c_2
679         ld      ap(5),a_5
680         umul    a_4,b_1,t_1     !mul_add_c(a[4],b[1],c3,c1,c2);
681         addcc   c_3,t_1,c_3     !=
682         rd      %y,t_2
683         addxcc  c_1,t_2,c_1
684         ld      ap(6),a_6
685         addx    c_2,%g0,c_2     !=
686         umul    a_5,b_0,t_1     !mul_add_c(a[5],b[0],c3,c1,c2);
687         addcc   c_3,t_1,c_3
688         rd      %y,t_2
689         addxcc  c_1,t_2,c_1     !=
690         addx    c_2,%g0,c_2
691         st      c_3,rp(5)       !r[5]=c3;
692
693         umul    a_6,b_0,t_1     !mul_add_c(a[6],b[0],c1,c2,c3);
694         addcc   c_1,t_1,c_1     !=
695         rd      %y,t_2
696         addxcc  c_2,t_2,c_2
697         addx    %g0,%g0,c_3
698         umul    a_5,b_1,t_1     !=!mul_add_c(a[5],b[1],c1,c2,c3);
699         addcc   c_1,t_1,c_1
700         rd      %y,t_2
701         addxcc  c_2,t_2,c_2
702         addx    c_3,%g0,c_3     !=
703         umul    a_4,b_2,t_1     !mul_add_c(a[4],b[2],c1,c2,c3);
704         addcc   c_1,t_1,c_1
705         rd      %y,t_2
706         addxcc  c_2,t_2,c_2     !=
707         addx    c_3,%g0,c_3
708         umul    a_3,b_3,t_1     !mul_add_c(a[3],b[3],c1,c2,c3);
709         addcc   c_1,t_1,c_1
710         rd      %y,t_2          !=
711         addxcc  c_2,t_2,c_2
712         addx    c_3,%g0,c_3
713         umul    a_2,b_4,t_1     !mul_add_c(a[2],b[4],c1,c2,c3);
714         addcc   c_1,t_1,c_1     !=
715         rd      %y,t_2
716         addxcc  c_2,t_2,c_2
717         ld      bp(6),b_6
718         addx    c_3,%g0,c_3     !=
719         umul    a_1,b_5,t_1     !mul_add_c(a[1],b[5],c1,c2,c3);
720         addcc   c_1,t_1,c_1
721         rd      %y,t_2
722         addxcc  c_2,t_2,c_2     !=
723         addx    c_3,%g0,c_3
724         ld      bp(7),b_7
725         umul    a_0,b_6,t_1     !mul_add_c(a[0],b[6],c1,c2,c3);
726         addcc   c_1,t_1,c_1     !=
727         rd      %y,t_2
728         addxcc  c_2,t_2,c_2
729         st      c_1,rp(6)       !r[6]=c1;
730         addx    c_3,%g0,c_3     !=
731
732         umul    a_0,b_7,t_1     !mul_add_c(a[0],b[7],c2,c3,c1);
733         addcc   c_2,t_1,c_2
734         rd      %y,t_2
735         addxcc  c_3,t_2,c_3     !=
736         addx    %g0,%g0,c_1
737         umul    a_1,b_6,t_1     !mul_add_c(a[1],b[6],c2,c3,c1);
738         addcc   c_2,t_1,c_2
739         rd      %y,t_2          !=
740         addxcc  c_3,t_2,c_3
741         addx    c_1,%g0,c_1
742         umul    a_2,b_5,t_1     !mul_add_c(a[2],b[5],c2,c3,c1);
743         addcc   c_2,t_1,c_2     !=
744         rd      %y,t_2
745         addxcc  c_3,t_2,c_3
746         addx    c_1,%g0,c_1
747         umul    a_3,b_4,t_1     !=!mul_add_c(a[3],b[4],c2,c3,c1);
748         addcc   c_2,t_1,c_2
749         rd      %y,t_2
750         addxcc  c_3,t_2,c_3
751         addx    c_1,%g0,c_1     !=
752         umul    a_4,b_3,t_1     !mul_add_c(a[4],b[3],c2,c3,c1);
753         addcc   c_2,t_1,c_2
754         rd      %y,t_2
755         addxcc  c_3,t_2,c_3     !=
756         addx    c_1,%g0,c_1
757         umul    a_5,b_2,t_1     !mul_add_c(a[5],b[2],c2,c3,c1);
758         addcc   c_2,t_1,c_2
759         rd      %y,t_2          !=
760         addxcc  c_3,t_2,c_3
761         addx    c_1,%g0,c_1
762         ld      ap(7),a_7
763         umul    a_6,b_1,t_1     !=!mul_add_c(a[6],b[1],c2,c3,c1);
764         addcc   c_2,t_1,c_2
765         rd      %y,t_2
766         addxcc  c_3,t_2,c_3
767         addx    c_1,%g0,c_1     !=
768         umul    a_7,b_0,t_1     !mul_add_c(a[7],b[0],c2,c3,c1);
769         addcc   c_2,t_1,c_2
770         rd      %y,t_2
771         addxcc  c_3,t_2,c_3     !=
772         addx    c_1,%g0,c_1
773         st      c_2,rp(7)       !r[7]=c2;
774
775         umul    a_7,b_1,t_1     !mul_add_c(a[7],b[1],c3,c1,c2);
776         addcc   c_3,t_1,c_3     !=
777         rd      %y,t_2
778         addxcc  c_1,t_2,c_1
779         addx    %g0,%g0,c_2
780         umul    a_6,b_2,t_1     !=!mul_add_c(a[6],b[2],c3,c1,c2);
781         addcc   c_3,t_1,c_3
782         rd      %y,t_2
783         addxcc  c_1,t_2,c_1
784         addx    c_2,%g0,c_2     !=
785         umul    a_5,b_3,t_1     !mul_add_c(a[5],b[3],c3,c1,c2);
786         addcc   c_3,t_1,c_3
787         rd      %y,t_2
788         addxcc  c_1,t_2,c_1     !=
789         addx    c_2,%g0,c_2
790         umul    a_4,b_4,t_1     !mul_add_c(a[4],b[4],c3,c1,c2);
791         addcc   c_3,t_1,c_3
792         rd      %y,t_2          !=
793         addxcc  c_1,t_2,c_1
794         addx    c_2,%g0,c_2
795         umul    a_3,b_5,t_1     !mul_add_c(a[3],b[5],c3,c1,c2);
796         addcc   c_3,t_1,c_3     !=
797         rd      %y,t_2
798         addxcc  c_1,t_2,c_1
799         addx    c_2,%g0,c_2
800         umul    a_2,b_6,t_1     !=!mul_add_c(a[2],b[6],c3,c1,c2);
801         addcc   c_3,t_1,c_3
802         rd      %y,t_2
803         addxcc  c_1,t_2,c_1
804         addx    c_2,%g0,c_2     !=
805         umul    a_1,b_7,t_1     !mul_add_c(a[1],b[7],c3,c1,c2);
806         addcc   c_3,t_1,c_3
807         rd      %y,t_2
808         addxcc  c_1,t_2,c_1     !
809         addx    c_2,%g0,c_2
810         st      c_3,rp(8)       !r[8]=c3;
811
812         umul    a_2,b_7,t_1     !mul_add_c(a[2],b[7],c1,c2,c3);
813         addcc   c_1,t_1,c_1     !=
814         rd      %y,t_2
815         addxcc  c_2,t_2,c_2
816         addx    %g0,%g0,c_3
817         umul    a_3,b_6,t_1     !=!mul_add_c(a[3],b[6],c1,c2,c3);
818         addcc   c_1,t_1,c_1
819         rd      %y,t_2
820         addxcc  c_2,t_2,c_2
821         addx    c_3,%g0,c_3     !=
822         umul    a_4,b_5,t_1     !mul_add_c(a[4],b[5],c1,c2,c3);
823         addcc   c_1,t_1,c_1
824         rd      %y,t_2
825         addxcc  c_2,t_2,c_2     !=
826         addx    c_3,%g0,c_3
827         umul    a_5,b_4,t_1     !mul_add_c(a[5],b[4],c1,c2,c3);
828         addcc   c_1,t_1,c_1
829         rd      %y,t_2          !=
830         addxcc  c_2,t_2,c_2
831         addx    c_3,%g0,c_3
832         umul    a_6,b_3,t_1     !mul_add_c(a[6],b[3],c1,c2,c3);
833         addcc   c_1,t_1,c_1     !=
834         rd      %y,t_2
835         addxcc  c_2,t_2,c_2
836         addx    c_3,%g0,c_3
837         umul    a_7,b_2,t_1     !=!mul_add_c(a[7],b[2],c1,c2,c3);
838         addcc   c_1,t_1,c_1
839         rd      %y,t_2
840         addxcc  c_2,t_2,c_2
841         addx    c_3,%g0,c_3     !=
842         st      c_1,rp(9)       !r[9]=c1;
843
844         umul    a_7,b_3,t_1     !mul_add_c(a[7],b[3],c2,c3,c1);
845         addcc   c_2,t_1,c_2
846         rd      %y,t_2          !=
847         addxcc  c_3,t_2,c_3
848         addx    %g0,%g0,c_1
849         umul    a_6,b_4,t_1     !mul_add_c(a[6],b[4],c2,c3,c1);
850         addcc   c_2,t_1,c_2     !=
851         rd      %y,t_2
852         addxcc  c_3,t_2,c_3
853         addx    c_1,%g0,c_1
854         umul    a_5,b_5,t_1     !=!mul_add_c(a[5],b[5],c2,c3,c1);
855         addcc   c_2,t_1,c_2
856         rd      %y,t_2
857         addxcc  c_3,t_2,c_3
858         addx    c_1,%g0,c_1     !=
859         umul    a_4,b_6,t_1     !mul_add_c(a[4],b[6],c2,c3,c1);
860         addcc   c_2,t_1,c_2
861         rd      %y,t_2
862         addxcc  c_3,t_2,c_3     !=
863         addx    c_1,%g0,c_1
864         umul    a_3,b_7,t_1     !mul_add_c(a[3],b[7],c2,c3,c1);
865         addcc   c_2,t_1,c_2
866         rd      %y,t_2          !=
867         addxcc  c_3,t_2,c_3
868         addx    c_1,%g0,c_1
869         st      c_2,rp(10)      !r[10]=c2;
870
871         umul    a_4,b_7,t_1     !=!mul_add_c(a[4],b[7],c3,c1,c2);
872         addcc   c_3,t_1,c_3
873         rd      %y,t_2
874         addxcc  c_1,t_2,c_1
875         addx    %g0,%g0,c_2     !=
876         umul    a_5,b_6,t_1     !mul_add_c(a[5],b[6],c3,c1,c2);
877         addcc   c_3,t_1,c_3
878         rd      %y,t_2
879         addxcc  c_1,t_2,c_1     !=
880         addx    c_2,%g0,c_2
881         umul    a_6,b_5,t_1     !mul_add_c(a[6],b[5],c3,c1,c2);
882         addcc   c_3,t_1,c_3
883         rd      %y,t_2          !=
884         addxcc  c_1,t_2,c_1
885         addx    c_2,%g0,c_2
886         umul    a_7,b_4,t_1     !mul_add_c(a[7],b[4],c3,c1,c2);
887         addcc   c_3,t_1,c_3     !=
888         rd      %y,t_2
889         addxcc  c_1,t_2,c_1
890         st      c_3,rp(11)      !r[11]=c3;
891         addx    c_2,%g0,c_2     !=
892
893         umul    a_7,b_5,t_1     !mul_add_c(a[7],b[5],c1,c2,c3);
894         addcc   c_1,t_1,c_1
895         rd      %y,t_2
896         addxcc  c_2,t_2,c_2     !=
897         addx    %g0,%g0,c_3
898         umul    a_6,b_6,t_1     !mul_add_c(a[6],b[6],c1,c2,c3);
899         addcc   c_1,t_1,c_1
900         rd      %y,t_2          !=
901         addxcc  c_2,t_2,c_2
902         addx    c_3,%g0,c_3
903         umul    a_5,b_7,t_1     !mul_add_c(a[5],b[7],c1,c2,c3);
904         addcc   c_1,t_1,c_1     !=
905         rd      %y,t_2
906         addxcc  c_2,t_2,c_2
907         st      c_1,rp(12)      !r[12]=c1;
908         addx    c_3,%g0,c_3     !=
909
910         umul    a_6,b_7,t_1     !mul_add_c(a[6],b[7],c2,c3,c1);
911         addcc   c_2,t_1,c_2
912         rd      %y,t_2
913         addxcc  c_3,t_2,c_3     !=
914         addx    %g0,%g0,c_1
915         umul    a_7,b_6,t_1     !mul_add_c(a[7],b[6],c2,c3,c1);
916         addcc   c_2,t_1,c_2
917         rd      %y,t_2          !=
918         addxcc  c_3,t_2,c_3
919         addx    c_1,%g0,c_1
920         st      c_2,rp(13)      !r[13]=c2;
921
922         umul    a_7,b_7,t_1     !=!mul_add_c(a[7],b[7],c3,c1,c2);
923         addcc   c_3,t_1,c_3
924         rd      %y,t_2
925         addxcc  c_1,t_2,c_1
926         nop                     !=
927         st      c_3,rp(14)      !r[14]=c3;
928         st      c_1,rp(15)      !r[15]=c1;
929
930         ret
931         restore %g0,%g0,%o0
932
933 .type   bn_mul_comba8,#function
934 .size   bn_mul_comba8,(.-bn_mul_comba8)
935
936 .align  32
937
938 .global bn_mul_comba4
939 /*
940  * void bn_mul_comba4(r,a,b)
941  * BN_ULONG *r,*a,*b;
942  */
943 bn_mul_comba4:
944         save    %sp,FRAME_SIZE,%sp
945         ld      ap(0),a_0
946         ld      bp(0),b_0
947         umul    a_0,b_0,c_1     !=!mul_add_c(a[0],b[0],c1,c2,c3);
948         ld      bp(1),b_1
949         rd      %y,c_2
950         st      c_1,rp(0)       !r[0]=c1;
951
952         umul    a_0,b_1,t_1     !=!mul_add_c(a[0],b[1],c2,c3,c1);
953         ld      ap(1),a_1
954         addcc   c_2,t_1,c_2
955         rd      %y,t_2          !=
956         addxcc  %g0,t_2,c_3
957         addx    %g0,%g0,c_1
958         ld      ap(2),a_2
959         umul    a_1,b_0,t_1     !=!mul_add_c(a[1],b[0],c2,c3,c1);
960         addcc   c_2,t_1,c_2
961         rd      %y,t_2
962         addxcc  c_3,t_2,c_3
963         addx    c_1,%g0,c_1     !=
964         st      c_2,rp(1)       !r[1]=c2;
965
966         umul    a_2,b_0,t_1     !mul_add_c(a[2],b[0],c3,c1,c2);
967         addcc   c_3,t_1,c_3
968         rd      %y,t_2          !=
969         addxcc  c_1,t_2,c_1
970         addx    %g0,%g0,c_2
971         ld      bp(2),b_2
972         umul    a_1,b_1,t_1     !=!mul_add_c(a[1],b[1],c3,c1,c2);
973         addcc   c_3,t_1,c_3
974         rd      %y,t_2
975         addxcc  c_1,t_2,c_1
976         addx    c_2,%g0,c_2     !=
977         ld      bp(3),b_3
978         umul    a_0,b_2,t_1     !mul_add_c(a[0],b[2],c3,c1,c2);
979         addcc   c_3,t_1,c_3
980         rd      %y,t_2          !=
981         addxcc  c_1,t_2,c_1
982         addx    c_2,%g0,c_2
983         st      c_3,rp(2)       !r[2]=c3;
984
985         umul    a_0,b_3,t_1     !=!mul_add_c(a[0],b[3],c1,c2,c3);
986         addcc   c_1,t_1,c_1
987         rd      %y,t_2
988         addxcc  c_2,t_2,c_2
989         addx    %g0,%g0,c_3     !=
990         umul    a_1,b_2,t_1     !mul_add_c(a[1],b[2],c1,c2,c3);
991         addcc   c_1,t_1,c_1
992         rd      %y,t_2
993         addxcc  c_2,t_2,c_2     !=
994         addx    c_3,%g0,c_3
995         ld      ap(3),a_3
996         umul    a_2,b_1,t_1     !mul_add_c(a[2],b[1],c1,c2,c3);
997         addcc   c_1,t_1,c_1     !=
998         rd      %y,t_2
999         addxcc  c_2,t_2,c_2
1000         addx    c_3,%g0,c_3
1001         umul    a_3,b_0,t_1     !=!mul_add_c(a[3],b[0],c1,c2,c3);
1002         addcc   c_1,t_1,c_1
1003         rd      %y,t_2
1004         addxcc  c_2,t_2,c_2
1005         addx    c_3,%g0,c_3     !=
1006         st      c_1,rp(3)       !r[3]=c1;
1007
1008         umul    a_3,b_1,t_1     !mul_add_c(a[3],b[1],c2,c3,c1);
1009         addcc   c_2,t_1,c_2
1010         rd      %y,t_2          !=
1011         addxcc  c_3,t_2,c_3
1012         addx    %g0,%g0,c_1
1013         umul    a_2,b_2,t_1     !mul_add_c(a[2],b[2],c2,c3,c1);
1014         addcc   c_2,t_1,c_2     !=
1015         rd      %y,t_2
1016         addxcc  c_3,t_2,c_3
1017         addx    c_1,%g0,c_1
1018         umul    a_1,b_3,t_1     !=!mul_add_c(a[1],b[3],c2,c3,c1);
1019         addcc   c_2,t_1,c_2
1020         rd      %y,t_2
1021         addxcc  c_3,t_2,c_3
1022         addx    c_1,%g0,c_1     !=
1023         st      c_2,rp(4)       !r[4]=c2;
1024
1025         umul    a_2,b_3,t_1     !mul_add_c(a[2],b[3],c3,c1,c2);
1026         addcc   c_3,t_1,c_3
1027         rd      %y,t_2          !=
1028         addxcc  c_1,t_2,c_1
1029         addx    %g0,%g0,c_2
1030         umul    a_3,b_2,t_1     !mul_add_c(a[3],b[2],c3,c1,c2);
1031         addcc   c_3,t_1,c_3     !=
1032         rd      %y,t_2
1033         addxcc  c_1,t_2,c_1
1034         st      c_3,rp(5)       !r[5]=c3;
1035         addx    c_2,%g0,c_2     !=
1036
1037         umul    a_3,b_3,t_1     !mul_add_c(a[3],b[3],c1,c2,c3);
1038         addcc   c_1,t_1,c_1
1039         rd      %y,t_2
1040         addxcc  c_2,t_2,c_2     !=
1041         st      c_1,rp(6)       !r[6]=c1;
1042         st      c_2,rp(7)       !r[7]=c2;
1043         
1044         ret
1045         restore %g0,%g0,%o0
1046
1047 .type   bn_mul_comba4,#function
1048 .size   bn_mul_comba4,(.-bn_mul_comba4)
1049
1050 .align  32
1051
1052 .global bn_sqr_comba8
1053 bn_sqr_comba8:
1054         save    %sp,FRAME_SIZE,%sp
1055         ld      ap(0),a_0
1056         ld      ap(1),a_1
1057         umul    a_0,a_0,c_1     !=!sqr_add_c(a,0,c1,c2,c3);
1058         rd      %y,c_2
1059         st      c_1,rp(0)       !r[0]=c1;
1060
1061         ld      ap(2),a_2
1062         umul    a_0,a_1,t_1     !=!sqr_add_c2(a,1,0,c2,c3,c1);
1063         addcc   c_2,t_1,c_2
1064         rd      %y,t_2
1065         addxcc  %g0,t_2,c_3
1066         addx    %g0,%g0,c_1     !=
1067         addcc   c_2,t_1,c_2
1068         addxcc  c_3,t_2,c_3
1069         st      c_2,rp(1)       !r[1]=c2;
1070         addx    c_1,%g0,c_1     !=
1071
1072         umul    a_2,a_0,t_1     !sqr_add_c2(a,2,0,c3,c1,c2);
1073         addcc   c_3,t_1,c_3
1074         rd      %y,t_2
1075         addxcc  c_1,t_2,c_1     !=
1076         addx    %g0,%g0,c_2
1077         addcc   c_3,t_1,c_3
1078         addxcc  c_1,t_2,c_1
1079         addx    c_2,%g0,c_2     !=
1080         ld      ap(3),a_3
1081         umul    a_1,a_1,t_1     !sqr_add_c(a,1,c3,c1,c2);
1082         addcc   c_3,t_1,c_3
1083         rd      %y,t_2          !=
1084         addxcc  c_1,t_2,c_1
1085         addx    c_2,%g0,c_2
1086         st      c_3,rp(2)       !r[2]=c3;
1087
1088         umul    a_0,a_3,t_1     !=!sqr_add_c2(a,3,0,c1,c2,c3);
1089         addcc   c_1,t_1,c_1
1090         rd      %y,t_2
1091         addxcc  c_2,t_2,c_2
1092         addx    %g0,%g0,c_3     !=
1093         addcc   c_1,t_1,c_1
1094         addxcc  c_2,t_2,c_2
1095         ld      ap(4),a_4
1096         addx    c_3,%g0,c_3     !=
1097         umul    a_1,a_2,t_1     !sqr_add_c2(a,2,1,c1,c2,c3);
1098         addcc   c_1,t_1,c_1
1099         rd      %y,t_2
1100         addxcc  c_2,t_2,c_2     !=
1101         addx    c_3,%g0,c_3
1102         addcc   c_1,t_1,c_1
1103         addxcc  c_2,t_2,c_2
1104         addx    c_3,%g0,c_3     !=
1105         st      c_1,rp(3)       !r[3]=c1;
1106
1107         umul    a_4,a_0,t_1     !sqr_add_c2(a,4,0,c2,c3,c1);
1108         addcc   c_2,t_1,c_2
1109         rd      %y,t_2          !=
1110         addxcc  c_3,t_2,c_3
1111         addx    %g0,%g0,c_1
1112         addcc   c_2,t_1,c_2
1113         addxcc  c_3,t_2,c_3     !=
1114         addx    c_1,%g0,c_1
1115         umul    a_3,a_1,t_1     !sqr_add_c2(a,3,1,c2,c3,c1);
1116         addcc   c_2,t_1,c_2
1117         rd      %y,t_2          !=
1118         addxcc  c_3,t_2,c_3
1119         addx    c_1,%g0,c_1
1120         addcc   c_2,t_1,c_2
1121         addxcc  c_3,t_2,c_3     !=
1122         addx    c_1,%g0,c_1
1123         ld      ap(5),a_5
1124         umul    a_2,a_2,t_1     !sqr_add_c(a,2,c2,c3,c1);
1125         addcc   c_2,t_1,c_2     !=
1126         rd      %y,t_2
1127         addxcc  c_3,t_2,c_3
1128         st      c_2,rp(4)       !r[4]=c2;
1129         addx    c_1,%g0,c_1     !=
1130
1131         umul    a_0,a_5,t_1     !sqr_add_c2(a,5,0,c3,c1,c2);
1132         addcc   c_3,t_1,c_3
1133         rd      %y,t_2
1134         addxcc  c_1,t_2,c_1     !=
1135         addx    %g0,%g0,c_2
1136         addcc   c_3,t_1,c_3
1137         addxcc  c_1,t_2,c_1
1138         addx    c_2,%g0,c_2     !=
1139         umul    a_1,a_4,t_1     !sqr_add_c2(a,4,1,c3,c1,c2);
1140         addcc   c_3,t_1,c_3
1141         rd      %y,t_2
1142         addxcc  c_1,t_2,c_1     !=
1143         addx    c_2,%g0,c_2
1144         addcc   c_3,t_1,c_3
1145         addxcc  c_1,t_2,c_1
1146         addx    c_2,%g0,c_2     !=
1147         ld      ap(6),a_6
1148         umul    a_2,a_3,t_1     !sqr_add_c2(a,3,2,c3,c1,c2);
1149         addcc   c_3,t_1,c_3
1150         rd      %y,t_2          !=
1151         addxcc  c_1,t_2,c_1
1152         addx    c_2,%g0,c_2
1153         addcc   c_3,t_1,c_3
1154         addxcc  c_1,t_2,c_1     !=
1155         addx    c_2,%g0,c_2
1156         st      c_3,rp(5)       !r[5]=c3;
1157
1158         umul    a_6,a_0,t_1     !sqr_add_c2(a,6,0,c1,c2,c3);
1159         addcc   c_1,t_1,c_1     !=
1160         rd      %y,t_2
1161         addxcc  c_2,t_2,c_2
1162         addx    %g0,%g0,c_3
1163         addcc   c_1,t_1,c_1     !=
1164         addxcc  c_2,t_2,c_2
1165         addx    c_3,%g0,c_3
1166         umul    a_5,a_1,t_1     !sqr_add_c2(a,5,1,c1,c2,c3);
1167         addcc   c_1,t_1,c_1     !=
1168         rd      %y,t_2
1169         addxcc  c_2,t_2,c_2
1170         addx    c_3,%g0,c_3
1171         addcc   c_1,t_1,c_1     !=
1172         addxcc  c_2,t_2,c_2
1173         addx    c_3,%g0,c_3
1174         umul    a_4,a_2,t_1     !sqr_add_c2(a,4,2,c1,c2,c3);
1175         addcc   c_1,t_1,c_1     !=
1176         rd      %y,t_2
1177         addxcc  c_2,t_2,c_2
1178         addx    c_3,%g0,c_3
1179         addcc   c_1,t_1,c_1     !=
1180         addxcc  c_2,t_2,c_2
1181         addx    c_3,%g0,c_3
1182         ld      ap(7),a_7
1183         umul    a_3,a_3,t_1     !=!sqr_add_c(a,3,c1,c2,c3);
1184         addcc   c_1,t_1,c_1
1185         rd      %y,t_2
1186         addxcc  c_2,t_2,c_2
1187         addx    c_3,%g0,c_3     !=
1188         st      c_1,rp(6)       !r[6]=c1;
1189
1190         umul    a_0,a_7,t_1     !sqr_add_c2(a,7,0,c2,c3,c1);
1191         addcc   c_2,t_1,c_2
1192         rd      %y,t_2          !=
1193         addxcc  c_3,t_2,c_3
1194         addx    %g0,%g0,c_1
1195         addcc   c_2,t_1,c_2
1196         addxcc  c_3,t_2,c_3     !=
1197         addx    c_1,%g0,c_1
1198         umul    a_1,a_6,t_1     !sqr_add_c2(a,6,1,c2,c3,c1);
1199         addcc   c_2,t_1,c_2
1200         rd      %y,t_2          !=
1201         addxcc  c_3,t_2,c_3
1202         addx    c_1,%g0,c_1
1203         addcc   c_2,t_1,c_2
1204         addxcc  c_3,t_2,c_3     !=
1205         addx    c_1,%g0,c_1
1206         umul    a_2,a_5,t_1     !sqr_add_c2(a,5,2,c2,c3,c1);
1207         addcc   c_2,t_1,c_2
1208         rd      %y,t_2          !=
1209         addxcc  c_3,t_2,c_3
1210         addx    c_1,%g0,c_1
1211         addcc   c_2,t_1,c_2
1212         addxcc  c_3,t_2,c_3     !=
1213         addx    c_1,%g0,c_1
1214         umul    a_3,a_4,t_1     !sqr_add_c2(a,4,3,c2,c3,c1);
1215         addcc   c_2,t_1,c_2
1216         rd      %y,t_2          !=
1217         addxcc  c_3,t_2,c_3
1218         addx    c_1,%g0,c_1
1219         addcc   c_2,t_1,c_2
1220         addxcc  c_3,t_2,c_3     !=
1221         addx    c_1,%g0,c_1
1222         st      c_2,rp(7)       !r[7]=c2;
1223
1224         umul    a_7,a_1,t_1     !sqr_add_c2(a,7,1,c3,c1,c2);
1225         addcc   c_3,t_1,c_3     !=
1226         rd      %y,t_2
1227         addxcc  c_1,t_2,c_1
1228         addx    %g0,%g0,c_2
1229         addcc   c_3,t_1,c_3     !=
1230         addxcc  c_1,t_2,c_1
1231         addx    c_2,%g0,c_2
1232         umul    a_6,a_2,t_1     !sqr_add_c2(a,6,2,c3,c1,c2);
1233         addcc   c_3,t_1,c_3     !=
1234         rd      %y,t_2
1235         addxcc  c_1,t_2,c_1
1236         addx    c_2,%g0,c_2
1237         addcc   c_3,t_1,c_3     !=
1238         addxcc  c_1,t_2,c_1
1239         addx    c_2,%g0,c_2
1240         umul    a_5,a_3,t_1     !sqr_add_c2(a,5,3,c3,c1,c2);
1241         addcc   c_3,t_1,c_3     !=
1242         rd      %y,t_2
1243         addxcc  c_1,t_2,c_1
1244         addx    c_2,%g0,c_2
1245         addcc   c_3,t_1,c_3     !=
1246         addxcc  c_1,t_2,c_1
1247         addx    c_2,%g0,c_2
1248         umul    a_4,a_4,t_1     !sqr_add_c(a,4,c3,c1,c2);
1249         addcc   c_3,t_1,c_3     !=
1250         rd      %y,t_2
1251         addxcc  c_1,t_2,c_1
1252         st      c_3,rp(8)       !r[8]=c3;
1253         addx    c_2,%g0,c_2     !=
1254
1255         umul    a_2,a_7,t_1     !sqr_add_c2(a,7,2,c1,c2,c3);
1256         addcc   c_1,t_1,c_1
1257         rd      %y,t_2
1258         addxcc  c_2,t_2,c_2     !=
1259         addx    %g0,%g0,c_3
1260         addcc   c_1,t_1,c_1
1261         addxcc  c_2,t_2,c_2
1262         addx    c_3,%g0,c_3     !=
1263         umul    a_3,a_6,t_1     !sqr_add_c2(a,6,3,c1,c2,c3);
1264         addcc   c_1,t_1,c_1
1265         rd      %y,t_2
1266         addxcc  c_2,t_2,c_2     !=
1267         addx    c_3,%g0,c_3
1268         addcc   c_1,t_1,c_1
1269         addxcc  c_2,t_2,c_2
1270         addx    c_3,%g0,c_3     !=
1271         umul    a_4,a_5,t_1     !sqr_add_c2(a,5,4,c1,c2,c3);
1272         addcc   c_1,t_1,c_1
1273         rd      %y,t_2
1274         addxcc  c_2,t_2,c_2     !=
1275         addx    c_3,%g0,c_3
1276         addcc   c_1,t_1,c_1
1277         addxcc  c_2,t_2,c_2
1278         addx    c_3,%g0,c_3     !=
1279         st      c_1,rp(9)       !r[9]=c1;
1280
1281         umul    a_7,a_3,t_1     !sqr_add_c2(a,7,3,c2,c3,c1);
1282         addcc   c_2,t_1,c_2
1283         rd      %y,t_2          !=
1284         addxcc  c_3,t_2,c_3
1285         addx    %g0,%g0,c_1
1286         addcc   c_2,t_1,c_2
1287         addxcc  c_3,t_2,c_3     !=
1288         addx    c_1,%g0,c_1
1289         umul    a_6,a_4,t_1     !sqr_add_c2(a,6,4,c2,c3,c1);
1290         addcc   c_2,t_1,c_2
1291         rd      %y,t_2          !=
1292         addxcc  c_3,t_2,c_3
1293         addx    c_1,%g0,c_1
1294         addcc   c_2,t_1,c_2
1295         addxcc  c_3,t_2,c_3     !=
1296         addx    c_1,%g0,c_1
1297         umul    a_5,a_5,t_1     !sqr_add_c(a,5,c2,c3,c1);
1298         addcc   c_2,t_1,c_2
1299         rd      %y,t_2          !=
1300         addxcc  c_3,t_2,c_3
1301         addx    c_1,%g0,c_1
1302         st      c_2,rp(10)      !r[10]=c2;
1303
1304         umul    a_4,a_7,t_1     !=!sqr_add_c2(a,7,4,c3,c1,c2);
1305         addcc   c_3,t_1,c_3
1306         rd      %y,t_2
1307         addxcc  c_1,t_2,c_1
1308         addx    %g0,%g0,c_2     !=
1309         addcc   c_3,t_1,c_3
1310         addxcc  c_1,t_2,c_1
1311         addx    c_2,%g0,c_2
1312         umul    a_5,a_6,t_1     !=!sqr_add_c2(a,6,5,c3,c1,c2);
1313         addcc   c_3,t_1,c_3
1314         rd      %y,t_2
1315         addxcc  c_1,t_2,c_1
1316         addx    c_2,%g0,c_2     !=
1317         addcc   c_3,t_1,c_3
1318         addxcc  c_1,t_2,c_1
1319         st      c_3,rp(11)      !r[11]=c3;
1320         addx    c_2,%g0,c_2     !=
1321
1322         umul    a_7,a_5,t_1     !sqr_add_c2(a,7,5,c1,c2,c3);
1323         addcc   c_1,t_1,c_1
1324         rd      %y,t_2
1325         addxcc  c_2,t_2,c_2     !=
1326         addx    %g0,%g0,c_3
1327         addcc   c_1,t_1,c_1
1328         addxcc  c_2,t_2,c_2
1329         addx    c_3,%g0,c_3     !=
1330         umul    a_6,a_6,t_1     !sqr_add_c(a,6,c1,c2,c3);
1331         addcc   c_1,t_1,c_1
1332         rd      %y,t_2
1333         addxcc  c_2,t_2,c_2     !=
1334         addx    c_3,%g0,c_3
1335         st      c_1,rp(12)      !r[12]=c1;
1336
1337         umul    a_6,a_7,t_1     !sqr_add_c2(a,7,6,c2,c3,c1);
1338         addcc   c_2,t_1,c_2     !=
1339         rd      %y,t_2
1340         addxcc  c_3,t_2,c_3
1341         addx    %g0,%g0,c_1
1342         addcc   c_2,t_1,c_2     !=
1343         addxcc  c_3,t_2,c_3
1344         st      c_2,rp(13)      !r[13]=c2;
1345         addx    c_1,%g0,c_1     !=
1346
1347         umul    a_7,a_7,t_1     !sqr_add_c(a,7,c3,c1,c2);
1348         addcc   c_3,t_1,c_3
1349         rd      %y,t_2
1350         addxcc  c_1,t_2,c_1     !=
1351         st      c_3,rp(14)      !r[14]=c3;
1352         st      c_1,rp(15)      !r[15]=c1;
1353
1354         ret
1355         restore %g0,%g0,%o0
1356
1357 .type   bn_sqr_comba8,#function
1358 .size   bn_sqr_comba8,(.-bn_sqr_comba8)
1359
1360 .align  32
1361
1362 .global bn_sqr_comba4
1363 /*
1364  * void bn_sqr_comba4(r,a)
1365  * BN_ULONG *r,*a;
1366  */
1367 bn_sqr_comba4:
1368         save    %sp,FRAME_SIZE,%sp
1369         ld      ap(0),a_0
1370         umul    a_0,a_0,c_1     !sqr_add_c(a,0,c1,c2,c3);
1371         ld      ap(1),a_1       !=
1372         rd      %y,c_2
1373         st      c_1,rp(0)       !r[0]=c1;
1374
1375         ld      ap(2),a_2
1376         umul    a_0,a_1,t_1     !=!sqr_add_c2(a,1,0,c2,c3,c1);
1377         addcc   c_2,t_1,c_2
1378         rd      %y,t_2
1379         addxcc  %g0,t_2,c_3
1380         addx    %g0,%g0,c_1     !=
1381         addcc   c_2,t_1,c_2
1382         addxcc  c_3,t_2,c_3
1383         addx    c_1,%g0,c_1     !=
1384         st      c_2,rp(1)       !r[1]=c2;
1385
1386         umul    a_2,a_0,t_1     !sqr_add_c2(a,2,0,c3,c1,c2);
1387         addcc   c_3,t_1,c_3
1388         rd      %y,t_2          !=
1389         addxcc  c_1,t_2,c_1
1390         addx    %g0,%g0,c_2
1391         addcc   c_3,t_1,c_3
1392         addxcc  c_1,t_2,c_1     !=
1393         addx    c_2,%g0,c_2
1394         ld      ap(3),a_3
1395         umul    a_1,a_1,t_1     !sqr_add_c(a,1,c3,c1,c2);
1396         addcc   c_3,t_1,c_3     !=
1397         rd      %y,t_2
1398         addxcc  c_1,t_2,c_1
1399         st      c_3,rp(2)       !r[2]=c3;
1400         addx    c_2,%g0,c_2     !=
1401
1402         umul    a_0,a_3,t_1     !sqr_add_c2(a,3,0,c1,c2,c3);
1403         addcc   c_1,t_1,c_1
1404         rd      %y,t_2
1405         addxcc  c_2,t_2,c_2     !=
1406         addx    %g0,%g0,c_3
1407         addcc   c_1,t_1,c_1
1408         addxcc  c_2,t_2,c_2
1409         addx    c_3,%g0,c_3     !=
1410         umul    a_1,a_2,t_1     !sqr_add_c2(a,2,1,c1,c2,c3);
1411         addcc   c_1,t_1,c_1
1412         rd      %y,t_2
1413         addxcc  c_2,t_2,c_2     !=
1414         addx    c_3,%g0,c_3
1415         addcc   c_1,t_1,c_1
1416         addxcc  c_2,t_2,c_2
1417         addx    c_3,%g0,c_3     !=
1418         st      c_1,rp(3)       !r[3]=c1;
1419
1420         umul    a_3,a_1,t_1     !sqr_add_c2(a,3,1,c2,c3,c1);
1421         addcc   c_2,t_1,c_2
1422         rd      %y,t_2          !=
1423         addxcc  c_3,t_2,c_3
1424         addx    %g0,%g0,c_1
1425         addcc   c_2,t_1,c_2
1426         addxcc  c_3,t_2,c_3     !=
1427         addx    c_1,%g0,c_1
1428         umul    a_2,a_2,t_1     !sqr_add_c(a,2,c2,c3,c1);
1429         addcc   c_2,t_1,c_2
1430         rd      %y,t_2          !=
1431         addxcc  c_3,t_2,c_3
1432         addx    c_1,%g0,c_1
1433         st      c_2,rp(4)       !r[4]=c2;
1434
1435         umul    a_2,a_3,t_1     !=!sqr_add_c2(a,3,2,c3,c1,c2);
1436         addcc   c_3,t_1,c_3
1437         rd      %y,t_2
1438         addxcc  c_1,t_2,c_1
1439         addx    %g0,%g0,c_2     !=
1440         addcc   c_3,t_1,c_3
1441         addxcc  c_1,t_2,c_1
1442         st      c_3,rp(5)       !r[5]=c3;
1443         addx    c_2,%g0,c_2     !=
1444
1445         umul    a_3,a_3,t_1     !sqr_add_c(a,3,c1,c2,c3);
1446         addcc   c_1,t_1,c_1
1447         rd      %y,t_2
1448         addxcc  c_2,t_2,c_2     !=
1449         st      c_1,rp(6)       !r[6]=c1;
1450         st      c_2,rp(7)       !r[7]=c2;
1451         
1452         ret
1453         restore %g0,%g0,%o0
1454
1455 .type   bn_sqr_comba4,#function
1456 .size   bn_sqr_comba4,(.-bn_sqr_comba4)
1457
1458 .align  32