Reset executable bits on files where not needed.
[openssl.git] / crypto / bn / asm / s390x.S
1 .ident "s390x.S, version 1.1"
2 // ====================================================================
3 // Copyright 2007-2016 The OpenSSL Project Authors. All Rights Reserved.
4 //
5 // Licensed under the OpenSSL license (the "License").  You may not use
6 // this file except in compliance with the License.  You can obtain a copy
7 // in the file LICENSE in the source distribution or at
8 // https://www.openssl.org/source/license.html
9 // ====================================================================
10
11 .text
12
13 #define zero    %r0
14
15 // BN_ULONG bn_mul_add_words(BN_ULONG *r2,BN_ULONG *r3,int r4,BN_ULONG r5);
16 .globl  bn_mul_add_words
17 .type   bn_mul_add_words,@function
18 .align  4
19 bn_mul_add_words:
20         lghi    zero,0          // zero = 0
21         la      %r1,0(%r2)      // put rp aside [to give way to]
22         lghi    %r2,0           // return value
23         ltgfr   %r4,%r4
24         bler    %r14            // if (len<=0) return 0;
25
26         stmg    %r6,%r13,48(%r15)
27         lghi    %r2,3
28         lghi    %r12,0          // carry = 0
29         slgr    %r1,%r3         // rp-=ap
30         nr      %r2,%r4         // len%4
31         sra     %r4,2           // cnt=len/4
32         jz      .Loop1_madd     // carry is incidentally cleared if branch taken
33         algr    zero,zero       // clear carry
34
35         lg      %r7,0(%r3)      // ap[0]
36         lg      %r9,8(%r3)      // ap[1]
37         mlgr    %r6,%r5         // *=w
38         brct    %r4,.Loop4_madd
39         j       .Loop4_madd_tail
40
41 .Loop4_madd:
42         mlgr    %r8,%r5
43         lg      %r11,16(%r3)    // ap[i+2]
44         alcgr   %r7,%r12        // +=carry
45         alcgr   %r6,zero
46         alg     %r7,0(%r3,%r1)  // +=rp[i]
47         stg     %r7,0(%r3,%r1)  // rp[i]=
48
49         mlgr    %r10,%r5
50         lg      %r13,24(%r3)
51         alcgr   %r9,%r6
52         alcgr   %r8,zero
53         alg     %r9,8(%r3,%r1)
54         stg     %r9,8(%r3,%r1)
55
56         mlgr    %r12,%r5
57         lg      %r7,32(%r3)
58         alcgr   %r11,%r8
59         alcgr   %r10,zero
60         alg     %r11,16(%r3,%r1)
61         stg     %r11,16(%r3,%r1)
62
63         mlgr    %r6,%r5
64         lg      %r9,40(%r3)
65         alcgr   %r13,%r10
66         alcgr   %r12,zero
67         alg     %r13,24(%r3,%r1)
68         stg     %r13,24(%r3,%r1)
69
70         la      %r3,32(%r3)     // i+=4
71         brct    %r4,.Loop4_madd
72
73 .Loop4_madd_tail:
74         mlgr    %r8,%r5
75         lg      %r11,16(%r3)
76         alcgr   %r7,%r12        // +=carry
77         alcgr   %r6,zero
78         alg     %r7,0(%r3,%r1)  // +=rp[i]
79         stg     %r7,0(%r3,%r1)  // rp[i]=
80
81         mlgr    %r10,%r5
82         lg      %r13,24(%r3)
83         alcgr   %r9,%r6
84         alcgr   %r8,zero
85         alg     %r9,8(%r3,%r1)
86         stg     %r9,8(%r3,%r1)
87
88         mlgr    %r12,%r5
89         alcgr   %r11,%r8
90         alcgr   %r10,zero
91         alg     %r11,16(%r3,%r1)
92         stg     %r11,16(%r3,%r1)
93
94         alcgr   %r13,%r10
95         alcgr   %r12,zero
96         alg     %r13,24(%r3,%r1)
97         stg     %r13,24(%r3,%r1)
98
99         la      %r3,32(%r3)     // i+=4
100
101         la      %r2,1(%r2)      // see if len%4 is zero ...
102         brct    %r2,.Loop1_madd // without touching condition code:-)
103
104 .Lend_madd:
105         lgr     %r2,zero        // return value
106         alcgr   %r2,%r12        // collect even carry bit
107         lmg     %r6,%r13,48(%r15)
108         br      %r14
109
110 .Loop1_madd:
111         lg      %r7,0(%r3)      // ap[i]
112         mlgr    %r6,%r5         // *=w
113         alcgr   %r7,%r12        // +=carry
114         alcgr   %r6,zero
115         alg     %r7,0(%r3,%r1)  // +=rp[i]
116         stg     %r7,0(%r3,%r1)  // rp[i]=
117
118         lgr     %r12,%r6
119         la      %r3,8(%r3)      // i++
120         brct    %r2,.Loop1_madd
121
122         j       .Lend_madd
123 .size   bn_mul_add_words,.-bn_mul_add_words
124
125 // BN_ULONG bn_mul_words(BN_ULONG *r2,BN_ULONG *r3,int r4,BN_ULONG r5);
126 .globl  bn_mul_words
127 .type   bn_mul_words,@function
128 .align  4
129 bn_mul_words:
130         lghi    zero,0          // zero = 0
131         la      %r1,0(%r2)      // put rp aside
132         lghi    %r2,0           // i=0;
133         ltgfr   %r4,%r4
134         bler    %r14            // if (len<=0) return 0;
135
136         stmg    %r6,%r10,48(%r15)
137         lghi    %r10,3
138         lghi    %r8,0           // carry = 0
139         nr      %r10,%r4        // len%4
140         sra     %r4,2           // cnt=len/4
141         jz      .Loop1_mul      // carry is incidentally cleared if branch taken
142         algr    zero,zero       // clear carry
143
144 .Loop4_mul:
145         lg      %r7,0(%r2,%r3)  // ap[i]
146         mlgr    %r6,%r5         // *=w
147         alcgr   %r7,%r8         // +=carry
148         stg     %r7,0(%r2,%r1)  // rp[i]=
149
150         lg      %r9,8(%r2,%r3)
151         mlgr    %r8,%r5
152         alcgr   %r9,%r6
153         stg     %r9,8(%r2,%r1)
154
155         lg      %r7,16(%r2,%r3)
156         mlgr    %r6,%r5
157         alcgr   %r7,%r8
158         stg     %r7,16(%r2,%r1)
159
160         lg      %r9,24(%r2,%r3)
161         mlgr    %r8,%r5
162         alcgr   %r9,%r6
163         stg     %r9,24(%r2,%r1)
164
165         la      %r2,32(%r2)     // i+=4
166         brct    %r4,.Loop4_mul
167
168         la      %r10,1(%r10)            // see if len%4 is zero ...
169         brct    %r10,.Loop1_mul         // without touching condition code:-)
170
171 .Lend_mul:
172         alcgr   %r8,zero        // collect carry bit
173         lgr     %r2,%r8
174         lmg     %r6,%r10,48(%r15)
175         br      %r14
176
177 .Loop1_mul:
178         lg      %r7,0(%r2,%r3)  // ap[i]
179         mlgr    %r6,%r5         // *=w
180         alcgr   %r7,%r8         // +=carry
181         stg     %r7,0(%r2,%r1)  // rp[i]=
182
183         lgr     %r8,%r6
184         la      %r2,8(%r2)      // i++
185         brct    %r10,.Loop1_mul
186
187         j       .Lend_mul
188 .size   bn_mul_words,.-bn_mul_words
189
190 // void bn_sqr_words(BN_ULONG *r2,BN_ULONG *r2,int r4)
191 .globl  bn_sqr_words
192 .type   bn_sqr_words,@function
193 .align  4
194 bn_sqr_words:
195         ltgfr   %r4,%r4
196         bler    %r14
197
198         stmg    %r6,%r7,48(%r15)
199         srag    %r1,%r4,2       // cnt=len/4
200         jz      .Loop1_sqr
201
202 .Loop4_sqr:
203         lg      %r7,0(%r3)
204         mlgr    %r6,%r7
205         stg     %r7,0(%r2)
206         stg     %r6,8(%r2)
207
208         lg      %r7,8(%r3)
209         mlgr    %r6,%r7
210         stg     %r7,16(%r2)
211         stg     %r6,24(%r2)
212
213         lg      %r7,16(%r3)
214         mlgr    %r6,%r7
215         stg     %r7,32(%r2)
216         stg     %r6,40(%r2)
217
218         lg      %r7,24(%r3)
219         mlgr    %r6,%r7
220         stg     %r7,48(%r2)
221         stg     %r6,56(%r2)
222
223         la      %r3,32(%r3)
224         la      %r2,64(%r2)
225         brct    %r1,.Loop4_sqr
226
227         lghi    %r1,3
228         nr      %r4,%r1         // cnt=len%4
229         jz      .Lend_sqr
230
231 .Loop1_sqr:
232         lg      %r7,0(%r3)
233         mlgr    %r6,%r7
234         stg     %r7,0(%r2)
235         stg     %r6,8(%r2)
236
237         la      %r3,8(%r3)
238         la      %r2,16(%r2)
239         brct    %r4,.Loop1_sqr
240
241 .Lend_sqr:
242         lmg     %r6,%r7,48(%r15)
243         br      %r14
244 .size   bn_sqr_words,.-bn_sqr_words
245
246 // BN_ULONG bn_div_words(BN_ULONG h,BN_ULONG l,BN_ULONG d);
247 .globl  bn_div_words
248 .type   bn_div_words,@function
249 .align  4
250 bn_div_words:
251         dlgr    %r2,%r4
252         lgr     %r2,%r3
253         br      %r14
254 .size   bn_div_words,.-bn_div_words
255
256 // BN_ULONG bn_add_words(BN_ULONG *r2,BN_ULONG *r3,BN_ULONG *r4,int r5);
257 .globl  bn_add_words
258 .type   bn_add_words,@function
259 .align  4
260 bn_add_words:
261         la      %r1,0(%r2)      // put rp aside
262         lghi    %r2,0           // i=0
263         ltgfr   %r5,%r5
264         bler    %r14            // if (len<=0) return 0;
265
266         stg     %r6,48(%r15)
267         lghi    %r6,3
268         nr      %r6,%r5         // len%4
269         sra     %r5,2           // len/4, use sra because it sets condition code
270         jz      .Loop1_add      // carry is incidentally cleared if branch taken
271         algr    %r2,%r2         // clear carry
272
273 .Loop4_add:
274         lg      %r0,0(%r2,%r3)
275         alcg    %r0,0(%r2,%r4)
276         stg     %r0,0(%r2,%r1)
277         lg      %r0,8(%r2,%r3)
278         alcg    %r0,8(%r2,%r4)
279         stg     %r0,8(%r2,%r1)
280         lg      %r0,16(%r2,%r3)
281         alcg    %r0,16(%r2,%r4)
282         stg     %r0,16(%r2,%r1)
283         lg      %r0,24(%r2,%r3)
284         alcg    %r0,24(%r2,%r4)
285         stg     %r0,24(%r2,%r1)
286
287         la      %r2,32(%r2)     // i+=4
288         brct    %r5,.Loop4_add
289
290         la      %r6,1(%r6)      // see if len%4 is zero ...
291         brct    %r6,.Loop1_add  // without touching condition code:-)
292
293 .Lexit_add:
294         lghi    %r2,0
295         alcgr   %r2,%r2
296         lg      %r6,48(%r15)
297         br      %r14
298
299 .Loop1_add:
300         lg      %r0,0(%r2,%r3)
301         alcg    %r0,0(%r2,%r4)
302         stg     %r0,0(%r2,%r1)
303
304         la      %r2,8(%r2)      // i++
305         brct    %r6,.Loop1_add
306
307         j       .Lexit_add
308 .size   bn_add_words,.-bn_add_words
309
310 // BN_ULONG bn_sub_words(BN_ULONG *r2,BN_ULONG *r3,BN_ULONG *r4,int r5);
311 .globl  bn_sub_words
312 .type   bn_sub_words,@function
313 .align  4
314 bn_sub_words:
315         la      %r1,0(%r2)      // put rp aside
316         lghi    %r2,0           // i=0
317         ltgfr   %r5,%r5
318         bler    %r14            // if (len<=0) return 0;
319
320         stg     %r6,48(%r15)
321         lghi    %r6,3
322         nr      %r6,%r5         // len%4
323         sra     %r5,2           // len/4, use sra because it sets condition code
324         jnz     .Loop4_sub      // borrow is incidentally cleared if branch taken
325         slgr    %r2,%r2         // clear borrow
326
327 .Loop1_sub:
328         lg      %r0,0(%r2,%r3)
329         slbg    %r0,0(%r2,%r4)
330         stg     %r0,0(%r2,%r1)
331
332         la      %r2,8(%r2)      // i++
333         brct    %r6,.Loop1_sub
334         j       .Lexit_sub
335
336 .Loop4_sub:
337         lg      %r0,0(%r2,%r3)
338         slbg    %r0,0(%r2,%r4)
339         stg     %r0,0(%r2,%r1)
340         lg      %r0,8(%r2,%r3)
341         slbg    %r0,8(%r2,%r4)
342         stg     %r0,8(%r2,%r1)
343         lg      %r0,16(%r2,%r3)
344         slbg    %r0,16(%r2,%r4)
345         stg     %r0,16(%r2,%r1)
346         lg      %r0,24(%r2,%r3)
347         slbg    %r0,24(%r2,%r4)
348         stg     %r0,24(%r2,%r1)
349
350         la      %r2,32(%r2)     // i+=4
351         brct    %r5,.Loop4_sub
352
353         la      %r6,1(%r6)      // see if len%4 is zero ...
354         brct    %r6,.Loop1_sub  // without touching condition code:-)
355
356 .Lexit_sub:
357         lghi    %r2,0
358         slbgr   %r2,%r2
359         lcgr    %r2,%r2
360         lg      %r6,48(%r15)
361         br      %r14
362 .size   bn_sub_words,.-bn_sub_words
363
364 #define c1      %r1
365 #define c2      %r5
366 #define c3      %r8
367
368 #define mul_add_c(ai,bi,c1,c2,c3)       \
369         lg      %r7,ai*8(%r3);          \
370         mlg     %r6,bi*8(%r4);          \
371         algr    c1,%r7;                 \
372         alcgr   c2,%r6;                 \
373         alcgr   c3,zero
374
375 // void bn_mul_comba8(BN_ULONG *r2,BN_ULONG *r3,BN_ULONG *r4);
376 .globl  bn_mul_comba8
377 .type   bn_mul_comba8,@function
378 .align  4
379 bn_mul_comba8:
380         stmg    %r6,%r8,48(%r15)
381
382         lghi    c1,0
383         lghi    c2,0
384         lghi    c3,0
385         lghi    zero,0
386
387         mul_add_c(0,0,c1,c2,c3);
388         stg     c1,0*8(%r2)
389         lghi    c1,0
390
391         mul_add_c(0,1,c2,c3,c1);
392         mul_add_c(1,0,c2,c3,c1);
393         stg     c2,1*8(%r2)
394         lghi    c2,0
395
396         mul_add_c(2,0,c3,c1,c2);
397         mul_add_c(1,1,c3,c1,c2);
398         mul_add_c(0,2,c3,c1,c2);
399         stg     c3,2*8(%r2)
400         lghi    c3,0
401
402         mul_add_c(0,3,c1,c2,c3);
403         mul_add_c(1,2,c1,c2,c3);
404         mul_add_c(2,1,c1,c2,c3);
405         mul_add_c(3,0,c1,c2,c3);
406         stg     c1,3*8(%r2)
407         lghi    c1,0
408
409         mul_add_c(4,0,c2,c3,c1);
410         mul_add_c(3,1,c2,c3,c1);
411         mul_add_c(2,2,c2,c3,c1);
412         mul_add_c(1,3,c2,c3,c1);
413         mul_add_c(0,4,c2,c3,c1);
414         stg     c2,4*8(%r2)
415         lghi    c2,0
416
417         mul_add_c(0,5,c3,c1,c2);
418         mul_add_c(1,4,c3,c1,c2);
419         mul_add_c(2,3,c3,c1,c2);
420         mul_add_c(3,2,c3,c1,c2);
421         mul_add_c(4,1,c3,c1,c2);
422         mul_add_c(5,0,c3,c1,c2);
423         stg     c3,5*8(%r2)
424         lghi    c3,0
425
426         mul_add_c(6,0,c1,c2,c3);
427         mul_add_c(5,1,c1,c2,c3);
428         mul_add_c(4,2,c1,c2,c3);
429         mul_add_c(3,3,c1,c2,c3);
430         mul_add_c(2,4,c1,c2,c3);
431         mul_add_c(1,5,c1,c2,c3);
432         mul_add_c(0,6,c1,c2,c3);
433         stg     c1,6*8(%r2)
434         lghi    c1,0
435
436         mul_add_c(0,7,c2,c3,c1);
437         mul_add_c(1,6,c2,c3,c1);
438         mul_add_c(2,5,c2,c3,c1);
439         mul_add_c(3,4,c2,c3,c1);
440         mul_add_c(4,3,c2,c3,c1);
441         mul_add_c(5,2,c2,c3,c1);
442         mul_add_c(6,1,c2,c3,c1);
443         mul_add_c(7,0,c2,c3,c1);
444         stg     c2,7*8(%r2)
445         lghi    c2,0
446
447         mul_add_c(7,1,c3,c1,c2);
448         mul_add_c(6,2,c3,c1,c2);
449         mul_add_c(5,3,c3,c1,c2);
450         mul_add_c(4,4,c3,c1,c2);
451         mul_add_c(3,5,c3,c1,c2);
452         mul_add_c(2,6,c3,c1,c2);
453         mul_add_c(1,7,c3,c1,c2);
454         stg     c3,8*8(%r2)
455         lghi    c3,0
456
457         mul_add_c(2,7,c1,c2,c3);
458         mul_add_c(3,6,c1,c2,c3);
459         mul_add_c(4,5,c1,c2,c3);
460         mul_add_c(5,4,c1,c2,c3);
461         mul_add_c(6,3,c1,c2,c3);
462         mul_add_c(7,2,c1,c2,c3);
463         stg     c1,9*8(%r2)
464         lghi    c1,0
465
466         mul_add_c(7,3,c2,c3,c1);
467         mul_add_c(6,4,c2,c3,c1);
468         mul_add_c(5,5,c2,c3,c1);
469         mul_add_c(4,6,c2,c3,c1);
470         mul_add_c(3,7,c2,c3,c1);
471         stg     c2,10*8(%r2)
472         lghi    c2,0
473
474         mul_add_c(4,7,c3,c1,c2);
475         mul_add_c(5,6,c3,c1,c2);
476         mul_add_c(6,5,c3,c1,c2);
477         mul_add_c(7,4,c3,c1,c2);
478         stg     c3,11*8(%r2)
479         lghi    c3,0
480
481         mul_add_c(7,5,c1,c2,c3);
482         mul_add_c(6,6,c1,c2,c3);
483         mul_add_c(5,7,c1,c2,c3);
484         stg     c1,12*8(%r2)
485         lghi    c1,0
486
487
488         mul_add_c(6,7,c2,c3,c1);
489         mul_add_c(7,6,c2,c3,c1);
490         stg     c2,13*8(%r2)
491         lghi    c2,0
492
493         mul_add_c(7,7,c3,c1,c2);
494         stg     c3,14*8(%r2)
495         stg     c1,15*8(%r2)
496
497         lmg     %r6,%r8,48(%r15)
498         br      %r14
499 .size   bn_mul_comba8,.-bn_mul_comba8
500
501 // void bn_mul_comba4(BN_ULONG *r2,BN_ULONG *r3,BN_ULONG *r4);
502 .globl  bn_mul_comba4
503 .type   bn_mul_comba4,@function
504 .align  4
505 bn_mul_comba4:
506         stmg    %r6,%r8,48(%r15)
507
508         lghi    c1,0
509         lghi    c2,0
510         lghi    c3,0
511         lghi    zero,0
512
513         mul_add_c(0,0,c1,c2,c3);
514         stg     c1,0*8(%r3)
515         lghi    c1,0
516
517         mul_add_c(0,1,c2,c3,c1);
518         mul_add_c(1,0,c2,c3,c1);
519         stg     c2,1*8(%r2)
520         lghi    c2,0
521
522         mul_add_c(2,0,c3,c1,c2);
523         mul_add_c(1,1,c3,c1,c2);
524         mul_add_c(0,2,c3,c1,c2);
525         stg     c3,2*8(%r2)
526         lghi    c3,0
527
528         mul_add_c(0,3,c1,c2,c3);
529         mul_add_c(1,2,c1,c2,c3);
530         mul_add_c(2,1,c1,c2,c3);
531         mul_add_c(3,0,c1,c2,c3);
532         stg     c1,3*8(%r2)
533         lghi    c1,0
534
535         mul_add_c(3,1,c2,c3,c1);
536         mul_add_c(2,2,c2,c3,c1);
537         mul_add_c(1,3,c2,c3,c1);
538         stg     c2,4*8(%r2)
539         lghi    c2,0
540
541         mul_add_c(2,3,c3,c1,c2);
542         mul_add_c(3,2,c3,c1,c2);
543         stg     c3,5*8(%r2)
544         lghi    c3,0
545
546         mul_add_c(3,3,c1,c2,c3);
547         stg     c1,6*8(%r2)
548         stg     c2,7*8(%r2)
549
550         stmg    %r6,%r8,48(%r15)
551         br      %r14
552 .size   bn_mul_comba4,.-bn_mul_comba4
553
554 #define sqr_add_c(ai,c1,c2,c3)          \
555         lg      %r7,ai*8(%r3);          \
556         mlgr    %r6,%r7;                \
557         algr    c1,%r7;                 \
558         alcgr   c2,%r6;                 \
559         alcgr   c3,zero
560
561 #define sqr_add_c2(ai,aj,c1,c2,c3)      \
562         lg      %r7,ai*8(%r3);          \
563         mlg     %r6,aj*8(%r3);          \
564         algr    c1,%r7;                 \
565         alcgr   c2,%r6;                 \
566         alcgr   c3,zero;                \
567         algr    c1,%r7;                 \
568         alcgr   c2,%r6;                 \
569         alcgr   c3,zero
570
571 // void bn_sqr_comba8(BN_ULONG *r2,BN_ULONG *r3);
572 .globl  bn_sqr_comba8
573 .type   bn_sqr_comba8,@function
574 .align  4
575 bn_sqr_comba8:
576         stmg    %r6,%r8,48(%r15)
577
578         lghi    c1,0
579         lghi    c2,0
580         lghi    c3,0
581         lghi    zero,0
582
583         sqr_add_c(0,c1,c2,c3);
584         stg     c1,0*8(%r2)
585         lghi    c1,0
586
587         sqr_add_c2(1,0,c2,c3,c1);
588         stg     c2,1*8(%r2)
589         lghi    c2,0
590
591         sqr_add_c(1,c3,c1,c2);
592         sqr_add_c2(2,0,c3,c1,c2);
593         stg     c3,2*8(%r2)
594         lghi    c3,0
595
596         sqr_add_c2(3,0,c1,c2,c3);
597         sqr_add_c2(2,1,c1,c2,c3);
598         stg     c1,3*8(%r2)
599         lghi    c1,0
600
601         sqr_add_c(2,c2,c3,c1);
602         sqr_add_c2(3,1,c2,c3,c1);
603         sqr_add_c2(4,0,c2,c3,c1);
604         stg     c2,4*8(%r2)
605         lghi    c2,0
606
607         sqr_add_c2(5,0,c3,c1,c2);
608         sqr_add_c2(4,1,c3,c1,c2);
609         sqr_add_c2(3,2,c3,c1,c2);
610         stg     c3,5*8(%r2)
611         lghi    c3,0
612
613         sqr_add_c(3,c1,c2,c3);
614         sqr_add_c2(4,2,c1,c2,c3);
615         sqr_add_c2(5,1,c1,c2,c3);
616         sqr_add_c2(6,0,c1,c2,c3);
617         stg     c1,6*8(%r2)
618         lghi    c1,0
619
620         sqr_add_c2(7,0,c2,c3,c1);
621         sqr_add_c2(6,1,c2,c3,c1);
622         sqr_add_c2(5,2,c2,c3,c1);
623         sqr_add_c2(4,3,c2,c3,c1);
624         stg     c2,7*8(%r2)
625         lghi    c2,0
626
627         sqr_add_c(4,c3,c1,c2);
628         sqr_add_c2(5,3,c3,c1,c2);
629         sqr_add_c2(6,2,c3,c1,c2);
630         sqr_add_c2(7,1,c3,c1,c2);
631         stg     c3,8*8(%r2)
632         lghi    c3,0
633
634         sqr_add_c2(7,2,c1,c2,c3);
635         sqr_add_c2(6,3,c1,c2,c3);
636         sqr_add_c2(5,4,c1,c2,c3);
637         stg     c1,9*8(%r2)
638         lghi    c1,0
639
640         sqr_add_c(5,c2,c3,c1);
641         sqr_add_c2(6,4,c2,c3,c1);
642         sqr_add_c2(7,3,c2,c3,c1);
643         stg     c2,10*8(%r2)
644         lghi    c2,0
645
646         sqr_add_c2(7,4,c3,c1,c2);
647         sqr_add_c2(6,5,c3,c1,c2);
648         stg     c3,11*8(%r2)
649         lghi    c3,0
650
651         sqr_add_c(6,c1,c2,c3);
652         sqr_add_c2(7,5,c1,c2,c3);
653         stg     c1,12*8(%r2)
654         lghi    c1,0
655
656         sqr_add_c2(7,6,c2,c3,c1);
657         stg     c2,13*8(%r2)
658         lghi    c2,0
659
660         sqr_add_c(7,c3,c1,c2);
661         stg     c3,14*8(%r2)
662         stg     c1,15*8(%r2)
663
664         lmg     %r6,%r8,48(%r15)
665         br      %r14
666 .size   bn_sqr_comba8,.-bn_sqr_comba8
667
668 // void bn_sqr_comba4(BN_ULONG *r2,BN_ULONG *r3);
669 .globl bn_sqr_comba4
670 .type   bn_sqr_comba4,@function
671 .align  4
672 bn_sqr_comba4:
673         stmg    %r6,%r8,48(%r15)
674
675         lghi    c1,0
676         lghi    c2,0
677         lghi    c3,0
678         lghi    zero,0
679
680         sqr_add_c(0,c1,c2,c3);
681         stg     c1,0*8(%r2)
682         lghi    c1,0
683
684         sqr_add_c2(1,0,c2,c3,c1);
685         stg     c2,1*8(%r2)
686         lghi    c2,0
687
688         sqr_add_c(1,c3,c1,c2);
689         sqr_add_c2(2,0,c3,c1,c2);
690         stg     c3,2*8(%r2)
691         lghi    c3,0
692
693         sqr_add_c2(3,0,c1,c2,c3);
694         sqr_add_c2(2,1,c1,c2,c3);
695         stg     c1,3*8(%r2)
696         lghi    c1,0
697
698         sqr_add_c(2,c2,c3,c1);
699         sqr_add_c2(3,1,c2,c3,c1);
700         stg     c2,4*8(%r2)
701         lghi    c2,0
702
703         sqr_add_c2(3,2,c3,c1,c2);
704         stg     c3,5*8(%r2)
705         lghi    c3,0
706
707         sqr_add_c(3,c1,c2,c3);
708         stg     c1,6*8(%r2)
709         stg     c2,7*8(%r2)
710
711         lmg     %r6,%r8,48(%r15)
712         br      %r14
713 .size   bn_sqr_comba4,.-bn_sqr_comba4