9928dae872e52c8fb3fcffe5c414caed2ee6b0f0
[openssl.git] / crypto / bn / asm / armv4-gf2m.pl
1 #!/usr/bin/env perl
2 #
3 # ====================================================================
4 # Written by Andy Polyakov <appro@openssl.org> for the OpenSSL
5 # project. The module is, however, dual licensed under OpenSSL and
6 # CRYPTOGAMS licenses depending on where you obtain it. For further
7 # details see http://www.openssl.org/~appro/cryptogams/.
8 # ====================================================================
9 #
10 # May 2011
11 #
12 # The module implements bn_GF2m_mul_2x2 polynomial multiplication
13 # used in bn_gf2m.c. It's kind of low-hanging mechanical port from
14 # C for the time being... Except that it has two code paths: pure
15 # integer code suitable for any ARMv4 and later CPU and NEON code
16 # suitable for ARMv7. Pure integer 1x1 multiplication subroutine runs
17 # in ~45 cycles on dual-issue core such as Cortex A8, which is ~50%
18 # faster than compiler-generated code. For ECDH and ECDSA verify (but
19 # not for ECDSA sign) it means 25%-45% improvement depending on key
20 # length, more for longer keys. Even though NEON 1x1 multiplication
21 # runs in even less cycles, ~30, improvement is measurable only on
22 # longer keys. One has to optimize code elsewhere to get NEON glow...
23
24 while (($output=shift) && ($output!~/^\w[\w\-]*\.\w+$/)) {}
25 open STDOUT,">$output";
26
27 sub Dlo()   { shift=~m|q([1]?[0-9])|?"d".($1*2):"";     }
28 sub Dhi()   { shift=~m|q([1]?[0-9])|?"d".($1*2+1):"";   }
29 sub Q()     { shift=~m|d([1-3]?[02468])|?"q".($1/2):""; }
30
31 $code=<<___;
32 #include "arm_arch.h"
33
34 .text
35 .code   32
36
37 #if __ARM_ARCH__>=7
38 .fpu    neon
39
40 .type   mul_1x1_neon,%function
41 .align  5
42 mul_1x1_neon:
43         vshl.u64        `&Dlo("q1")`,d16,#8     @ q1-q3 are slided $a
44         vmull.p8        `&Q("d0")`,d16,d17      @ a·bb
45         vshl.u64        `&Dlo("q2")`,d16,#16
46         vmull.p8        q1,`&Dlo("q1")`,d17     @ a<<8·bb
47         vshl.u64        `&Dlo("q3")`,d16,#24
48         vmull.p8        q2,`&Dlo("q2")`,d17     @ a<<16·bb
49         vshr.u64        `&Dlo("q1")`,#8
50         vmull.p8        q3,`&Dlo("q3")`,d17     @ a<<24·bb
51         vshl.u64        `&Dhi("q1")`,#24
52         veor            d0,`&Dlo("q1")`
53         vshr.u64        `&Dlo("q2")`,#16
54         veor            d0,`&Dhi("q1")`
55         vshl.u64        `&Dhi("q2")`,#16
56         veor            d0,`&Dlo("q2")`
57         vshr.u64        `&Dlo("q3")`,#24
58         veor            d0,`&Dhi("q2")`
59         vshl.u64        `&Dhi("q3")`,#8
60         veor            d0,`&Dlo("q3")`
61         veor            d0,`&Dhi("q3")`
62         bx      lr
63 .size   mul_1x1_neon,.-mul_1x1_neon
64 #endif
65 ___
66 ################
67 # private interface to mul_1x1_ialu
68 #
69 $a="r1";
70 $b="r0";
71
72 ($a0,$a1,$a2,$a12,$a4,$a14)=
73 ($hi,$lo,$t0,$t1, $i0,$i1 )=map("r$_",(4..9),12);
74
75 $mask="r12";
76
77 $code.=<<___;
78 .type   mul_1x1_ialu,%function
79 .align  5
80 mul_1x1_ialu:
81         mov     $a0,#0
82         bic     $a1,$a,#3<<30           @ a1=a&0x3fffffff
83         str     $a0,[sp,#0]             @ tab[0]=0
84         add     $a2,$a1,$a1             @ a2=a1<<1
85         str     $a1,[sp,#4]             @ tab[1]=a1
86         eor     $a12,$a1,$a2            @ a1^a2
87         str     $a2,[sp,#8]             @ tab[2]=a2
88         mov     $a4,$a1,lsl#2           @ a4=a1<<2
89         str     $a12,[sp,#12]           @ tab[3]=a1^a2
90         eor     $a14,$a1,$a4            @ a1^a4
91         str     $a4,[sp,#16]            @ tab[4]=a4
92         eor     $a0,$a2,$a4             @ a2^a4
93         str     $a14,[sp,#20]           @ tab[5]=a1^a4
94         eor     $a12,$a12,$a4           @ a1^a2^a4
95         str     $a0,[sp,#24]            @ tab[6]=a2^a4
96         and     $i0,$mask,$b,lsl#2
97         str     $a12,[sp,#28]           @ tab[7]=a1^a2^a4
98
99         and     $i1,$mask,$b,lsr#1
100         ldr     $lo,[sp,$i0]            @ tab[b       & 0x7]
101         and     $i0,$mask,$b,lsr#4
102         ldr     $t1,[sp,$i1]            @ tab[b >>  3 & 0x7]
103         and     $i1,$mask,$b,lsr#7
104         ldr     $t0,[sp,$i0]            @ tab[b >>  6 & 0x7]
105         eor     $lo,$lo,$t1,lsl#3       @ stall
106         mov     $hi,$t1,lsr#29
107         ldr     $t1,[sp,$i1]            @ tab[b >>  9 & 0x7]
108
109         and     $i0,$mask,$b,lsr#10
110         eor     $lo,$lo,$t0,lsl#6
111         eor     $hi,$hi,$t0,lsr#26
112         ldr     $t0,[sp,$i0]            @ tab[b >> 12 & 0x7]
113
114         and     $i1,$mask,$b,lsr#13
115         eor     $lo,$lo,$t1,lsl#9
116         eor     $hi,$hi,$t1,lsr#23
117         ldr     $t1,[sp,$i1]            @ tab[b >> 15 & 0x7]
118
119         and     $i0,$mask,$b,lsr#16
120         eor     $lo,$lo,$t0,lsl#12
121         eor     $hi,$hi,$t0,lsr#20
122         ldr     $t0,[sp,$i0]            @ tab[b >> 18 & 0x7]
123
124         and     $i1,$mask,$b,lsr#19
125         eor     $lo,$lo,$t1,lsl#15
126         eor     $hi,$hi,$t1,lsr#17
127         ldr     $t1,[sp,$i1]            @ tab[b >> 21 & 0x7]
128
129         and     $i0,$mask,$b,lsr#22
130         eor     $lo,$lo,$t0,lsl#18
131         eor     $hi,$hi,$t0,lsr#14
132         ldr     $t0,[sp,$i0]            @ tab[b >> 24 & 0x7]
133
134         and     $i1,$mask,$b,lsr#25
135         eor     $lo,$lo,$t1,lsl#21
136         eor     $hi,$hi,$t1,lsr#11
137         ldr     $t1,[sp,$i1]            @ tab[b >> 27 & 0x7]
138
139         tst     $a,#1<<30
140         and     $i0,$mask,$b,lsr#28
141         eor     $lo,$lo,$t0,lsl#24
142         eor     $hi,$hi,$t0,lsr#8
143         ldr     $t0,[sp,$i0]            @ tab[b >> 30      ]
144
145         eorne   $lo,$lo,$b,lsl#30
146         eorne   $hi,$hi,$b,lsr#2
147         tst     $a,#1<<31
148         eor     $lo,$lo,$t1,lsl#27
149         eor     $hi,$hi,$t1,lsr#5
150         eorne   $lo,$lo,$b,lsl#31
151         eorne   $hi,$hi,$b,lsr#1
152         eor     $lo,$lo,$t0,lsl#30
153         eor     $hi,$hi,$t0,lsr#2
154
155         mov     pc,lr
156 .size   mul_1x1_ialu,.-mul_1x1_ialu
157 ___
158 ################
159 # void  bn_GF2m_mul_2x2(BN_ULONG *r,
160 #       BN_ULONG a1,BN_ULONG a0,
161 #       BN_ULONG b1,BN_ULONG b0);       # r[3..0]=a1a0·b1b0
162
163 ($A1,$B1,$A0,$B0,$A1B1,$A0B0)=map("d$_",(18..23));
164
165 $code.=<<___;
166 .global bn_GF2m_mul_2x2
167 .type   bn_GF2m_mul_2x2,%function
168 .align  5
169 bn_GF2m_mul_2x2:
170 #if __ARM_ARCH__>=7
171         ldr     r12,.LOPENSSL_armcap
172 .Lpic:  ldr     r12,[pc,r12]
173         tst     r12,#1
174         beq     .Lialu
175
176         veor    $A1,$A1
177         vmov.32 $B1,r3,r3               @ two copies of b1
178         vmov.32 ${A1}[0],r1             @ a1
179
180         veor    $A0,$A0
181         vld1.32 ${B0}[],[sp,:32]        @ two copies of b0
182         vmov.32 ${A0}[0],r2             @ a0
183         mov     r12,lr
184
185         vmov    d16,$A1
186         vmov    d17,$B1
187         bl      mul_1x1_neon            @ a1·b1
188         vmov    $A1B1,d0
189
190         vmov    d16,$A0
191         vmov    d17,$B0
192         bl      mul_1x1_neon            @ a0·b0
193         vmov    $A0B0,d0
194
195         veor    d16,$A0,$A1
196         veor    d17,$B0,$B1
197         veor    $A0,$A0B0,$A1B1
198         bl      mul_1x1_neon            @ (a0+a1)·(b0+b1)
199
200         veor    d0,$A0                  @ (a0+a1)·(b0+b1)-a0·b0-a1·b1
201         vshl.u64 d1,d0,#32
202         vshr.u64 d0,d0,#32
203         veor    $A0B0,d1
204         veor    $A1B1,d0
205         vst1.32 {${A0B0}[0]},[r0,:32]!
206         vst1.32 {${A0B0}[1]},[r0,:32]!
207         vst1.32 {${A1B1}[0]},[r0,:32]!
208         vst1.32 {${A1B1}[1]},[r0,:32]
209         bx      r12
210 .align  4
211 .Lialu:
212 #endif
213 ___
214 $ret="r10";     # reassigned 1st argument
215 $code.=<<___;
216         stmdb   sp!,{r4-r10,lr}
217         mov     $ret,r0                 @ reassign 1st argument
218         mov     $b,r3                   @ $b=b1
219         ldr     r3,[sp,#32]             @ load b0
220         mov     $mask,#7<<2
221         sub     sp,#32                  @ allocate tab[8]
222
223         bl      mul_1x1_ialu            @ a1·b1
224         str     $lo,[$ret,#8]
225         str     $hi,[$ret,#12]
226
227         eor     $b,r3                   @ flip b0 and b1
228          eor    $a,r2                   @ flip a0 and a1
229         eor     r3,$b
230          eor    r2,$a
231         eor     $b,r3
232          eor    $a,r2
233         bl      mul_1x1_ialu            @ a0·b0
234         str     $lo,[$ret]
235         str     $hi,[$ret,#4]
236
237         eor     $a,r2
238         eor     $b,r3
239         bl      mul_1x1_ialu            @ (a1+a0)·(b1+b0)
240 ___
241 @r=map("r$_",(6..9));
242 $code.=<<___;
243         ldmia   $ret,{@r[0]-@r[3]}
244         eor     $lo,$hi
245         eor     $hi,@r[1]
246         eor     $lo,@r[0]
247         eor     $hi,@r[2]
248         eor     $lo,@r[3]
249         eor     $hi,@r[3]
250         str     $hi,[$ret,#8]
251         eor     $lo,$hi
252         add     sp,#32                  @ destroy tab[8]
253         str     $lo,[$ret,#4]
254
255 #if __ARM_ARCH__>=5
256         ldmia   sp!,{r4-r10,pc}
257 #else
258         ldmia   sp!,{r4-r10,lr}
259         tst     lr,#1
260         moveq   pc,lr                   @ be binary compatible with V4, yet
261         bx      lr                      @ interoperable with Thumb ISA:-)
262 #endif
263 .size   bn_GF2m_mul_2x2,.-bn_GF2m_mul_2x2
264 #if __ARM_ARCH__>=7
265 .align  5
266 .LOPENSSL_armcap:
267 .word   OPENSSL_armcap_P-(.Lpic+8)
268 #endif
269 .asciz  "GF(2^m) Multiplication for ARMv4/NEON, CRYPTOGAMS by <appro\@openssl.org>"
270 .align  5
271
272 .comm   OPENSSL_armcap_P,4,4
273 ___
274
275 $code =~ s/\`([^\`]*)\`/eval $1/gem;
276 $code =~ s/\bbx\s+lr\b/.word\t0xe12fff1e/gm;    # make it possible to compile with -march=armv4
277 print $code;
278 close STDOUT;   # enforce flush