ARMv4 assembly pack: harmonize Thumb-ification of iOS build.
[openssl.git] / crypto / modes / modes_lcl.h
1 /*
2  * Copyright 2010-2016 The OpenSSL Project Authors. All Rights Reserved.
3  *
4  * Licensed under the OpenSSL license (the "License").  You may not use
5  * this file except in compliance with the License.  You can obtain a copy
6  * in the file LICENSE in the source distribution or at
7  * https://www.openssl.org/source/license.html
8  */
9
10 #include <openssl/modes.h>
11
12 #if (defined(_WIN32) || defined(_WIN64)) && !defined(__MINGW32__)
13 typedef __int64 i64;
14 typedef unsigned __int64 u64;
15 # define U64(C) C##UI64
16 #elif defined(__arch64__)
17 typedef long i64;
18 typedef unsigned long u64;
19 # define U64(C) C##UL
20 #else
21 typedef long long i64;
22 typedef unsigned long long u64;
23 # define U64(C) C##ULL
24 #endif
25
26 typedef unsigned int u32;
27 typedef unsigned char u8;
28
29 #define STRICT_ALIGNMENT 1
30 #ifndef PEDANTIC
31 # if defined(__i386)    || defined(__i386__)    || \
32      defined(__x86_64)  || defined(__x86_64__)  || \
33      defined(_M_IX86)   || defined(_M_AMD64)    || defined(_M_X64) || \
34      defined(__aarch64__)                       || \
35      defined(__s390__)  || defined(__s390x__)
36 #  undef STRICT_ALIGNMENT
37 # endif
38 #endif
39
40 #if !defined(PEDANTIC) && !defined(OPENSSL_NO_ASM) && !defined(OPENSSL_NO_INLINE_ASM)
41 # if defined(__GNUC__) && __GNUC__>=2
42 #  if defined(__x86_64) || defined(__x86_64__)
43 #   define BSWAP8(x) ({ u64 ret_=(x);                   \
44                         asm ("bswapq %0"                \
45                         : "+r"(ret_));   ret_;          })
46 #   define BSWAP4(x) ({ u32 ret_=(x);                   \
47                         asm ("bswapl %0"                \
48                         : "+r"(ret_));   ret_;          })
49 #  elif (defined(__i386) || defined(__i386__)) && !defined(I386_ONLY)
50 #   define BSWAP8(x) ({ u32 lo_=(u64)(x)>>32,hi_=(x);   \
51                         asm ("bswapl %0; bswapl %1"     \
52                         : "+r"(hi_),"+r"(lo_));         \
53                         (u64)hi_<<32|lo_;               })
54 #   define BSWAP4(x) ({ u32 ret_=(x);                   \
55                         asm ("bswapl %0"                \
56                         : "+r"(ret_));   ret_;          })
57 #  elif defined(__aarch64__)
58 #   define BSWAP8(x) ({ u64 ret_;                       \
59                         asm ("rev %0,%1"                \
60                         : "=r"(ret_) : "r"(x)); ret_;   })
61 #   define BSWAP4(x) ({ u32 ret_;                       \
62                         asm ("rev %w0,%w1"              \
63                         : "=r"(ret_) : "r"(x)); ret_;   })
64 #  elif (defined(__arm__) || defined(__arm)) && !defined(STRICT_ALIGNMENT)
65 #   define BSWAP8(x) ({ u32 lo_=(u64)(x)>>32,hi_=(x);   \
66                         asm ("rev %0,%0; rev %1,%1"     \
67                         : "+r"(hi_),"+r"(lo_));         \
68                         (u64)hi_<<32|lo_;               })
69 #   define BSWAP4(x) ({ u32 ret_;                       \
70                         asm ("rev %0,%1"                \
71                         : "=r"(ret_) : "r"((u32)(x)));  \
72                         ret_;                           })
73 #  endif
74 # elif defined(_MSC_VER)
75 #  if _MSC_VER>=1300
76 #   pragma intrinsic(_byteswap_uint64,_byteswap_ulong)
77 #   define BSWAP8(x)    _byteswap_uint64((u64)(x))
78 #   define BSWAP4(x)    _byteswap_ulong((u32)(x))
79 #  elif defined(_M_IX86)
80 __inline u32 _bswap4(u32 val)
81 {
82 _asm mov eax, val _asm bswap eax}
83 #   define BSWAP4(x)    _bswap4(x)
84 #  endif
85 # endif
86 #endif
87 #if defined(BSWAP4) && !defined(STRICT_ALIGNMENT)
88 # define GETU32(p)       BSWAP4(*(const u32 *)(p))
89 # define PUTU32(p,v)     *(u32 *)(p) = BSWAP4(v)
90 #else
91 # define GETU32(p)       ((u32)(p)[0]<<24|(u32)(p)[1]<<16|(u32)(p)[2]<<8|(u32)(p)[3])
92 # define PUTU32(p,v)     ((p)[0]=(u8)((v)>>24),(p)[1]=(u8)((v)>>16),(p)[2]=(u8)((v)>>8),(p)[3]=(u8)(v))
93 #endif
94 /*- GCM definitions */ typedef struct {
95     u64 hi, lo;
96 } u128;
97
98 #ifdef  TABLE_BITS
99 # undef  TABLE_BITS
100 #endif
101 /*
102  * Even though permitted values for TABLE_BITS are 8, 4 and 1, it should
103  * never be set to 8 [or 1]. For further information see gcm128.c.
104  */
105 #define TABLE_BITS 4
106
107 struct gcm128_context {
108     /* Following 6 names follow names in GCM specification */
109     union {
110         u64 u[2];
111         u32 d[4];
112         u8 c[16];
113         size_t t[16 / sizeof(size_t)];
114     } Yi, EKi, EK0, len, Xi, H;
115     /*
116      * Relative position of Xi, H and pre-computed Htable is used in some
117      * assembler modules, i.e. don't change the order!
118      */
119 #if TABLE_BITS==8
120     u128 Htable[256];
121 #else
122     u128 Htable[16];
123     void (*gmult) (u64 Xi[2], const u128 Htable[16]);
124     void (*ghash) (u64 Xi[2], const u128 Htable[16], const u8 *inp,
125                    size_t len);
126 #endif
127     unsigned int mres, ares;
128     block128_f block;
129     void *key;
130 };
131
132 struct xts128_context {
133     void *key1, *key2;
134     block128_f block1, block2;
135 };
136
137 struct ccm128_context {
138     union {
139         u64 u[2];
140         u8 c[16];
141     } nonce, cmac;
142     u64 blocks;
143     block128_f block;
144     void *key;
145 };
146
147 #ifndef OPENSSL_NO_OCB
148
149 typedef union {
150     u64 a[2];
151     unsigned char c[16];
152 } OCB_BLOCK;
153 # define ocb_block16_xor(in1,in2,out) \
154     ( (out)->a[0]=(in1)->a[0]^(in2)->a[0], \
155       (out)->a[1]=(in1)->a[1]^(in2)->a[1] )
156 # if STRICT_ALIGNMENT
157 #  define ocb_block16_xor_misaligned(in1,in2,out) \
158     ocb_block_xor((in1)->c,(in2)->c,16,(out)->c)
159 # else
160 #  define ocb_block16_xor_misaligned ocb_block16_xor
161 # endif
162
163 struct ocb128_context {
164     /* Need both encrypt and decrypt key schedules for decryption */
165     block128_f encrypt;
166     block128_f decrypt;
167     void *keyenc;
168     void *keydec;
169     ocb128_f stream;    /* direction dependent */
170     /* Key dependent variables. Can be reused if key remains the same */
171     size_t l_index;
172     size_t max_l_index;
173     OCB_BLOCK l_star;
174     OCB_BLOCK l_dollar;
175     OCB_BLOCK *l;
176     /* Must be reset for each session */
177     u64 blocks_hashed;
178     u64 blocks_processed;
179     OCB_BLOCK tag;
180     OCB_BLOCK offset_aad;
181     OCB_BLOCK sum;
182     OCB_BLOCK offset;
183     OCB_BLOCK checksum;
184 };
185 #endif                          /* OPENSSL_NO_OCB */