ghash-x86.pl: "528B" variant of gcm_ghash_4bit_mmx gives 20-40%
[openssl.git] / crypto / modes / modes_lcl.h
1 /* ====================================================================
2  * Copyright (c) 2010 The OpenSSL Project.  All rights reserved.
3  *
4  * Redistribution and use is governed by OpenSSL license.
5  * ====================================================================
6  */
7
8 #include <openssl/modes.h>
9
10
11 #if (defined(_WIN32) || defined(_WIN64)) && !defined(__MINGW32__)
12 typedef __int64 i64;
13 typedef unsigned __int64 u64;
14 #define U64(C) C##UI64
15 #elif defined(__arch64__)
16 typedef long i64;
17 typedef unsigned long u64;
18 #define U64(C) C##UL
19 #else
20 typedef long long i64;
21 typedef unsigned long long u64;
22 #define U64(C) C##ULL
23 #endif
24
25 typedef unsigned int u32;
26 typedef unsigned char u8;
27
28 #define STRICT_ALIGNMENT 1
29 #if defined(__i386)     || defined(__i386__)    || \
30     defined(__x86_64)   || defined(__x86_64__)  || \
31     defined(_M_IX86)    || defined(_M_AMD64)    || defined(_M_X64) || \
32     defined(__s390__)   || defined(__s390x__)
33 # undef STRICT_ALIGNMENT
34 #endif
35
36 #if !defined(PEDANTIC) && !defined(OPENSSL_NO_ASM) && !defined(OPNESSL_NO_INLINE_ASM)
37 #if defined(__GNUC__) && __GNUC__>=2
38 # if defined(__x86_64) || defined(__x86_64__)
39 #  define BSWAP8(x) ({  u64 ret=(x);                    \
40                         asm volatile ("bswapq %0"       \
41                         : "+r"(ret));   ret;            })
42 #  define BSWAP4(x) ({  u32 ret=(x);                    \
43                         asm volatile ("bswapl %0"       \
44                         : "+r"(ret));   ret;            })
45 # elif (defined(__i386) || defined(__i386__))
46 #  define BSWAP8(x) ({  u32 lo=(u64)(x)>>32,hi=(x);     \
47                         asm volatile ("bswapl %0; bswapl %1"    \
48                         : "+r"(hi),"+r"(lo));           \
49                         (u64)hi<<32|lo;                 })
50 #  define BSWAP4(x) ({  u32 ret=(x);                    \
51                         asm volatile ("bswapl %0"       \
52                         : "+r"(ret));   ret;            })
53 # endif
54 #elif defined(_MSC_VER)
55 # if _MSC_VER>=1300
56 #  pragma intrinsic(_byteswap_uint64,_byteswap_ulong)
57 #  define BSWAP8(x)     _byteswap_uint64((u64)(x))
58 #  define BSWAP4(x)     _byteswap_ulong((u32)(x))
59 # elif defined(_M_IX86)
60    __inline u32 _bswap4(u32 val) {
61         _asm mov eax,val
62         _asm bswap eax
63    }
64 #  define BSWAP4(x)     _bswap4(x)
65 # endif
66 #endif
67 #endif
68
69 #if defined(BSWAP4) && !defined(STRICT_ALIGNMENT)
70 #define GETU32(p)       BSWAP4(*(const u32 *)(p))
71 #define PUTU32(p,v)     *(u32 *)(p) = BSWAP4(v)
72 #else
73 #define GETU32(p)       ((u32)(p)[0]<<24|(u32)(p)[1]<<16|(u32)(p)[2]<<8|(u32)(p)[3])
74 #define PUTU32(p,v)     ((p)[0]=(u8)((v)>>24),(p)[1]=(u8)((v)>>16),(p)[2]=(u8)((v)>>8),(p)[3]=(u8)(v))
75 #endif