#1
granite-4.1-3b-BF16.gguf
- GGUF size
- 6.34 GiB
- Markdown
- granite-4.1-3b-BF16.md 2.66 KiB
- SVG
- granite-4.1-3b-BF16.svg 1.21 KiB
#2
granite-4.1-3b-UD-Q8_K_XL.gguf
- GGUF size
- 3.99 GiB
- Markdown
- granite-4.1-3b-UD-Q8_K_XL.md 1.99 KiB
- SVG
- granite-4.1-3b-UD-Q8_K_XL.svg 1002 B
#3
granite-4.1-3b-Q8_0.gguf
- GGUF size
- 3.37 GiB
- Markdown
- granite-4.1-3b-Q8_0.md 2.72 KiB
- SVG
- granite-4.1-3b-Q8_0.svg 1.57 KiB
#4
granite-4.1-3b-UD-Q6_K_XL.gguf
- GGUF size
- 2.84 GiB
- Markdown
- granite-4.1-3b-UD-Q6_K_XL.md 2.15 KiB
- SVG
- granite-4.1-3b-UD-Q6_K_XL.svg 803 B
#5
granite-4.1-3b-Q6_K.gguf
- GGUF size
- 2.60 GiB
- Markdown
- granite-4.1-3b-Q6_K.md 2.51 KiB
- SVG
- granite-4.1-3b-Q6_K.svg 797 B
#6
granite-4.1-3b-UD-Q5_K_XL.gguf
- GGUF size
- 2.29 GiB
- Markdown
- granite-4.1-3b-UD-Q5_K_XL.md 2.42 KiB
- SVG
- granite-4.1-3b-UD-Q5_K_XL.svg 1.98 KiB
#7
granite-4.1-3b-Q5_K_M.gguf
- GGUF size
- 2.27 GiB
- Markdown
- granite-4.1-3b-Q5_K_M.md 2.77 KiB
- SVG
- granite-4.1-3b-Q5_K_M.svg 1.56 KiB
#8
granite-4.1-3b-Q5_K_S.gguf
- GGUF size
- 2.21 GiB
- Markdown
- granite-4.1-3b-Q5_K_S.md 2.76 KiB
- SVG
- granite-4.1-3b-Q5_K_S.svg 1.70 KiB
#9
granite-4.1-3b-Q4_1.gguf
- GGUF size
- 2.03 GiB
- Markdown
- granite-4.1-3b-Q4_1.md 2.19 KiB
- SVG
- granite-4.1-3b-Q4_1.svg 1.17 KiB
#10
granite-4.1-3b-Q4_K_M.gguf
- GGUF size
- 1.96 GiB
- Markdown
- granite-4.1-3b-Q4_K_M.md 1.83 KiB
- SVG
- granite-4.1-3b-Q4_K_M.svg 1018 B
#11
granite-4.1-3b-Q4_K_S.gguf
- GGUF size
- 1.86 GiB
- Markdown
- granite-4.1-3b-Q4_K_S.md 1.65 KiB
- SVG
- granite-4.1-3b-Q4_K_S.svg 555 B
#12
granite-4.1-3b-Q4_0.gguf
- GGUF size
- 1.85 GiB
- Markdown
- granite-4.1-3b-Q4_0.md 2.42 KiB
- SVG
- granite-4.1-3b-Q4_0.svg 948 B
#13
granite-4.1-3b-IQ4_XS.gguf
- GGUF size
- 1.76 GiB
- Markdown
- granite-4.1-3b-IQ4_XS.md 1.83 KiB
- SVG
- granite-4.1-3b-IQ4_XS.svg 979 B
#14
granite-4.1-3b-UD-Q3_K_XL.gguf
- GGUF size
- 1.67 GiB
- Markdown
- granite-4.1-3b-UD-Q3_K_XL.md 2.31 KiB
- SVG
- granite-4.1-3b-UD-Q3_K_XL.svg 1.38 KiB
#15
granite-4.1-3b-Q3_K_M.gguf
- GGUF size
- 1.61 GiB
- Markdown
- granite-4.1-3b-Q3_K_M.md 1.74 KiB
- SVG
- granite-4.1-3b-Q3_K_M.svg 779 B
#16
granite-4.1-3b-Q3_K_S.gguf
- GGUF size
- 1.46 GiB
- Markdown
- granite-4.1-3b-Q3_K_S.md 1.41 KiB
- SVG
- granite-4.1-3b-Q3_K_S.svg 1.05 KiB
#17
granite-4.1-3b-UD-IQ3_XXS.gguf
- GGUF size
- 1.32 GiB
- Markdown
- granite-4.1-3b-UD-IQ3_XXS.md 2.22 KiB
- SVG
- granite-4.1-3b-UD-IQ3_XXS.svg 1.26 KiB
#18
granite-4.1-3b-UD-IQ2_M.gguf
- GGUF size
- 1.20 GiB
- Markdown
- granite-4.1-3b-UD-IQ2_M.md 1.85 KiB
- SVG
- granite-4.1-3b-UD-IQ2_M.svg 1.40 KiB
Skipped pointer files
These files are 135-byte Git LFS pointer stubs rather than local model data, so they were not runnable with llama.cpp.
granite-4.1-3b-UD-Q2_K_XL.gguf135 Bgranite-4.1-3b-UD-Q4_K_XL.gguf135 Bgranite-4.1-3b-IQ4_NL.gguf135 B