04 Jul, 2024

ExLlamaV2: Det hurtigste bibliotek til at køre LLM’er

Kvantiser og kør EXL2-modeller Billede af forfatter Quantizing Large Language Models (LLM’er) er den mest populære tilgang til at reducere størrelsen af ​​disse modeller og fremskynde inferens. Blandt disse teknikker leverer GPTQ fantastisk ydeevne på GPU’er. Sammenlignet med ikke-kvantiserede modeller bruger denne metode næsten 3 gange mindre VRAM, mens den giver et tilsvarende niveau af […]

9 mins read

The Pine Editor’s Hidden Perle — Bibliotek af HoanGhetti — TradingView

💬 Markdown, et opmærkningssprog Markdown er et bærbart, let opmærkningssprog, der kan bruges til alt, uanset om du bygger et websted, dokumentation eller endda præsentationer. Platforme som Discord, Reddit og GitHub understøtter Markdown og er den almindelige mulighed for tekstformatering på grund af dens enkelhed. Pine Script er et sprog, der også bruger Markdown, specifikt […]

5 mins read