rag/rag_fr_chroma.ipynb

339 lines
17 KiB
Plaintext
Raw Permalink Blame History

This file contains invisible Unicode characters

This file contains invisible Unicode characters that are indistinguishable to humans but may be processed differently by a computer. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

{
"cells": [
{
"cell_type": "code",
"execution_count": 1,
"id": "9659df5b-f71a-4594-8f08-44af62ce0056",
"metadata": {},
"outputs": [],
"source": [
"import chromadb\n",
"import numpy as np"
]
},
{
"cell_type": "code",
"execution_count": 2,
"id": "aad1a570-a5d6-482b-a683-b77d1ae126cc",
"metadata": {},
"outputs": [],
"source": [
"chromadb_path = './chromadb'\n",
"collection_name = 'cera'\n",
"chroma_client = chromadb.PersistentClient(path=chromadb_path)\n",
"collection = chroma_client.get_collection(name=collection_name)"
]
},
{
"cell_type": "code",
"execution_count": 4,
"id": "77c80131-ad2d-423e-a936-e548a4982d1f",
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"passage: Devenez sociétaire !\n",
"\n",
"Devenez sociétaire !\n",
"\n",
"En chiffre\t\t\t\n",
"\n",
"\n",
"\t\t\t\t\t4,5 millions\t\t\t\t\t\n",
"\n",
"\n",
"\t\t\t\t\tCest le nombre de clients de Caisse d'Epargne ayant choisi de devenir sociétaires.\n",
"Être sociétaire de sa Caisse dEpargne, cest soutenir une banque qui agit en local, à travers de nombreuses actions soutenues sur son territoire et sur le financement de léconomie régionale.\n",
"Chaque année le sociétaire est invité à participer à lassemblée générale de sa société locale dépargne (SLE)…et à sexprimer selon le principe « un homme=une voix ». Il assiste à la présentation du rapport dactivité de sa banque coopérative et participe à lapprobation des résultats financiers de sa SLE.\n",
"\n",
"----------\n",
"\n",
"passage: Devenez sociétaire !\n",
"\n",
"Qui peut devenir sociétaire ?\n",
"\n",
"Tous les clients de la Caisse dEpargne peuvent souscrire des parts sociales : particuliers, personnes morales (associations, entreprises), EPCI (Établissements Publics de Coopération Intercommunale) à fiscalité propre. Les collectivités territoriales peuvent également devenir sociétaires.\n",
"Comment devenir sociétaire ?\n",
"Vous souscrivez vos parts sociales de la Société Locale dEpargne (SLE) auprès de lagence où est domicilié votre compte principal. Pour tout renseignement, contactez votre conseiller, il saura vous orienter.\n",
"Contrairement aux actions, la part sociale nest pas cotée. Elle nest pas soumise aux aléas de la bourse. Sa valeur nominale reste fixe : 20 euros.\n",
"Vous avez droit à un intérêt annuel. Vous ne payez aucuns frais tant à la souscription, à la tenue de compte quau remboursement.\n",
"\n",
"Lintérêt des parts sociales est conditionné à une décision de lassemblée générale de la Caisse dEpargne selon ses résultats.\n",
"\n",
"A noter : Les parts sociales sont rémunérées prorata temporis par mois civil entier de détention, à compter du 1er jour du mois qui suit la date dagrément du sociétaire, jusquà la date de clôture de lexercice.\n",
"\n",
"Si vous revendez vos parts sociales avant la clôture de lexercice, vous ne percevez pas les intérêts pour lexercice en cours. En cas de liquidation de votre SLE, vous navez pas de droit sur lactif net (principe coopératif).\n",
"Dans le cas dune détention sur un compte dédié, les parts sociales ne sont soumises à aucuns frais : pas de commission de souscription, pas de frais de rachat ni de droits de garde. Une commission de tenue de compte peut cependant être prélevée dans le cadre dun compte de parts sociales (comptes titres) ou dun PEA. La souscription est conditionnée à lagrément du conseil dadministration.\n",
"\n",
"----------\n",
"\n",
"passage: Devenez sociétaire !\n",
"\n",
"Qui peut devenir sociétaire ?\n",
"\n",
"Les intérêts aux parts sociales sont soumis au même régime fiscal que les dividendes dactions françaises. Si vous nêtes pas domicilié fiscalement en France, les intérêts aux parts sociales supportent une retenue à la source dont le taux peut être réduit par la convention fiscale liant votre pays de résidence fiscale et la France. Nous vous conseillons de vous rapprocher, le cas échéant dun conseiller fiscal.\n",
"Si vous souhaitez que la SLE rachète vos parts sociales, votre demande, soumise à lautorisation du conseil dadministration de la SLE, doit être formulée avant le 31 mai, date de clôture de lexercice. De ce fait, aucune assurance ne peut être donnée quant à la liquidité des parts sociales.\n",
"\n",
"Par ailleurs, les rachats de parts sociales sont subordonnés au respect du capital minimum en deçà duquel la SLE ne peut descendre. En conséquence, les sociétaires doivent être conscients quils pourraient ne pas être en mesure de céder facilement leurs parts sociales.\n",
"\n",
"Le remboursement effectif, quil soit consécutif à la perte de la qualité de sociétaire ou à une demande de rachat, intervient le 1er jour ouvré du nouvel exercice ou dans un délai maximum de 3 mois suivant la demande pour les cas dérogatoires suivants :\n",
"\n",
" Pour un particulier : changement de foyer fiscal, décès, divorce, invalidité, licenciement, départ à la retraite ou préretraite, transfert du domicile à létranger, déménagement hors du ressort territorial de la Caisse dEpargne daffiliation, redressement judiciaire du sociétaire, de clôture dun livret A lorsque le client ne détient pas dautres produits et tout évènement exceptionnel revêtant une gravité telle quelle contraigne le sociétaire à liquider tout ou partie de ses parts.\n",
"\n",
" Pour une personne morale : redressement judiciaire, liquidation ou dissolution.\n",
"\n",
"Les parts sociales sont remboursées à leur valeur nominale sous réserve du risque investisseur (cf. paragraphe « Responsabilité risque de perte en capital »)\n",
"\n",
"----------\n",
"\n",
"passage: Devenez sociétaire !\n",
"\n",
"Qui peut devenir sociétaire ?\n",
"\n",
"Votre responsabilité dinvestisseur est limitée au niveau de votre investissement. Le risque investisseur (risque de perte en capital) porte sur le Groupe BPCE et non sur la SLE ou la Caisse dEpargne (du fait du mécanisme de solidarité interne au Groupe BPCE).\n",
"\n",
"Les parts sociales demeurent des instruments risqués. Votre responsabilité, limitée au montant de lapport, est engagée jusquà 5 ans après le retrait. Il existe un risque de perte en capital en cas de défaut ou de faillite de la Caisse dEpargne ou de mise en œuvre de mesures de résolution au sein du Groupe BPCE. Les parts sociales ne sont pas éligibles au mécanisme de garantie des investisseurs ou de garantie des déposants et leur rémunération nest pas garantie.\n",
"En cas de liquidation, les liquidateurs seront chargés de réaliser lactif, deffectuer le paiement des dettes sociales et, en dernier lieu, de rembourser éventuellement le capital social aux sociétaires si celui-ci est suffisant après paiement des dettes de la SLE.\n",
"Pour tout renseignement, contactez votre conseiller, il saura vous orienter. \n",
"\n",
"Préalablement à toute souscription, conformément à larticle 212-38-13 du règlement général de lAMF, il est recommandé de lire attentivement le prospectus visé par lAMF établi pour loffre au public de parts sociales et plus particulièrement la rubrique « facteurs de risques ». Ce prospectus est disponible sur simple demande sans frais en agence et sur le site de lAMF www.amf-france.org et sur le site www.caisse-epargne.fr.\n",
"\n",
"----------\n",
"\n",
"passage: Devenez sociétaire !\n",
"\n",
"Qui peut devenir sociétaire ?\n",
"\n",
"En tant que sociétaire, vous êtes impliqué dans la vie de votre Caisse dEpargne et prenez part aux décisions en y exerçant un droit de vote. Vous élisez vos représentants parmi les sociétaires, les administrateurs, qui élisent à leur tour leur président qui les représente à lassemblée générale de votre Caisse dEpargne. \n",
"\n",
"Vous participez ainsi aux grandes orientations de votre Caisse dEpargne. Chaque année, à lAssemblée Générale de votre SLE, vous rencontrez les dirigeants de votre Caisse dEpargne et bénéficiez dune information spécifique. \n",
"\n",
"Tout au long de lannée, vous pouvez également être invité à participer à des événements organisés par votre Caisse dEpargne.\n",
"Chez Caisse dEpargne Rhône Alpes, votre épargne est réinvestie dans des projets de territoire. Votre Caisse dEpargne est un acteur majeur et le premier financeur privé de léconomie sociale et solidaire.\n",
"Au cœur des métiers de Caisse dEpargne Rhône Alpes, cette solidarité sexprime concrètement par les nombreuses actions de mécénat soutenues localement. \n",
"\n",
"Vos représentants participent à la remontée de projets locaux associatifs et à la sélection de ceux qui seront soutenus par Caisse dEpargne Rhône Alpes.\n",
"En tant que sociétaire, vous êtes impliqué dans la vie de votre Caisse dEpargne et prenez part aux décisions en y exerçant un droit de vote. Vous élisez vos représentants parmi les sociétaires, les administrateurs, qui élisent à leur tour leur président qui les représente à lassemblée générale de votre Caisse dEpargne. \n",
"\n",
"Vous participez ainsi aux grandes orientations de votre Caisse dEpargne. Chaque année, à lAssemblée Générale de votre SLE, vous rencontrez les dirigeants de votre Caisse dEpargne et bénéficiez dune information spécifique. \n",
"\n",
"Tout au long de lannée, vous pouvez également être invité à participer à des événements organisés par votre Caisse dEpargne.\n",
"\n",
"----------\n",
"\n",
"passage: Devenez sociétaire !\n",
"\n",
"Qui peut devenir sociétaire ?\n",
"\n",
"Chez Caisse dEpargne Rhône Alpes, votre épargne est réinvestie dans des projets de territoire. Votre Caisse dEpargne est un acteur majeur et le premier financeur privé de léconomie sociale et solidaire.\n",
"Au cœur des métiers de Caisse dEpargne Rhône Alpes, cette solidarité sexprime concrètement par les nombreuses actions de mécénat soutenues localement. \n",
"\n",
"Vos représentants participent à la remontée de projets locaux associatifs et à la sélection de ceux qui seront soutenus par Caisse dEpargne Rhône Alpes.\n",
"\n",
"----------\n",
"\n",
"passage: Devenez sociétaire !\n",
"\n",
"Le site sociétaires\n",
"\n",
"Sur www.societaires.caisse-epargne.fr, vous disposez dun site dinformation et davantages sélectionnés pour vous. Vous y découvrirez les réalisations et engagements de votre Caisse dEpargne sur votre territoire : actualité, partenariats, soutien aux actions sociétales…\n",
"Cest aussi une source incontournable dinformations sur lorganisation et les valeurs coopératives, les assemblées générales, la vie du sociétariat et des sociétés locales dépargne.\n",
"Le Club Sociétaires\n",
"\n",
" \n",
"\n",
"\t\t\t\t\t\t\t\t\t\t\tAccessible depuis le site sociétaires de votre région, le club vous propose des avantages et des réductions sur vos sorties ou vos achats, autour de chez vous et partout en France.\t\t\t\t\t\t\t\t\t\t\n",
"\n",
"\n",
"\n",
"\t\t\t\t\t\t\t\t\t\t\t\tDécouvrir maintenant\n",
"Le Club Sociétaires\n",
"Accessible depuis le site sociétaires de votre région, le club vous propose des avantages et des réductions sur vos sorties ou vos achats, autour de chez vous et partout en France.\n",
"Découvrir maintenant\n",
"Banque engagée : nos actions pour une société plus solidaire, plus durable\n",
"\n",
" \n",
"\n",
"\t\t\t\t\t\t\t\t\t\t\tDepuis leur création en 1818, les Caisses dEpargne sont des banques régionales engagées en faveur de la solidarité et du développement économique et durable de leurs territoires.\t\t\t\t\t\t\t\t\t\t\n",
"\n",
"\n",
"\n",
"\t\t\t\t\t\t\t\t\t\t\t\tDécouvrir maintenant\n",
"Banque engagée : nos actions pour une société plus solidaire, plus durable\n",
"Depuis leur création en 1818, les Caisses dEpargne sont des banques régionales engagées en faveur de la solidarité et du développement économique et durable de leurs territoires.\n",
"Découvrir maintenant\n",
"Qui sommes-nous ?\n",
"\n",
" \n",
"\n",
"\t\t\t\t\t\t\t\t\t\t\tDepuis sa création en 1818, Caisse dEpargne accompagne les Français et les territoires dans leurs projets et tient un rôle majeur dans la vie économique et sociale du pays. \t\t\t\t\t\t\t\t\t\t\n",
"\n",
"\n",
"\n",
"\t\t\t\t\t\t\t\t\t\t\t\tDécouvrir maintenant\n",
"Qui sommes-nous ?\n",
"Depuis sa création en 1818, Caisse dEpargne accompagne les Français et les territoires dans leurs projets et tient un rôle majeur dans la vie économique et sociale du pays.\n",
"Découvrir maintenant\n",
"\n",
"----------\n",
"\n"
]
}
],
"source": [
"nb_passage = 1\n",
"while True:\n",
" id = \"f6d921ced8.html-\" + str(nb_passage)\n",
" societaires = collection.get(ids=[id])\n",
" if len(societaires['documents']) > 0:\n",
" print(societaires['documents'][0])\n",
" print(\"\\n----------\\n\")\n",
" nb_passage += 1\n",
" else:\n",
" break"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "a15e2f52-f3f6-4b6d-9ac9-b39528580d9e",
"metadata": {},
"outputs": [],
"source": [
"collection.get(ids=['f6d921ced8.html-10'])"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "089de7c4-7c17-464d-a0dd-04db86299cda",
"metadata": {},
"outputs": [],
"source": [
"col = collection.get()"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "eb193ac5-41a2-4fdd-81f5-0d3c56f72829",
"metadata": {},
"outputs": [],
"source": [
"col['ids'][0]"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "97b08f88-9837-45f3-8622-49a95a2b312c",
"metadata": {},
"outputs": [],
"source": [
"lengths = np.array([len(doc) for doc in col['documents']])"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "10d4a676-648a-4412-a168-8dcbf754af1e",
"metadata": {},
"outputs": [],
"source": [
"# Calculating statistics\n",
"min_length = np.min(lengths)\n",
"max_length = np.max(lengths)\n",
"mean_length = np.mean(lengths)\n",
"median_length = np.median(lengths)\n",
"std_dev_length = np.std(lengths)\n",
"\n",
"# Printing the statistics\n",
"print(f\"Minimum Length: {min_length}\")\n",
"print(f\"Maximum Length: {max_length}\")\n",
"print(f\"Mean Length: {mean_length:.2f}\")\n",
"print(f\"Median Length: {median_length}\")\n",
"print(f\"Standard Deviation: {std_dev_length:.2f}\")"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "e6399d75-1823-4723-8f6b-955a30e226aa",
"metadata": {},
"outputs": [],
"source": [
"docs = list(zip(col['documents'], col['ids']))\n",
"sorted_docs_ids = sorted(docs, key=lambda x: len(x[0]))\n",
"sorted_docs, sorted_ids = zip(*sorted_docs_ids)"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "61900d54-5af3-4c3d-8dcc-2e80a8b735d7",
"metadata": {},
"outputs": [],
"source": [
"for i, doc in enumerate(sorted_docs[200:210]):\n",
" print(sorted_ids[i])\n",
" print(doc)\n",
" print(\"\\n---\\n\")"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "14778379-01fc-415d-841d-b02909863383",
"metadata": {},
"outputs": [],
"source": [
"docs = col['documents']\n",
"sorted_docs = sorted(docs, key=len)"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "195a89b2-a269-4baf-acf2-f60ddaa78082",
"metadata": {},
"outputs": [],
"source": [
"for doc in sorted_docs[:10]:\n",
" print(doc)\n",
" print(\"\\n---\\n\")"
]
},
{
"cell_type": "code",
"execution_count": null,
"id": "19f3d7bf-0c22-498b-988e-45f8e65474f6",
"metadata": {},
"outputs": [],
"source": []
}
],
"metadata": {
"kernelspec": {
"display_name": "RAG_ENV",
"language": "python",
"name": "rag_env"
},
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 3
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.9.18"
}
},
"nbformat": 4,
"nbformat_minor": 5
}