202401172050

.gitignore

@@ -3,6 +3,9 @@
 cera_hierarchy.html
 chromadb/
 chromadb_copie_20231230/
+chromadb_copie_20240107
+chromadb_copie_20240110/
+chromadb_copie_20240112/
 docs/
 gradio_cached_examples/
 index/
@@ -11,3 +14,5 @@ index_cera2/
 index_cera2_distiluse/
 __pycache__/
 chromadbtest/
+rag.log
+embedding.log

PAD

@@ -65,3 +65,8 @@ pip install langchain
 pip install -U sentence-transformers
 
 pip install streamlit
+
+pip install rank-bm25
+
+python -m streamlit run app.py
+

app.py

@@ -3,14 +3,17 @@ from rag import RAG
 import re
 import logging
 
-logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
+@st.cache_resource
+def init_rag():
+    llm_model_path = '/Users/peportier/llm/a/a/zephyr-7b-beta.Q5_K_M.gguf'
+    # embed_model_name = 'intfloat/multilingual-e5-large'
+    embed_model_name = 'dangvantuan/sentence-camembert-large'
+    collection_name = 'cera'
+    chromadb_path = './chromadb'
+    rag = RAG(llm_model_path, embed_model_name, collection_name, chromadb_path, mulitlingual_e5=False)
+    return rag
 
-llm_model_path = '/Users/peportier/llm/a/a/zephyr-7b-beta.Q5_K_M.gguf'
-embed_model_name = 'intfloat/multilingual-e5-large'
-collection_name = 'cera'
-chromadb_path = './chromadb'
-
-rag = RAG(llm_model_path, embed_model_name, collection_name, chromadb_path)
+rag = init_rag()
 
 st.title("CERA Chat")
 
@@ -29,7 +32,7 @@ if prompt := st.chat_input("Comment puis-je vous aider ?"):
     st.session_state.messages.append({"role": "user", "content": prompt})
     with st.chat_message("user"):
         st.markdown(prompt)
-    
+
     with st.chat_message("assistant"):
         message_placeholder = st.empty()
         full_response = ""
@@ -37,10 +40,10 @@ if prompt := st.chat_input("Comment puis-je vous aider ?"):
             full_response += response
             message_placeholder.markdown(full_response + "▌")
         message_placeholder.markdown(full_response)
-        url_pattern = r"URL :\n(https?://[^\s]+)"
-        urls = re.findall(url_pattern, rag.chat_history[-1]['assistant'])
-        markdown_urls = "\n".join([f"- {url}" for url in urls])
-        logging.info(markdown_urls)
-        #message_placeholder.markdown(markdown_urls)
-        
-    st.session_state.messages.append({"role": "assistant", "content": full_response})
+        # url_pattern = r"URL :\n(https?://[^\s]+)"
+        # urls = re.findall(url_pattern, rag.chat_history[-1]['assistant'])
+        # markdown_urls = "\n".join([f"- {url}" for url in urls])
+        # logging.info(f"URLs: \n{markdown_urls}")
+        # message_placeholder.markdown(markdown_urls)
+
+    st.session_state.messages.append({"role": "assistant", "content": full_response})

debug.py

@@ -0,0 +1,33 @@
+from rag import RAG
+
+llm_model_path = '/Users/peportier/llm/a/a/zephyr-7b-beta.Q5_K_M.gguf'
+embed_model_name = 'intfloat/multilingual-e5-large'
+collection_name = 'cera'
+chromadb_path = './chromadb'
+
+rag = RAG(llm_model_path, embed_model_name, collection_name, chromadb_path)
+
+query1 = "Comment aider une entreprise qui rencontre des problèmes de trésorerie ?"
+ans1 = rag.chat(query1, stream=True)
+query2 = "Pouvez-vous m'en dire plus au sujet du deuxième point ?"
+ans2 = rag.chat(query2, stream=True)
+
+# Queries:
+#
+# Lorsque mon client est en télétravail, quels sont les risques couverts par son assurance habitation ? 
+#
+# Quel est le risque de perte attaché à la détention de Parts Sociales ?
+#
+# Comment procéder pour déclarer un sinistre habitation ?
+# Comment procéder pour déclarer un sinistre Visa Premier ?
+
+
+# Combien de clients sociétaires compte la CERA ?
+
+# Quel est le plafond d'impôts à ne pas dépasser pour pouvoir bénéficier d'un livret d'épargne populaire ?
+
+# Mon client a 36 ans, peut-elle ouvrir un livret jeune ?
+
+# Mon client a un revenu fiscal de 23000 euros, il est célibataire, peut-il ouvrir un livret d'épargne populaire ?
+
+# Quel est le plafond du revenu fiscal de référence pour le livret d'épargne populaire ?

debug2.py

@@ -0,0 +1,103 @@
+from bs4 import BeautifulSoup
+import base64
+import re
+from transformers import AutoTokenizer
+import logging
+import os
+
+html_folder_path = '../scrapcera/htmls/'
+txt_folder_path = '../scrapcera/docs/'
+
+for html_filename in ['dd0a2ca5ac.html']: # os.listdir(html_folder_path):
+    html_file_path = os.path.join(html_folder_path, html_filename)
+    txt_filename = re.sub(r'\.html', '.txt', html_filename)
+    txt_file_path = os.path.join(txt_folder_path, txt_filename)
+    with open(txt_file_path, 'r') as file:
+        txt_file_contents = file.read()
+    
+    url = txt_file_contents.split('\n')[0]
+    if '?' in url: # URLs with a '?' corresponds to call to services and have no useful content
+        continue
+    if not url.startswith('https://www.caisse-epargne.fr/rhone-alpes/'):
+        continue
+    
+    prefix = 'https://www.caisse-epargne.fr/'
+    suffix = url.replace(prefix, '')
+    tags = suffix.split('/')
+    tags = [tag for tag in tags if tag] # remove empty par
+    with open(html_file_path, 'r') as file:
+        html_file_contents = file.read()
+    soup = BeautifulSoup(html_file_contents, 'html.parser')
+    page_title_present = soup.find('section').find('h1')
+    if not page_title_present:
+        continue
+    page_title = page_title_present.get_text()
+    
+    sections = soup.find_all(lambda tag: tag.name in ['section'])
+    
+    struct_page = {'title': page_title}
+    current_section = ''
+    titles = [page_title]
+    for section in sections:
+        # breakpoint()
+        if 'key-informations' in section.get('class', []):
+            key_items = []
+            for key_item in section.find_all('div', class_='container-block'):
+                key_item_text = ''
+                for key_item_title in key_item.find_all('div', class_='button'):
+                    key_item_text += key_item_title.get_text().strip()
+                for key_item_desc in key_item.find_all('div', class_="tab-panel"):
+                    key_item_text += ' ' + key_item_desc.get_text().strip()
+                if len(key_item_text) > 0:
+                    key_items.append(key_item_text)
+            if len(key_items) > 0:
+                struct_page['Les points clés'] = key_items
+            continue
+
+        for wysiwyg_tag in section.find_all(class_="wysiwyg"):
+            # Check for a title within the wysiwyg container
+            internal_title = wysiwyg_tag.find(['h1', 'h2', 'h3', 'h4', 'h5', 'h6']) or wysiwyg_tag.find('p', class_='title')
+    
+            if internal_title:
+                title_tag = internal_title
+                title = internal_title.get_text().strip()
+                title = re.sub(r'\(\d\)', '', title)
+                title = re.sub(r'^\d+\.\s*', '', title)
+                titles.append(title)
+                current_section = title
+            else: # If no internal title, find the nearest title from previous tags
+                title_tag = None
+                current_section = titles[-1]
+
+                # nearest_title = None
+                # for previous in wysiwyg_tag.find_all_previous():
+                #     if previous.name in ['h1', 'h2', 'h3', 'h4', 'h5', 'h6']:
+                #         nearest_title = previous.get_text().strip()
+                #         break
+                #     if previous.name == 'p' and 'title' in previous.get('class', []):
+                #         nearest_title = previous.get_text().strip()
+                #         break
+                # if nearest_title:
+                #     title_tag = previous
+                #     nearest_title = re.sub(r'\(\d\)', '', nearest_title)
+                #     nearest_title = re.sub(r'^\d+\.\s*', '', nearest_title)
+                #     current_section = nearest_title
+                # else:
+                #     continue
+
+            if current_section not in struct_page:
+                struct_page[current_section] = []
+
+            for child in wysiwyg_tag.find_all(['p', 'li', 'h1', 'h2', 'h3', 'h4', 'h5', 'h6']):
+                if child == title_tag:
+                    continue
+                if 'is-style-mentions' in child.get('class', []):
+                    continue
+                text = child.get_text().strip()
+                text = re.sub(r'\(\d\)', '', text)
+                struct_page[current_section].append(text)
+
+            if len(struct_page[current_section]) == 0:
+                del struct_page[current_section]
+
+print(struct_page)

embedding.py

@@ -148,6 +148,29 @@ class EmbeddingModel:
 
         self.collection.add(embeddings=embeddings, documents=documents, metadatas=metadatas, ids=ids)
 
+    def remove_duplicate(self, lst):
+        # file_contents can contain duplicate lines
+        # because we keep the textual content of multiple html tags that can be embedded one in another
+        i = 0
+        while i < len(lst) - 1:
+            if i < len(lst) - 3 and lst[i] == lst[i + 2] and lst[i + 1] == lst[i + 3] == '':
+                # Remove lst[i+1], lst[i+2], and lst[i+3]
+                del lst[i + 1:i + 3]
+            elif lst[i] == lst[i + 1]:
+                # Remove lst[i+1]
+                del lst[i + 1]
+            else:
+                i += 1
+        return lst
+    
+    def remove_footer(self, lst):
+        sequence = ["Caisse d'Epargne", "Rhône Alpes", "Formuler une demande en ligne"]
+        for i in range(len(lst) - 2):
+            if lst[i:i + 3] == sequence:
+                del lst[i:]
+                break
+        return lst
+
     def embed_folder(self, folder_path):
         """
         Embeds all the .txt files within a specified folder into a ChromaDB collection using a specified embedding model.
@@ -167,12 +190,16 @@ class EmbeddingModel:
                 file_path = os.path.join(folder_path, filename)
                 with open(file_path, 'r') as file:
                     file_contents = file.read()
+                file_contents = '\n'.join(self.remove_duplicate(file_contents.split('\n')))
                 contents_lst = [str.replace('\n',' ').replace('\xa0', ' ') for str in file_contents.split('\n\n')]
+                contents_lst = self.remove_footer(contents_lst)
                 if len(contents_lst) < 3: # contents_lst[0] is the URL, contents_lst[1] is the title, the rest is the content
                     continue
                 url = contents_lst[0]
                 if '?' in url: # URLs with a '?' corresponds to call to services and have no useful content
                     continue
+                if not url.startswith('https://www.caisse-epargne.fr/rhone-alpes/'):
+                    continue
                 title = contents_lst[1]
                 if not title: # when the title is absent (or empty), the page has no interest
                     continue

embedding2.py

@@ -0,0 +1,273 @@
+from transformers import AutoTokenizer
+from sentence_transformers import SentenceTransformer
+import os
+import re
+import copy
+import chromadb
+import logging
+from bs4 import BeautifulSoup
+
+logging.basicConfig(filename='embedding.log', level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
+
+class EmbeddingModel:
+    def __init__(self, model_name, chromadb_path, collection_name, mulitlingual_e5=True):
+        self.mulitlingual_e5=mulitlingual_e5
+        self.tokenizer = AutoTokenizer.from_pretrained(model_name)
+        self.model = SentenceTransformer(model_name)
+        self.chroma_client = chromadb.PersistentClient(path=chromadb_path)
+        self.collection = self.chroma_client.get_or_create_collection(name=collection_name)
+
+    def token_length(self, text):
+        """
+        Calculates the token length of a given text
+
+        Args:
+            text (str): The text to be tokenized.
+
+        Returns:
+            int: The number of tokens in the text.
+
+        This function takes a string, tokenizes the string, and returns the number of tokens.
+        """
+        return len(self.tokenizer.encode(text, add_special_tokens=False))
+
+    def passage_str(self, paragraphs, title):
+        """
+        Constructs a passage string from given paragraphs and a title.
+
+        Args:
+            paragraphs (list of str): A list of paragraphs.
+            title (str): The title of the passage.
+
+        Returns:
+            str: A passage string that combines the title and paragraphs.
+
+        This function takes a list of paragraphs and a title, and constructs a single string
+        with the title followed by the paragraphs, formatted for embedding.
+        """
+
+        return f"passage: {title}\n" + '\n'.join(paragraphs)
+
+    def embed_folder(self, html_folder_path, txt_folder_path):
+        """
+        Embeds all the .html files within a specified folder into a ChromaDB collection using a specified embedding model.
+        The txt folder is required to get the URL of the webpage. TODO: change this behavior in a future version.
+
+        Args:
+            html_folder_path (str): Path to the folder containing .html files.
+            txt_folder_path (str): Path to the folder containing .txt files.
+
+        Returns:
+            None
+
+        This function processes each .html file in the given folder, extracts the content, and uses `embed_page`
+        to embed the content into the specified ChromaDB collection.
+        """
+
+        for html_filename in os.listdir(html_folder_path):
+            html_file_path = os.path.join(html_folder_path, html_filename)
+
+            txt_filename = re.sub(r'\.html', '.txt', html_filename)
+            txt_file_path = os.path.join(txt_folder_path, txt_filename)
+            with open(txt_file_path, 'r') as file:
+                txt_file_contents = file.read()
+
+            url = txt_file_contents.split('\n')[0]
+            if '?' in url: # URLs with a '?' corresponds to call to services and have no useful content
+                continue
+            if not url.startswith('https://www.caisse-epargne.fr/rhone-alpes/'):
+                continue
+
+            prefix = 'https://www.caisse-epargne.fr/'
+            suffix = url.replace(prefix, '')
+            tags = suffix.split('/')
+            tags = [tag for tag in tags if tag] # remove empty parts
+
+            with open(html_file_path, 'r') as file:
+                html_file_contents = file.read()
+
+            soup = BeautifulSoup(html_file_contents, 'html.parser')
+
+            first_section = soup.find('section')
+            if not first_section:
+                continue
+            page_title_present = first_section.find('h1')
+            if not page_title_present:
+                continue
+            page_title = page_title_present.get_text()
+
+            sections = soup.find_all(lambda tag: tag.name in ['section'])
+
+            struct_page = {'title': page_title}
+            current_section = ''
+            titles = [page_title]
+            for section in sections:
+
+                if 'key-informations' in section.get('class', []):
+                    key_items = []
+                    for key_item in section.find_all('div', class_='container-block'):
+                        key_item_text = ''
+                        for key_item_title in key_item.find_all('div', class_='button'):
+                            key_item_text += key_item_title.get_text().strip()
+                        for key_item_desc in key_item.find_all('div', class_="tab-panel"):
+                            key_item_text += ' ' + key_item_desc.get_text().strip()
+                        if len(key_item_text) > 0:
+                            key_items.append(key_item_text)
+                    if len(key_items) > 0:
+                        struct_page['Les points clés'] = key_items
+                    continue
+
+                for wysiwyg_tag in section.find_all(class_="wysiwyg"):
+                    # Check for a title within the wysiwyg container
+                    internal_title = wysiwyg_tag.find(['h1', 'h2', 'h3', 'h4', 'h5', 'h6']) or wysiwyg_tag.find('p', class_='title')
+
+                    if internal_title:
+                        title_tag = internal_title
+                        title = internal_title.get_text().strip()
+                        title = re.sub(r'\(\d\)', '', title)
+                        title = re.sub(r'^\d+\.\s*', '', title)
+                        titles.append(title)
+                        current_section = title
+                    else: # If no internal title, find the nearest title from previous tags
+                        title_tag = None
+                        current_section = titles[-1]
+
+                    if current_section not in struct_page:
+                        struct_page[current_section] = []
+
+                    for child in wysiwyg_tag.find_all(['p', 'li', 'h1', 'h2', 'h3', 'h4', 'h5', 'h6']):
+                        if child == title_tag:
+                            continue
+                        if 'is-style-mentions' in child.get('class', []):
+                            continue
+                        text = child.get_text().strip()
+                        text = re.sub(r'\(\d\)', '', text)
+                        struct_page[current_section].append(text)
+
+                    if len(struct_page[current_section]) == 0:
+                        del struct_page[current_section]
+
+            logging.info(f"{html_filename} : Start")
+            self.embed_page(html_filename, url, struct_page, tags)
+
+    def token_length(self, text):
+        """
+        Calculates the token length of a given text
+
+        Args:
+            text (str): The text to be tokenized.
+
+        Returns:
+            int: The number of tokens in the text.
+
+        This function takes a string, tokenizes the string, and returns the number of tokens.
+        """
+        return len(self.tokenizer.encode(text, add_special_tokens=False))
+
+    def passage_str(self, paragraphs, title, subtitle):
+        """
+        Constructs a passage string from given paragraphs and a title.
+
+        Args:
+            paragraphs (list of str): A list of paragraphs.
+            title (str): The title of the webpage.
+            subtitle (str): The title of the passage.
+
+        Returns:
+            str: A passage string that combines the titles and paragraphs.
+
+        This function takes a passage made of a list of paragraphs extracted
+        from a webpage, the title of the webpage, the subtitle corresponding to
+        the passage, and constructs a single string with the titles followed by
+        the paragraphs, formatted for embedding.
+        """
+
+        if self.mulitlingual_e5:
+            prefix = "passage: "
+        else:
+            prefix = ""
+        return f"{prefix}{title}\n\n{subtitle}\n\n" + '\n'.join(paragraphs)
+
+    def embed_page(self, html_filename, url, struct_page, tags, max_chunk_size=500):
+        documents = []
+        title = struct_page['title']
+
+        for subtitle, paragraphs in struct_page.items():
+            if subtitle != 'title':
+                doc_str = self.passage_str(paragraphs, title, subtitle)
+                doc_token_length = self.token_length(doc_str)
+
+                if doc_token_length > max_chunk_size:
+
+                    long_passages = []
+                    sub_paragraphs = []
+                    sub_paragraphs_token_length = 0
+                    paragraph_index = 0
+                    while True:
+                        while sub_paragraphs_token_length < max_chunk_size and paragraph_index < len(paragraphs):
+                            sub_paragraphs.append(paragraphs[paragraph_index])
+                            sub_paragraphs_str = self.passage_str(sub_paragraphs, title, subtitle)
+                            sub_paragraphs_token_length = self.token_length(sub_paragraphs_str)
+                            paragraph_index += 1
+                        if paragraph_index >= len(paragraphs):
+                            if sub_paragraphs_token_length >= max_chunk_size:
+                                sub_paragraphs_str_1 = self.passage_str(sub_paragraphs[:-1], title, subtitle)
+                                sub_paragraphs_str_2 = self.passage_str([sub_paragraphs[-1]], title, subtitle)
+                                documents.append(sub_paragraphs_str_1)
+                                if self.token_length(sub_paragraphs_str_2) < max_chunk_size:
+                                    documents.append(sub_paragraphs_str_2)
+                                else:
+                                    long_passages.append(sub_paragraphs[0])
+                            else:
+                                    documents.append(sub_paragraphs_str)
+                            break
+                        else: # sub_paragraphs_token_length >= max_chunk_size and paragraph_index < len(paragraphs)
+                            if len(sub_paragraphs) > 1:
+                                sub_paragraphs_str = self.passage_str(sub_paragraphs[:-1], title, subtitle)
+                                documents.append(sub_paragraphs_str)
+                                paragraph_index -= 1
+                            else:
+                                long_passages.append(sub_paragraphs[0])
+                            sub_paragraphs = []
+                            sub_paragraphs_token_length = 0
+                    for long_passage in long_passages:
+                        passage = []
+                        for word in long_passage.split():
+                            passage.append(word)
+                            passage_str = self.passage_str([' '.join(passage)], title, subtitle)
+                            if self.token_length(passage_str) > max_chunk_size:
+                                passage_str = self.passage_str([' '.join(passage[:-1])], title, subtitle)
+                                documents.append(passage_str)
+                                passage = [passage[-1]]
+                        passage_str = self.passage_str([' '.join(passage)], title, subtitle)
+                        documents.append(passage_str)
+
+                else:
+                    documents.append(doc_str)
+
+        if len(documents) == 0:
+            return
+
+        embeddings = self.model.encode(documents, normalize_embeddings=True)
+        embeddings = embeddings.tolist()
+
+        # We consider the subpart of an URL as tags describing the webpage
+        # For example, 
+        # "https://www.caisse-epargne.fr/rhone-alpes/professionnels/financer-projets-optimiser-tresorerie/"
+        # is associated to the tags:
+        # tags[0] == 'rhone-alpes'
+        # tags[1] == 'professionnels'
+        # tags[2] == 'financer-projets-optimiser-tresorerie'
+        if len(tags) < 2:
+            category = ''
+        else:
+            if tags[0] == 'rhone-alpes':
+                category = tags[1]
+            else: category = tags[0]
+        metadata = {'category': category, 'url': url}
+        # All the documents corresponding to a same webpage have the same metadata, i.e. URL and category
+        metadatas = [copy.deepcopy(metadata) for _ in range(len(documents))]
+
+        ids = [html_filename + '-' + str(i+1) for i in range(len(documents))]
+
+        self.collection.add(embeddings=embeddings, documents=documents, metadatas=metadatas, ids=ids)

embedding_script.py

@@ -0,0 +1,11 @@
+from embedding2 import EmbeddingModel
+
+# model_name = 'intfloat/multilingual-e5-large'
+model_name = 'dangvantuan/sentence-camembert-large'
+chromadb_path = './chromadb'
+html_folder_path = '../scrapcera/htmls/'
+txt_folder_path = '../scrapcera/docs/'
+collection_name = 'cera'
+
+embedding_model = EmbeddingModel(model_name, chromadb_path, collection_name, mulitlingual_e5=False)
+embedding_model.embed_folder(html_folder_path, txt_folder_path)

rag.py

@@ -3,48 +3,87 @@ import chromadb
 from llama_cpp import Llama
 import copy
 import logging
-import re
 
-logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
+logging.basicConfig(filename='rag.log', level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
+
 
 class RAG:
-    def __init__(self, llm_model_path, embed_model_name, collection_name, chromadb_path):
+    def __init__(self, llm_model_path, embed_model_name, collection_name, chromadb_path, mulitlingual_e5=True):
+        logging.info('INIT')
+        self.mulitlingual_e5 = mulitlingual_e5
+        self.urls = []
         self.chat_history = []
-        self.rag_system_prompt = """
-Vous êtes un assistant IA qui répond à la question posée par l'utilisateur en utilisant un contexte répertorié ci-dessous dans la rubrique Contexte.
-Le contexte est formé de passages exraits du site web commercial de la Caisse d'Epargne Rhône-Alpes, une banque française régionale.
-Votre réponse ne doit pas mentionner des informations déjà présentes dans l'historique de la conversation qui est répertorié ci-dessous dans la rubrique Historique.
-Vous fournissez avec soin des réponses précises, factuelles, réfléchies et nuancées, et vous êtes doué pour le raisonnement.
-Toutes les informations factuelles que vous utilisez pour répondre proviennent exclusivement du contexte.
-Si vous ne pouvez pas répondre à la question sur la base des éléments du contexte, dites simplement que vous ne savez pas, n'essayez pas d'inventer une réponse.
-Vos réponses doivent être brèves.
-Vos utilisateurs savent que vos réponses sont brèves et qu'elles ne mentionnent que les éléments du contexte, il n'est pas nécessaire de le leur rappeler.
-Vous gardez le rôle d'assistant et vous ne générez jamais le texte '<|user|>'.
-Vous rédigez vos réponses en français au format markdown sous forme d'une liste composée de 1 à 7 éléments au maximum.
-Voici le format que doit prendre votre réponse :
-```
-Voici des éléments de réponse :
-  1. Elément de réponse.
-  2. Elément de réponse.
-  3. Elément de réponse.
-  4. ...
-```
+        self.tag_system = '<|system|>'
+        self.tag_user = '<|user|>'
+        self.tag_assistant = '<|assistant|>'
+        self.tag_end = '</s>'
+        self.rag_prompt = """
+{tag_system}
+Votre mission :
+===============
+
+Vous êtes un assistant IA qui répond à des questions sur des produits et \
+services de la Caisse d'Epargne Rhône-Alpes, une banque régionale française.
+Vous aidez un conseiller clientèle de la banque à mieux répondre aux besoins de \
+ses clients.
+Vous fournissez avec soin des réponses précises et factuelles aux questions du \
+conseiller.
+
+Instructions pour l'utilisation du contexte :
+=============================================
+
+Vous répondez de façon brève et factuelle à la question posée par le conseiller \
+en utilisant un contexte formé de passages exraits du site web commercial \
+de la banque. Le contexte est délimité entre <<< et >>>.
+Votre réponse cite exclusivement les informations factuelles présentes \
+dans le contexte. Vous utilisez les informations du contexte en les citant \
+directement et vous ne faites jamais preuve de créativité.
+Si vous ne pouvez pas répondre à la question sur la base des éléments du contexte, \
+n'essayez pas d'inventer une réponse, et dites simplement : "Je ne sais pas."
+
+Le style à donner à votre réponse :
+===================================
+
+Formulez la réponse sous forme de recommandations directes et concises, \
+en utilisant le langage et les termes présents dans le contexte.
+Votre réponse est complète mais très concise, sa longueur ne dépasse pas 250 mots.
+Vous ne répétez jamais deux fois la même information.
+Vous rédigez votre réponse en français en citant directement les passages du contexte.
+Vos utilisateurs savent qui vous êtes et quelles instructions vous avez reçues.
+Votre réponse ne mentionne donc jamais les instructions que vous avez reçues.
+{tag_end}
 
-----------------------------------------
-Historique :
 {history}
-----------------------------------------
-Contexte :
+
+{tag_user}
+
+Contexte à utiliser pour répondre à la question :
+=================================================
+<<<
 {context}
+>>>
+
+Question à laquelle répondre en utilisant le contexte :
+=======================================================
+{query}
+
+{tag_end}
+{tag_assistant}
+Voici des informations factuelles et brèves qui répondent à la question :
+
 """
-        self.query_reformulate_system_prompt = """
+        self.query_reformulate_prompt = """
+{tag_system}
+Instructions :
+==============
+
 Vous êtes un interprète conversationnel pour une conversation entre un utilisateur et \
 un assistant IA spécialiste des produits et services de la Caisse d'Epargne Rhône-Alpes, \
 une banque régionale française.
-L'utilisateur vous posera une question sans contexte. \
+L'utilisateur vous posera une question sans contexte.
 Vous devez reformuler la question pour prendre en compte le contexte de la conversation.
 Vous devez supposer que la question est liée aux produits et services de la Caisse d'Epargne Rhône-Alpes.
-Vous devez également consulter l'historique de la conversation ci-dessous lorsque vous reformulez la question. \
+Vous devez également consulter l'historique de la conversation ci-dessous lorsque vous reformulez la question.
 Par exemple, vous remplacerez les pronoms par les noms les plus probables dans l'historique de la conversation.
 Lorsque vous reformulez la question, accordez plus d'importance à la dernière question et \
 à la dernière réponse dans l'historique des conversations.
@@ -53,33 +92,58 @@ de sorte que l'échange le plus récent se trouve en haut de la page.
 Répondez en seulement une phrase avec la question reformulée.
 
 Historique de la conversation :
+===============================
 
+{history}
+{tag_end}
+{tag_user}
+Reformulez la question suivante : "{query}"
+{tag_end}
+{tag_assistant}
+Question reformulée : "
 """
 
+        self.prefix_assistant_prompt = ''
         self.embed_model = SentenceTransformer(embed_model_name)
         self.chroma_client = chromadb.PersistentClient(path=chromadb_path)
         self.collection = self.chroma_client.get_collection(name=collection_name)
         self.llm = Llama(model_path=llm_model_path, n_gpu_layers=1, use_mlock=True, n_ctx=4096)
 
-    def answer(self, prompt, stream=False):
+    def answer(self, prompt, stream):
         response = self.llm(prompt = prompt,
             temperature = 0.1,
             mirostat_mode = 2,
             stream = stream,
             max_tokens = -1,
-            stop = ['</s>', '  8.', '\n\n', '<|user|>'])
+            stop = [self.tag_end, self.tag_user])
         if stream:
             return response
         else: return response["choices"][0]["text"]
 
     def query_collection(self, query, n_results=3):
-        query = 'query: ' + query
+        logging.info(f"query_collection / query: \n{query}")
+        if self.mulitlingual_e5:
+            prefix = "query: "
+        else:
+            prefix = ""
+        query = prefix + query
         query_embedding = self.embed_model.encode(query, normalize_embeddings=True)
         query_embedding = query_embedding.tolist()
         results = self.collection.query(
             query_embeddings=[query_embedding],
             n_results=n_results,
         )
+
+        ids_sources = ""
+        for i in range(len(results["documents"][0])):
+            id = results["ids"][0][i]
+            ids_sources += id + " ; "
+        logging.info(f"query_collection / sources: \n{ids_sources}")
+
+        self.urls = []
+        for i in range(len(results["documents"][0])):
+            self.urls.append(results["metadatas"][0][i]["url"])
+
         return results
     
     def format_passages(self, query_results):
@@ -107,70 +171,59 @@ Historique de la conversation :
         result = '\n'.join(result)
         return result
 
-    def format_rag_prompt(self, query, context="", history=""):
-        
-        user_query = f"Question de l'utilisateur : \n{query}\n\n"
-        assistant_answer = f"Réponse de l'assistant : \n 1. "
-        self.chat_history.append({'user': user_query, 'assistant': assistant_answer})
+    def answer_rag_prompt_streaming(self, prompt):
+        logging.info(f"answer_rag_prompt_streaming: \n{prompt}")
+        ans = self.answer(prompt, stream=True)
+        formated_urls = ''
+        for url in list(set(self.urls)):
+            formated_urls += f"* {url}\n"
 
-        system_prompt = self.rag_system_prompt.format(history=history, context=context)
-        
-        prompt = ""
-        prompt = f"<|system|>\n{system_prompt.strip()}</s>\n"
-        prompt += f"<|user|>\n{query}</s>\n"
-        prompt += f"<|assistant|>\n Voici des éléments de réponse : \n 1. "
-        
-        return prompt
-    
-    def remove_references(self, text):
-        motif = r"\(Passage \d+\)"
-        res = re.sub(motif, '', text)
-        return res
+        yield f"""
+### Réponse
+{self.prefix_assistant_prompt}
+"""
+        for item in ans:
+            item = item["choices"][0]["text"]
+            self.chat_history[-1]['assistant'] += item
+            yield item
+        yield f"""
+### Sources
+{formated_urls}
+"""
 
-    def answer_rag_prompt(self, query, query_results, stream=False):
-        
-        query_context = self.format_passages(query_results)
+    def answer_rag_prompt_non_streaming(self, prompt):
+        logging.info(f"answer_rag_prompt_non_streaming: \n{prompt}")
+        ans = self.answer(prompt, stream=False)
+
+        self.chat_history[-1]['assistant'] += ans
+        ans = self.prefix_assistant_prompt + ans
+        return ans
+
+    def prepare_prompt(self, query, query_results):
+        context = self.format_passages(query_results)
 
         history = ""
-        for i in reversed(range(len(self.chat_history))):
-            history += self.chat_history[i]["user"]
-            history += self.remove_references(self.chat_history[i]["assistant"])
-            history += "\n\n"
-        
-        prompt = self.format_rag_prompt(query, query_context, history)
+        for i in range(len(self.chat_history)):
+            history += f"<|user|>\n{self.chat_history[i]['user']}</s>\n"
+            history += f"<|assistant|>\n{self.chat_history[i]['assistant']}</s>\n"
 
-        logging.info(prompt)
-
-        ans = self.answer(prompt, stream)
-        if stream:
-            yield '  1. '
-            for item in ans:
-                item = item["choices"][0]["text"]
-                self.chat_history[-1]['assistant'] += item
-                yield item
-        else:
-            self.chat_history[-1]['assistant'] += ans
-            ans = '1. ' + ans
-            return ans
-    
-    def format_prompt_reformulate_query(self, query):
-        system_prompt = self.query_reformulate_system_prompt
-
-        for i in reversed(range(len(self.chat_history))):
-            system_prompt += self.chat_history[i]["user"]
-            system_prompt += self.chat_history[i]["assistant"]
+        self.chat_history.append({'user': query, 'assistant': self.prefix_assistant_prompt})
         
-        prompt = ""
-        prompt = f"<|system|>\n{system_prompt.strip()}</s>\n"
-        prompt += f"<|user|>\nPeux-tu reformuler la question suivante : \n \"{query}\"</s>\n"
-        prompt += f"<|assistant|> Question reformulée : \n\""
-        
-        return prompt
+        return self.rag_prompt.format(history=history, query=query, context=context,
+                                      tag_user=self.tag_user, tag_system=self.tag_system,
+                                      tag_assistant=self.tag_assistant, tag_end=self.tag_end)
     
     def reformulate_query(self, query):
-        prompt = self.format_prompt_reformulate_query(query)
-        logging.info(prompt)
-        ans = self.answer(prompt)
+        history = ""
+        for i in reversed(range(len(self.chat_history))):
+            history += f"Question de l'utilisateur :\n{self.chat_history[i]['user']}\n"
+            history += f"Réponse de l'assistant :\n{self.chat_history[i]['assistant']}\n"
+
+        prompt = self.query_reformulate_prompt.format(history=history, query=query,
+                                                      tag_user=self.tag_user, tag_system=self.tag_system,
+                                                      tag_assistant=self.tag_assistant, tag_end=self.tag_end)
+        logging.info(f"reformulate_query: \n{prompt}")
+        ans = self.answer(prompt, stream=False)
 
         last_quote_index = ans.rfind('"')
         if last_quote_index != -1:
@@ -183,11 +236,15 @@ Historique de la conversation :
             logging.info(f"La requête n'a pas pu être reformulée.")
             return query
     
-    def chat(self, query):
+    def chat(self, query, stream=True):
         if len(self.chat_history) > 0:
             query = self.reformulate_query(query)
         query_results = self.query_collection(query)
-        ans = self.answer_rag_prompt(query, query_results, stream=True)
+        prompt = self.prepare_prompt(query, query_results)
+        if stream:
+            ans = self.answer_rag_prompt_streaming(prompt)
+        else:
+            ans = self.answer_rag_prompt_non_streaming(prompt)
         return ans
     
     def reset_history(self):

rag_bm25.ipynb

@@ -0,0 +1,548 @@
+{
+ "cells": [
+  {
+   "cell_type": "code",
+   "execution_count": 1,
+   "id": "7290374f-d5b8-4670-b7fe-36a1293577ba",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from rank_bm25 import BM25Okapi\n",
+    "import chromadb"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 2,
+   "id": "617ec7ec-0f30-402d-8e45-dc1f762d1409",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "chromadb_path = './chromadb'\n",
+    "collection_name = 'cera'\n",
+    "chroma_client = chromadb.PersistentClient(path=chromadb_path)\n",
+    "collection = chroma_client.get_collection(name=collection_name)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 7,
+   "id": "021e4cfa-49d9-460f-9b43-1524c327e4c6",
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "dict_keys(['ids', 'embeddings', 'metadatas', 'documents', 'uris', 'data'])"
+      ]
+     },
+     "execution_count": 7,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "collection.get().keys()"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 8,
+   "id": "5ae7d104-f8f6-45ad-a2af-b8475e400262",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "docs = collection.get()['documents']"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 25,
+   "id": "96e8acca-e0dc-4dbd-9130-4f3ff64ba86a",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "ids = collection.get()['ids']"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 9,
+   "id": "536f29fa-9377-41a8-a9d4-a52ace99ed74",
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "2896"
+      ]
+     },
+     "execution_count": 9,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "len(docs)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 15,
+   "id": "8cf9b3e2-c960-4a88-8974-848611a4d5d7",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "docs_tokenized = [doc.replace(\"\\n\", \" \").split(\" \") for doc in docs]"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 16,
+   "id": "87085da2-edac-4e9c-8586-1139ac814dcd",
+   "metadata": {
+    "collapsed": true,
+    "jupyter": {
+     "outputs_hidden": true
+    }
+   },
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "['Le',\n",
+       " 'paiement',\n",
+       " 'sans',\n",
+       " 'contact',\n",
+       " '',\n",
+       " 'Les',\n",
+       " 'points',\n",
+       " 'clés',\n",
+       " '',\n",
+       " 'Pratique',\n",
+       " 'Plus',\n",
+       " 'besoin',\n",
+       " 'de',\n",
+       " 'chercher',\n",
+       " 'de',\n",
+       " 'la',\n",
+       " 'monnaie',\n",
+       " 'pour',\n",
+       " 'régler',\n",
+       " 'votre',\n",
+       " 'café,',\n",
+       " 'parking,',\n",
+       " 'repas,',\n",
+       " 'journal…',\n",
+       " 'Gratuit',\n",
+       " 'Cette',\n",
+       " 'fonctionnalité',\n",
+       " 'est',\n",
+       " 'ajoutée',\n",
+       " 'automatiquement',\n",
+       " 'et',\n",
+       " 'gratuitement',\n",
+       " 'à',\n",
+       " 'votre',\n",
+       " 'carte.',\n",
+       " 'Rapide',\n",
+       " 'Vous',\n",
+       " 'réglez',\n",
+       " 'votre',\n",
+       " 'achat',\n",
+       " 'd’un',\n",
+       " 'simple',\n",
+       " 'geste,',\n",
+       " 'sans',\n",
+       " 'insérer',\n",
+       " 'votre',\n",
+       " 'carte',\n",
+       " 'ni',\n",
+       " 'composer',\n",
+       " 'votre',\n",
+       " 'code',\n",
+       " 'confidentiel.']"
+      ]
+     },
+     "execution_count": 16,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "docs_tokenized[0]"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 17,
+   "id": "0ba5858d-9cdb-4159-a9ab-88b485a8991b",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "bm25_db = BM25Okapi(docs_tokenized)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 19,
+   "id": "c854970c-6e40-4209-9e02-a7e4cb9fb509",
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "<rank_bm25.BM25Okapi at 0x10c7be6d0>"
+      ]
+     },
+     "execution_count": 19,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "bm25_db"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 20,
+   "id": "61d10ce1-38fe-4d36-b8c6-1845c116b626",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "query = \"Comment procéder pour déclarer un sinistre Visa Premier ?\""
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 21,
+   "id": "8c362a7b-5d78-4ba5-be8f-165ca5e9e023",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "query_tokenized = query.split(\" \")\n",
+    "doc_scores = bm25_db.get_scores(query_tokenized)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 24,
+   "id": "99c5cc3d-5b30-478d-b3b8-c252dff6e1fc",
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "2896"
+      ]
+     },
+     "execution_count": 24,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "len(doc_scores)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 27,
+   "id": "e5c91dd9-ebda-42ba-9ac8-d7fec2be981e",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "ids_scores = dict(zip(ids, doc_scores))"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 30,
+   "id": "5865d7f6-f10d-4c08-873d-89ae60059008",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "sorted_ids_scores = sorted(ids_scores.items(), key=lambda x: x[1], reverse=True)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 31,
+   "id": "1964be5f-8ab7-437c-986c-d5ef8039748d",
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "{'d42d7174ce.html-1': 21.04962022219261,\n",
+       " '25dcc77e00.html-6': 18.00344127762922,\n",
+       " '19864d414b.html-1': 16.616167931951313}"
+      ]
+     },
+     "execution_count": 31,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "dict(sorted_ids_scores[:3])"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 34,
+   "id": "f0ff43ff-2cb1-47a7-aaaf-f9dbecd041ff",
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "{'ids': ['19864d414b.html-1', 'd42d7174ce.html-1', '25dcc77e00.html-6'],\n",
+       " 'embeddings': None,\n",
+       " 'metadatas': [{'category': 'professionnels',\n",
+       "   'url': 'https://www.caisse-epargne.fr/rhone-alpes/professionnels/proteger-moi-mon-activite/numeros-utiles-contrat-assurance/'},\n",
+       "  {'category': 'assurer',\n",
+       "   'url': 'https://www.caisse-epargne.fr/rhone-alpes/assurer/declaration-sinistre-intemperies/'},\n",
+       "  {'category': 'comptes-cartes',\n",
+       "   'url': 'https://www.caisse-epargne.fr/rhone-alpes/comptes-cartes/carte-visa-premier/'}],\n",
+       " 'documents': ['Numéros Utiles Contrat Assurance Professionnel\\n\\nVotre contrat Assurance Multirisque Professionnelle ou Assurance Auto des Professionnels\\n\\nUn numéro unique et non surtaxé est mis à votre disposition pour déclarer un sinistre ou mettre à jour votre contrat.Appelez-le\\xa0:\\nPour nous contacter par mail\\xa0:• Contrat Assurance Multirisque Professionnelle\\xa0:service-client.ird@aismail.fr• Contrat Assurance Auto des Professionnels\\xa0: service-client.auto@aismail.fr\\n',\n",
+       "  'Intempéries, déclarer son sinistre en ligne !\\n\\nEn bref\\n\\nDécouvrez comment déclarer votre sinistre en ligne\\nLes conseils en cas de sinistre\\nTout savoir sur l’indemnisation\\nEn cas d’événement climatique, le besoin d’assistance ou de prise en charge est immédiat\\xa0!C’est pourquoi la Caisse d’Epargne vous facilite la déclaration de sinistre grâce à votre espace personnel internet. Si vous êtes détenteur d’un contrat d’assurance habitation ou automobile, il vous suffit de vous connecter à votre espace personnel et de procéder à la déclaration en ligne.',\n",
+       "  'Carte Visa Premier\\n\\nEt si vous optiez pour la carte Visa Premier Izicarte associée à votre crédit renouvelable ?\\n\\nVotre carte Visa Premier Izicarte vous permet de disposer d’un crédit renouvelable pour faire face à des imprévus ou saisir des opportunités sans perdre de temps.\\nVous choisissez librement le mode de règlement que vous souhaitez :\\nAu comptant : par débit de votre compte de dépôt ;\\nÀ crédit, dans la limite du montant disponible sur votre crédit renouvelable.\\nGrâce à votre crédit renouvelable associé à votre carte Visa Premier Izicarte, vous pouvez étaler en plusieurs fois vos dépenses à crédit et choisir votre rythme de remboursement.\\nUn crédit vous engage et doit être remboursé. Vérifiez vos capacités de remboursement avant de vous engager.'],\n",
+       " 'uris': None,\n",
+       " 'data': None}"
+      ]
+     },
+     "execution_count": 34,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "collection.get(ids=['d42d7174ce.html-1', '25dcc77e00.html-6', '19864d414b.html-1'])"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 35,
+   "id": "11a9a24e-3928-4b0b-85fe-d9c406fa80ed",
+   "metadata": {
+    "collapsed": true,
+    "jupyter": {
+     "outputs_hidden": true
+    }
+   },
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "Carte Visa Premier\n",
+      "\n",
+      "Les points clés\n",
+      "\n",
+      "Innovation Paiement sans contact(1) et paiement mobile compatible(2).\n",
+      "Garanties d’Assurances et Assistance(3) Vous vous protégez ainsi que votre famille lors de vos déplacements en France et à l’étranger.\n",
+      "Plafonds élevés Bénéficiez de souplesse grâce à des plafonds de paiement et retraits supérieurs à ceux d’une Visa Classic.\n",
+      "\n",
+      "----------\n",
+      "\n",
+      "Carte Visa Premier\n",
+      "\n",
+      "Carte Visa Premier, toujours à vos côtés\n",
+      "\n",
+      "Carte de paiement et de retrait utilisable en France et à l’étranger ;\n",
+      "Des plafonds de paiement et de retrait élevés ;\n",
+      "Des Garanties d’Assurances et d’Assistance incluses pour vous protéger, vous et votre famille, lors de vos déplacements en France et à l’étranger (une couverture assurances et assistance médicale dès que vous être à plus de 100kms de votre domicile);– Exemples de garanties :En voyage : modification ou annulation de voyage, responsabilité civile, rapatriement en cas de maladie ou d’accident, remboursement des frais médicaux à l’étranger, etc.Au ski : remboursement des frais médicaux en France, forfait et cours de ski non utilisésAvec un véhicule de location : accident ou volEn avion ou en train : perte, vol ou détérioration de bagages, etc.\n",
+      "Un service de dépannage cash sous 48h à l’étranger ;\n",
+      "Un retard ou une annulation de votre vol ? Votre accès à bord vous est refusé pour cause de surbooking ? AirRefund (partenaire de Visa), gère à votre place la demande d’indemnisation auprès de la compagnie aérienne. S’ajoute à l’indemnité de retard, le remboursement des frais engagés durant l’attente (repas, transferts, hôtels…)\n",
+      "Un service de mise en opposition de la carte 24h/24 et 7j/7, en cas de perte, de vol ou d’utilisation frauduleuse de la carte ;\n",
+      "\n",
+      "----------\n",
+      "\n",
+      "Carte Visa Premier\n",
+      "\n",
+      "Bénéficiez d’avantages supplémentaires\n",
+      "\n",
+      "Fonctionne en Sans Contact ;\n",
+      "Compatible paiement mobile ;\n",
+      "Choix possible entre débit différé ou débit immédiat ;\n",
+      "Disponible avec un crédit avec la carte Visa Premier Izicarte associée au crédit renouvelable.\n",
+      "Les paiements par carte sont rassemblés, et débités en une seule fois tous les mois à date fixe: c’est l’encours des paiements par carte. Le suivi de cet encours peut se faire à tout moment via la banque à distance (internet et mobile) et permet d’anticiper la provision nécessaire sur le compte.\n",
+      "Le débit différé peut permettre une gestion mensuelle de son budget différente de celle en débit immédiat, puisque la trésorerie disponible sur le compte n’est affectée des paiements par carte qu’une fois par mois.\n",
+      "\n",
+      "Il est ainsi possible de gérer différemment les frais qui seront remboursés (frais médicaux, frais professionnels … ), ainsi que les dépenses importantes.\n",
+      "Certaines agences de location de voiture à l’étranger préfèrent les cartes avec la mention « crédit », aux cartes marquées uniquement « débit ». Les cartes à débit différé comportent la mention « crédit ».\n",
+      "\n",
+      "----------\n",
+      "\n",
+      "Carte Visa Premier\n",
+      "\n",
+      "Profitez des avantages Visa Premier(10)\n",
+      "\n",
+      "Pour en savoir plus sur les avantages dédiés aux porteurs de la carte Visa Premier, rendez-vous sur le site www.visa.fr et inscrivez-vous à la newsletter.\n",
+      "\n",
+      "----------\n",
+      "\n",
+      "Carte Visa Premier\n",
+      "\n",
+      "Bénéficiez de la garantie achat(11)\n",
+      "\n",
+      "Tous les achats réglés avec votre carte Visa Premier sont protégés contre la détérioration et le vol avec effraction ou par agression.La couverture s’élève au maximum à la valeur d’achat du bien.\n",
+      "Valeur du bien : entre 75 € et 800 € TTC.\n",
+      "Nombre de jours couverts (post acquisition/livraison) : 7 jours.\n",
+      "Plafond de la garantie : 800 euros TTC par objet et 1 600 euros par an.\n",
+      "\n",
+      "----------\n",
+      "\n",
+      "Carte Visa Premier\n",
+      "\n",
+      "Et si vous optiez pour la carte Visa Premier Izicarte associée à votre crédit renouvelable ?\n",
+      "\n",
+      "Votre carte Visa Premier Izicarte vous permet de disposer d’un crédit renouvelable pour faire face à des imprévus ou saisir des opportunités sans perdre de temps.\n",
+      "Vous choisissez librement le mode de règlement que vous souhaitez :\n",
+      "Au comptant : par débit de votre compte de dépôt ;\n",
+      "À crédit, dans la limite du montant disponible sur votre crédit renouvelable.\n",
+      "Grâce à votre crédit renouvelable associé à votre carte Visa Premier Izicarte, vous pouvez étaler en plusieurs fois vos dépenses à crédit et choisir votre rythme de remboursement.\n",
+      "Un crédit vous engage et doit être remboursé. Vérifiez vos capacités de remboursement avant de vous engager.\n",
+      "\n",
+      "----------\n",
+      "\n",
+      "Carte Visa Premier\n",
+      "\n",
+      "L’Extension de Garantie Constructeur(11) (12)\n",
+      "\n",
+      "Une garantie constructeur allongée\n",
+      "Avec votre carte Visa Premier Izicarte, vous bénéficiez en cas de panne d’une extension de garantie constructeur supplémentaire de 3 ans, sur les appareils électrodomestiques et produits nomades achetés neufs(11) (12)  (électroménager, audiovisuel, pocket/image, informatique).\n",
+      "\n",
+      "----------\n",
+      "\n",
+      "Carte Visa Premier\n",
+      "\n",
+      "Gérez votre carte bancaire depuis l’application Caisse d’Epargne Rhône Alpes\n",
+      "\n",
+      "Gérez vos plafonds ;\n",
+      "Verrouillez temporairement/déverrouillez votre carte ;\n",
+      "Activez/désactivez les paiements et retraits à distance et/ou à l’étranger ;\n",
+      "Faites opposition 24h/24-7j/7 en cas de perte, de vol ou d’utilisation frauduleuse de votre carte.\n",
+      "\n",
+      "----------\n",
+      "\n"
+     ]
+    }
+   ],
+   "source": [
+    "nb_passage = 1\n",
+    "while True:\n",
+    "    id = \"25dcc77e00.html-\" + str(nb_passage)\n",
+    "    passages = collection.get(ids=[id])\n",
+    "    if len(passages['documents']) > 0:\n",
+    "        print(passages['documents'][0])\n",
+    "        print(\"\\n----------\\n\")\n",
+    "        nb_passage += 1\n",
+    "    else:\n",
+    "        break"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 52,
+   "id": "427a2fa0-0f47-4571-94d8-3878ca034de4",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "query = \"Quel est le risque de perte en capital pour un sociétaire ?\"\n",
+    "query_tokenized = query.split(\" \")\n",
+    "doc_scores = bm25_db.get_scores(query_tokenized)\n",
+    "ids_scores = dict(zip(ids, doc_scores))\n",
+    "sorted_ids_scores = sorted(ids_scores.items(), key=lambda x: x[1], reverse=True)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 53,
+   "id": "5251aa60-3831-416f-a7c6-f824c308587e",
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "[('f6d921ced8.html-3', 29.446670121305353),\n",
+       " ('ff83960e9d.html-1', 24.88880087849239),\n",
+       " ('ecb10d12cf.html-2', 24.206423694569803),\n",
+       " ('f753c94bb4.html-1', 24.009169917059968),\n",
+       " ('dbdc338e94.html-7', 23.845667609823003),\n",
+       " ('f66629c8b6.html-2', 23.779561367699497),\n",
+       " ('9b9d084514.html-2', 23.770317569985096),\n",
+       " ('6123ccc4f8.html-6', 23.732579312988157),\n",
+       " ('c145d2aa96.html-4', 23.48215739435705),\n",
+       " ('286a391488.html-2', 23.443469979811134)]"
+      ]
+     },
+     "execution_count": 53,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "sorted_ids_scores[:10]"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 51,
+   "id": "b16129c2-e3fa-41ca-a60f-b5f596ede1f0",
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "{'ids': ['f6d921ced8.html-3'],\n",
+       " 'embeddings': None,\n",
+       " 'metadatas': [{'category': 'votre-banque',\n",
+       "   'url': 'https://www.caisse-epargne.fr/rhone-alpes/votre-banque/nos-engagements/etre-societaire/'}],\n",
+       " 'documents': ['Devenez sociétaire !\\n\\nQui peut devenir sociétaire ?\\n\\nSi vous souhaitez que la SLE rachète vos parts sociales, votre demande, soumise à l’autorisation du conseil d’administration de la SLE, doit être formulée avant le 31 mai, date de clôture de l’exercice. De ce fait, aucune assurance ne peut être donnée quant à la liquidité des parts sociales.\\n\\nPar ailleurs, les rachats de parts sociales sont subordonnés au respect du capital minimum en deçà duquel la SLE ne peut descendre. En conséquence, les sociétaires doivent être conscients qu’ils pourraient ne pas être en mesure de céder facilement leurs parts sociales.\\n\\nLe remboursement effectif, qu’il soit consécutif à la perte de la qualité de sociétaire ou à une demande de rachat, intervient le 1er jour ouvré du nouvel exercice ou dans un délai maximum de 3 mois suivant la demande pour les cas dérogatoires suivants :\\n\\n– Pour un particulier : changement de foyer fiscal, décès, divorce, invalidité, licenciement, départ à la retraite ou préretraite, transfert du domicile à l’étranger, déménagement hors du ressort territorial de la Caisse d’Epargne d’affiliation, redressement judiciaire du sociétaire, de clôture d’un livret A lorsque le client ne détient pas d’autres produits et tout évènement exceptionnel revêtant une gravité telle qu’elle contraigne le sociétaire à liquider tout ou partie de ses parts.\\n\\n– Pour une personne morale : redressement judiciaire, liquidation ou dissolution.\\n\\nLes parts sociales sont remboursées à leur valeur nominale sous réserve du risque investisseur (cf. paragraphe « Responsabilité – risque de perte en capital »)\\nVotre responsabilité d’investisseur est limitée au niveau de votre investissement. Le risque investisseur (risque de perte en capital) porte sur le Groupe BPCE et non sur la SLE ou la Caisse d’Epargne (du fait du mécanisme de solidarité interne au Groupe BPCE).\\n\\nLes parts sociales demeurent des instruments risqués. Votre responsabilité, limitée au montant de l’apport, est engagée jusqu’à 5 ans après le retrait. Il existe un risque de perte en capital en cas de défaut ou de faillite de la Caisse d’Epargne ou de mise en œuvre de mesures de résolution au sein du Groupe BPCE. Les parts sociales ne sont pas éligibles au mécanisme de garantie des investisseurs ou de garantie des déposants et leur rémunération n’est pas garantie.'],\n",
+       " 'uris': None,\n",
+       " 'data': None}"
+      ]
+     },
+     "execution_count": 51,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "collection.get(ids=['f6d921ced8.html-3'])"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "d5b1969b-6b87-40c9-8a69-ef4dc1c14c30",
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "RAG_ENV",
+   "language": "python",
+   "name": "rag_env"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.9.18"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 5
+}

rag_fr_3.ipynb

@@ -22,9 +22,7 @@
   {
    "cell_type": "markdown",
    "id": "54a9d312-b39b-45f8-9529-57a142b6f6fc",
-   "metadata": {
-    "jp-MarkdownHeadingCollapsed": true
-   },
+   "metadata": {},
    "source": [
     "# Embed a folder of CERA webpages in txt format"
    ]

rag_fr_chat.ipynb

@@ -2,10 +2,21 @@
  "cells": [
   {
    "cell_type": "code",
-   "execution_count": null,
+   "execution_count": 1,
    "id": "612c8bdb-83a8-4882-96a5-513ac7aedd7b",
    "metadata": {},
-   "outputs": [],
+   "outputs": [
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "/Users/peportier/miniforge3/envs/RAG_ENV/lib/python3.9/site-packages/tqdm/auto.py:21: TqdmWarning: IProgress not found. Please update jupyter and ipywidgets. See https://ipywidgets.readthedocs.io/en/stable/user_install.html\n",
+      "  from .autonotebook import tqdm as notebook_tqdm\n",
+      "/Users/peportier/miniforge3/envs/RAG_ENV/lib/python3.9/site-packages/transformers/utils/generic.py:441: UserWarning: torch.utils._pytree._register_pytree_node is deprecated. Please use torch.utils._pytree.register_pytree_node instead.\n",
+      "  _torch_pytree._register_pytree_node(\n"
+     ]
+    }
+   ],
    "source": [
     "import importlib\n",
     "import rag\n",
@@ -16,10 +27,400 @@
   },
   {
    "cell_type": "code",
-   "execution_count": null,
+   "execution_count": 2,
    "id": "98130049-a4de-4532-8454-3df1a13094e7",
-   "metadata": {},
-   "outputs": [],
+   "metadata": {
+    "collapsed": true,
+    "jupyter": {
+     "outputs_hidden": true
+    }
+   },
+   "outputs": [
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "2024-01-04 09:15:27,599 - INFO - Load pretrained SentenceTransformer: intfloat/multilingual-e5-large\n",
+      "/Users/peportier/miniforge3/envs/RAG_ENV/lib/python3.9/site-packages/transformers/utils/generic.py:309: UserWarning: torch.utils._pytree._register_pytree_node is deprecated. Please use torch.utils._pytree.register_pytree_node instead.\n",
+      "  _torch_pytree._register_pytree_node(\n",
+      "2024-01-04 09:15:31,253 - INFO - Use pytorch device: cpu\n",
+      "2024-01-04 09:15:31,257 - INFO - Anonymized telemetry enabled. See                     https://docs.trychroma.com/telemetry for more information.\n",
+      "llama_model_loader: loaded meta data with 21 key-value pairs and 291 tensors from /Users/peportier/llm/a/a/zephyr-7b-beta.Q5_K_M.gguf (version GGUF V3 (latest))\n",
+      "llama_model_loader: - tensor    0:                token_embd.weight q5_K     [  4096, 32000,     1,     1 ]\n",
+      "llama_model_loader: - tensor    1:           blk.0.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor    2:            blk.0.ffn_down.weight q6_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor    3:            blk.0.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor    4:              blk.0.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor    5:            blk.0.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor    6:              blk.0.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor    7:         blk.0.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor    8:              blk.0.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor    9:              blk.0.attn_v.weight q6_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor   10:           blk.1.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor   11:            blk.1.ffn_down.weight q6_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   12:            blk.1.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor   13:              blk.1.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor   14:            blk.1.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor   15:              blk.1.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor   16:         blk.1.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   17:              blk.1.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   18:              blk.1.attn_v.weight q6_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor   19:           blk.2.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor   20:            blk.2.ffn_down.weight q6_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   21:            blk.2.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor   22:              blk.2.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor   23:            blk.2.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor   24:              blk.2.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor   25:         blk.2.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   26:              blk.2.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   27:              blk.2.attn_v.weight q6_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor   28:            blk.3.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor   29:              blk.3.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor   30:              blk.3.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor   31:         blk.3.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   32:              blk.3.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   33:              blk.3.attn_v.weight q6_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor   34:           blk.3.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor   35:            blk.3.ffn_down.weight q6_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   36:            blk.3.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor   37:           blk.4.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor   38:            blk.4.ffn_down.weight q5_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   39:            blk.4.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor   40:              blk.4.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor   41:            blk.4.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor   42:              blk.4.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor   43:         blk.4.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   44:              blk.4.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   45:              blk.4.attn_v.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor   46:           blk.5.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor   47:            blk.5.ffn_down.weight q5_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   48:            blk.5.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor   49:              blk.5.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor   50:            blk.5.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor   51:              blk.5.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor   52:         blk.5.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   53:              blk.5.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   54:              blk.5.attn_v.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor   55:           blk.6.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor   56:            blk.6.ffn_down.weight q6_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   57:            blk.6.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor   58:              blk.6.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor   59:            blk.6.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor   60:              blk.6.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor   61:         blk.6.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   62:              blk.6.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   63:              blk.6.attn_v.weight q6_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor   64:           blk.7.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor   65:            blk.7.ffn_down.weight q5_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   66:            blk.7.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor   67:              blk.7.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor   68:            blk.7.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor   69:              blk.7.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor   70:         blk.7.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   71:              blk.7.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   72:              blk.7.attn_v.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor   73:              blk.8.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor   74:         blk.8.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   75:              blk.8.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   76:              blk.8.attn_v.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor   77:          blk.10.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor   78:           blk.10.ffn_down.weight q5_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   79:           blk.10.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor   80:             blk.10.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor   81:           blk.10.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor   82:             blk.10.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor   83:        blk.10.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   84:             blk.10.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   85:             blk.10.attn_v.weight q6_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor   86:          blk.11.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor   87:           blk.11.ffn_down.weight q6_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   88:           blk.11.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor   89:             blk.11.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor   90:           blk.11.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor   91:             blk.11.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor   92:        blk.11.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   93:             blk.11.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   94:             blk.11.attn_v.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor   95:           blk.12.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor   96:             blk.12.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor   97:             blk.12.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor   98:        blk.12.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor   99:             blk.12.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  100:             blk.12.attn_v.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  101:           blk.8.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  102:            blk.8.ffn_down.weight q5_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  103:            blk.8.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  104:              blk.8.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  105:            blk.8.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  106:           blk.9.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  107:            blk.9.ffn_down.weight q5_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  108:            blk.9.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  109:              blk.9.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  110:            blk.9.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  111:              blk.9.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  112:         blk.9.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  113:              blk.9.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  114:              blk.9.attn_v.weight q6_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  115:          blk.12.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  116:           blk.12.ffn_down.weight q6_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  117:           blk.12.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  118:          blk.13.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  119:           blk.13.ffn_down.weight q5_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  120:           blk.13.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  121:             blk.13.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  122:           blk.13.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  123:             blk.13.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  124:        blk.13.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  125:             blk.13.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  126:             blk.13.attn_v.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  127:          blk.14.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  128:           blk.14.ffn_down.weight q5_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  129:           blk.14.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  130:             blk.14.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  131:           blk.14.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  132:             blk.14.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  133:        blk.14.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  134:             blk.14.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  135:             blk.14.attn_v.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  136:          blk.15.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  137:           blk.15.ffn_down.weight q6_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  138:           blk.15.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  139:             blk.15.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  140:           blk.15.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  141:             blk.15.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  142:        blk.15.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  143:             blk.15.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  144:             blk.15.attn_v.weight q6_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  145:          blk.16.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  146:           blk.16.ffn_down.weight q5_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  147:           blk.16.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  148:             blk.16.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  149:           blk.16.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  150:             blk.16.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  151:        blk.16.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  152:             blk.16.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  153:             blk.16.attn_v.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  154:             blk.17.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  155:        blk.17.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  156:             blk.17.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  157:             blk.17.attn_v.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  158:          blk.17.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  159:           blk.17.ffn_down.weight q5_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  160:           blk.17.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  161:             blk.17.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  162:           blk.17.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  163:          blk.18.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  164:           blk.18.ffn_down.weight q6_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  165:           blk.18.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  166:             blk.18.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  167:           blk.18.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  168:             blk.18.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  169:        blk.18.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  170:             blk.18.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  171:             blk.18.attn_v.weight q6_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  172:          blk.19.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  173:           blk.19.ffn_down.weight q5_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  174:           blk.19.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  175:             blk.19.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  176:           blk.19.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  177:             blk.19.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  178:        blk.19.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  179:             blk.19.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  180:             blk.19.attn_v.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  181:          blk.20.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  182:           blk.20.ffn_down.weight q5_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  183:           blk.20.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  184:             blk.20.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  185:           blk.20.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  186:             blk.20.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  187:        blk.20.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  188:             blk.20.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  189:             blk.20.attn_v.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  190:           blk.21.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  191:             blk.21.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  192:             blk.21.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  193:        blk.21.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  194:             blk.21.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  195:             blk.21.attn_v.weight q6_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  196:          blk.21.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  197:           blk.21.ffn_down.weight q6_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  198:           blk.21.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  199:          blk.22.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  200:           blk.22.ffn_down.weight q5_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  201:           blk.22.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  202:             blk.22.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  203:           blk.22.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  204:             blk.22.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  205:        blk.22.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  206:             blk.22.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  207:             blk.22.attn_v.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  208:          blk.23.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  209:           blk.23.ffn_down.weight q5_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  210:           blk.23.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  211:             blk.23.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  212:           blk.23.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  213:             blk.23.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  214:        blk.23.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  215:             blk.23.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  216:             blk.23.attn_v.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  217:          blk.24.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  218:           blk.24.ffn_down.weight q6_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  219:           blk.24.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  220:             blk.24.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  221:           blk.24.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  222:             blk.24.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  223:        blk.24.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  224:             blk.24.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  225:             blk.24.attn_v.weight q6_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  226:          blk.25.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  227:           blk.25.ffn_down.weight q5_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  228:           blk.25.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  229:             blk.25.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  230:           blk.25.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  231:             blk.25.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  232:        blk.25.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  233:             blk.25.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  234:             blk.25.attn_v.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  235:             blk.26.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  236:        blk.26.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  237:             blk.26.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  238:             blk.26.attn_v.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  239:          blk.26.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  240:           blk.26.ffn_down.weight q5_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  241:           blk.26.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  242:             blk.26.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  243:           blk.26.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  244:          blk.27.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  245:           blk.27.ffn_down.weight q6_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  246:           blk.27.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  247:             blk.27.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  248:           blk.27.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  249:             blk.27.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  250:        blk.27.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  251:             blk.27.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  252:             blk.27.attn_v.weight q6_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  253:          blk.28.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  254:           blk.28.ffn_down.weight q6_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  255:           blk.28.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  256:             blk.28.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  257:           blk.28.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  258:             blk.28.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  259:        blk.28.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  260:             blk.28.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  261:             blk.28.attn_v.weight q6_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  262:          blk.29.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  263:           blk.29.ffn_down.weight q6_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  264:           blk.29.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  265:             blk.29.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  266:           blk.29.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  267:             blk.29.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  268:        blk.29.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  269:             blk.29.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  270:             blk.29.attn_v.weight q6_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  271:           blk.30.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  272:             blk.30.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  273:             blk.30.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  274:        blk.30.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  275:             blk.30.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  276:             blk.30.attn_v.weight q6_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  277:                    output.weight q6_K     [  4096, 32000,     1,     1 ]\n",
+      "llama_model_loader: - tensor  278:          blk.30.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  279:           blk.30.ffn_down.weight q6_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  280:           blk.30.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  281:          blk.31.attn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  282:           blk.31.ffn_down.weight q6_K     [ 14336,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  283:           blk.31.ffn_gate.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  284:             blk.31.ffn_up.weight q5_K     [  4096, 14336,     1,     1 ]\n",
+      "llama_model_loader: - tensor  285:           blk.31.ffn_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - tensor  286:             blk.31.attn_k.weight q5_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  287:        blk.31.attn_output.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  288:             blk.31.attn_q.weight q5_K     [  4096,  4096,     1,     1 ]\n",
+      "llama_model_loader: - tensor  289:             blk.31.attn_v.weight q6_K     [  4096,  1024,     1,     1 ]\n",
+      "llama_model_loader: - tensor  290:               output_norm.weight f32      [  4096,     1,     1,     1 ]\n",
+      "llama_model_loader: - kv   0:                       general.architecture str              = llama\n",
+      "llama_model_loader: - kv   1:                               general.name str              = huggingfaceh4_zephyr-7b-beta\n",
+      "llama_model_loader: - kv   2:                       llama.context_length u32              = 32768\n",
+      "llama_model_loader: - kv   3:                     llama.embedding_length u32              = 4096\n",
+      "llama_model_loader: - kv   4:                          llama.block_count u32              = 32\n",
+      "llama_model_loader: - kv   5:                  llama.feed_forward_length u32              = 14336\n",
+      "llama_model_loader: - kv   6:                 llama.rope.dimension_count u32              = 128\n",
+      "llama_model_loader: - kv   7:                 llama.attention.head_count u32              = 32\n",
+      "llama_model_loader: - kv   8:              llama.attention.head_count_kv u32              = 8\n",
+      "llama_model_loader: - kv   9:     llama.attention.layer_norm_rms_epsilon f32              = 0.000010\n",
+      "llama_model_loader: - kv  10:                       llama.rope.freq_base f32              = 10000.000000\n",
+      "llama_model_loader: - kv  11:                          general.file_type u32              = 17\n",
+      "llama_model_loader: - kv  12:                       tokenizer.ggml.model str              = llama\n",
+      "llama_model_loader: - kv  13:                      tokenizer.ggml.tokens arr[str,32000]   = [\"<unk>\", \"<s>\", \"</s>\", \"<0x00>\", \"<...\n",
+      "llama_model_loader: - kv  14:                      tokenizer.ggml.scores arr[f32,32000]   = [0.000000, 0.000000, 0.000000, 0.0000...\n",
+      "llama_model_loader: - kv  15:                  tokenizer.ggml.token_type arr[i32,32000]   = [2, 3, 3, 6, 6, 6, 6, 6, 6, 6, 6, 6, ...\n",
+      "llama_model_loader: - kv  16:                tokenizer.ggml.bos_token_id u32              = 1\n",
+      "llama_model_loader: - kv  17:                tokenizer.ggml.eos_token_id u32              = 2\n",
+      "llama_model_loader: - kv  18:            tokenizer.ggml.unknown_token_id u32              = 0\n",
+      "llama_model_loader: - kv  19:            tokenizer.ggml.padding_token_id u32              = 2\n",
+      "llama_model_loader: - kv  20:               general.quantization_version u32              = 2\n",
+      "llama_model_loader: - type  f32:   65 tensors\n",
+      "llama_model_loader: - type q5_K:  193 tensors\n",
+      "llama_model_loader: - type q6_K:   33 tensors\n",
+      "llm_load_vocab: special tokens definition check successful ( 259/32000 ).\n",
+      "llm_load_print_meta: format           = GGUF V3 (latest)\n",
+      "llm_load_print_meta: arch             = llama\n",
+      "llm_load_print_meta: vocab type       = SPM\n",
+      "llm_load_print_meta: n_vocab          = 32000\n",
+      "llm_load_print_meta: n_merges         = 0\n",
+      "llm_load_print_meta: n_ctx_train      = 32768\n",
+      "llm_load_print_meta: n_embd           = 4096\n",
+      "llm_load_print_meta: n_head           = 32\n",
+      "llm_load_print_meta: n_head_kv        = 8\n",
+      "llm_load_print_meta: n_layer          = 32\n",
+      "llm_load_print_meta: n_rot            = 128\n",
+      "llm_load_print_meta: n_gqa            = 4\n",
+      "llm_load_print_meta: f_norm_eps       = 0.0e+00\n",
+      "llm_load_print_meta: f_norm_rms_eps   = 1.0e-05\n",
+      "llm_load_print_meta: f_clamp_kqv      = 0.0e+00\n",
+      "llm_load_print_meta: f_max_alibi_bias = 0.0e+00\n",
+      "llm_load_print_meta: n_ff             = 14336\n",
+      "llm_load_print_meta: rope scaling     = linear\n",
+      "llm_load_print_meta: freq_base_train  = 10000.0\n",
+      "llm_load_print_meta: freq_scale_train = 1\n",
+      "llm_load_print_meta: n_yarn_orig_ctx  = 32768\n",
+      "llm_load_print_meta: rope_finetuned   = unknown\n",
+      "llm_load_print_meta: model type       = 7B\n",
+      "llm_load_print_meta: model ftype      = mostly Q5_K - Medium\n",
+      "llm_load_print_meta: model params     = 7.24 B\n",
+      "llm_load_print_meta: model size       = 4.78 GiB (5.67 BPW) \n",
+      "llm_load_print_meta: general.name   = huggingfaceh4_zephyr-7b-beta\n",
+      "llm_load_print_meta: BOS token = 1 '<s>'\n",
+      "llm_load_print_meta: EOS token = 2 '</s>'\n",
+      "llm_load_print_meta: UNK token = 0 '<unk>'\n",
+      "llm_load_print_meta: PAD token = 2 '</s>'\n",
+      "llm_load_print_meta: LF token  = 13 '<0x0A>'\n",
+      "llm_load_tensors: ggml ctx size =    0.11 MiB\n",
+      "llm_load_tensors: mem required  = 4893.10 MiB\n",
+      "...................................................................................................\n",
+      "llama_new_context_with_model: n_ctx      = 4096\n",
+      "llama_new_context_with_model: freq_base  = 10000.0\n",
+      "llama_new_context_with_model: freq_scale = 1\n",
+      "llama_new_context_with_model: kv self size  =  512.00 MiB\n",
+      "llama_build_graph: non-view tensors processed: 740/740\n",
+      "ggml_metal_init: allocating\n",
+      "ggml_metal_init: found device: Apple M2 Max\n",
+      "ggml_metal_init: picking default device: Apple M2 Max\n",
+      "ggml_metal_init: default.metallib not found, loading from source\n",
+      "ggml_metal_init: loading '/Users/peportier/miniforge3/envs/RAG_ENV/lib/python3.9/site-packages/llama_cpp/ggml-metal.metal'\n",
+      "ggml_metal_init: GPU name:   Apple M2 Max\n",
+      "ggml_metal_init: GPU family: MTLGPUFamilyApple8 (1008)\n",
+      "ggml_metal_init: hasUnifiedMemory              = true\n",
+      "ggml_metal_init: recommendedMaxWorkingSetSize  = 49152.00 MiB\n",
+      "ggml_metal_init: maxTransferRate               = built-in GPU\n",
+      "llama_new_context_with_model: compute buffer total size = 291.07 MiB\n",
+      "llama_new_context_with_model: max tensor size =   102.54 MiB\n",
+      "ggml_metal_add_buffer: allocated 'data            ' buffer, size =  4893.70 MiB, ( 4894.33 / 49152.00)\n",
+      "ggml_metal_add_buffer: allocated 'kv              ' buffer, size =   512.02 MiB, ( 5406.34 / 49152.00)\n",
+      "ggml_metal_add_buffer: allocated 'alloc           ' buffer, size =   288.02 MiB, ( 5694.36 / 49152.00)\n",
+      "AVX = 0 | AVX2 = 0 | AVX512 = 0 | AVX512_VBMI = 0 | AVX512_VNNI = 0 | FMA = 0 | NEON = 1 | ARM_FMA = 1 | F16C = 0 | FP16_VA = 1 | WASM_SIMD = 0 | BLAS = 1 | SSE3 = 0 | SSSE3 = 0 | VSX = 0 | \n"
+     ]
+    }
+   ],
    "source": [
     "llm_model_path = '/Users/peportier/llm/a/a/zephyr-7b-beta.Q5_K_M.gguf'\n",
     "embed_model_name = 'intfloat/multilingual-e5-large'\n",
@@ -29,6 +430,35 @@
     "rag = RAG(llm_model_path, embed_model_name, collection_name, chromadb_path)"
    ]
   },
+  {
+   "cell_type": "code",
+   "execution_count": 3,
+   "id": "b12ed9e5-cacc-4f9b-a6b9-38ccda00764f",
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "Batches: 100%|████████████████████████████████████| 1/1 [00:00<00:00,  2.19it/s]\n"
+     ]
+    }
+   ],
+   "source": [
+    "query1 = \"Comment la Caisse d'Epargne Rhône-Alpes peut-elle aider une entreprise qui rencontre des problèmes de trésorerie ?\"\n",
+    "res1 = rag.chat(query1, stream=False)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "086aef56-223f-4d3b-a1f0-9d251095e9f9",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "res1"
+   ]
+  },
   {
    "cell_type": "code",
    "execution_count": null,

rag_fr_chroma.ipynb

@@ -0,0 +1,338 @@
+{
+ "cells": [
+  {
+   "cell_type": "code",
+   "execution_count": 1,
+   "id": "9659df5b-f71a-4594-8f08-44af62ce0056",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "import chromadb\n",
+    "import numpy as np"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 2,
+   "id": "aad1a570-a5d6-482b-a683-b77d1ae126cc",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "chromadb_path = './chromadb'\n",
+    "collection_name = 'cera'\n",
+    "chroma_client = chromadb.PersistentClient(path=chromadb_path)\n",
+    "collection = chroma_client.get_collection(name=collection_name)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 4,
+   "id": "77c80131-ad2d-423e-a936-e548a4982d1f",
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stdout",
+     "output_type": "stream",
+     "text": [
+      "passage: Devenez sociétaire !\n",
+      "\n",
+      "Devenez sociétaire !\n",
+      "\n",
+      "En chiffre\t\t\t\n",
+      "\n",
+      "\n",
+      "\t\t\t\t\t4,5 millions\t\t\t\t\t\n",
+      "\n",
+      "\n",
+      "\t\t\t\t\tC’est le nombre de clients de Caisse d'Epargne ayant choisi de devenir sociétaires.\n",
+      "Être sociétaire de sa Caisse d’Epargne, c’est soutenir une banque qui agit en local, à travers de nombreuses actions soutenues sur son territoire et sur le financement de l’économie régionale.\n",
+      "Chaque année le sociétaire est invité à participer à l’assemblée générale de sa société locale d’épargne (SLE)…et à s’exprimer selon le principe « un homme=une voix ». Il assiste à la présentation du rapport d’activité de sa banque coopérative et participe à l’approbation des résultats financiers de sa SLE.\n",
+      "\n",
+      "----------\n",
+      "\n",
+      "passage: Devenez sociétaire !\n",
+      "\n",
+      "Qui peut devenir sociétaire ?\n",
+      "\n",
+      "Tous les clients de la Caisse d’Epargne peuvent souscrire des parts sociales : particuliers, personnes morales (associations, entreprises), EPCI (Établissements Publics de Coopération Intercommunale) à fiscalité propre. Les collectivités territoriales peuvent également devenir sociétaires.\n",
+      "Comment devenir sociétaire ?\n",
+      "Vous souscrivez vos parts sociales de la Société Locale d’Epargne (SLE) auprès de l’agence où est domicilié votre compte principal. Pour tout renseignement, contactez votre conseiller, il saura vous orienter.\n",
+      "Contrairement aux actions, la part sociale n’est pas cotée. Elle n’est pas soumise aux aléas de la bourse. Sa valeur nominale reste fixe : 20 euros.\n",
+      "Vous avez droit à un intérêt annuel. Vous ne payez aucuns frais tant à la souscription, à la tenue de compte qu’au remboursement.\n",
+      "\n",
+      "L’intérêt des parts sociales est conditionné à une décision de l’assemblée générale de la Caisse d’Epargne selon ses résultats.\n",
+      "\n",
+      "A noter : Les parts sociales sont rémunérées prorata temporis par mois civil entier de détention, à compter du 1er jour du mois qui suit la date d’agrément du sociétaire, jusqu’à la date de clôture de l’exercice.\n",
+      "\n",
+      "Si vous revendez vos parts sociales avant la clôture de l’exercice, vous ne percevez pas les intérêts pour l’exercice en cours. En cas de liquidation de votre SLE, vous n’avez pas de droit sur l’actif net (principe coopératif).\n",
+      "Dans le cas d’une détention sur un compte dédié, les parts sociales ne sont soumises à aucuns frais : pas de commission de souscription, pas de frais de rachat ni de droits de garde. Une commission de tenue de compte peut cependant être prélevée dans le cadre d’un compte de parts sociales (comptes titres) ou d’un PEA. La souscription est conditionnée à l’agrément du conseil d’administration.\n",
+      "\n",
+      "----------\n",
+      "\n",
+      "passage: Devenez sociétaire !\n",
+      "\n",
+      "Qui peut devenir sociétaire ?\n",
+      "\n",
+      "Les intérêts aux parts sociales sont soumis au même régime fiscal que les dividendes d’actions françaises. Si vous n’êtes pas domicilié fiscalement en France, les intérêts aux parts sociales supportent une retenue à la source dont le taux peut être réduit par la convention fiscale liant votre pays de résidence fiscale et la France. Nous vous conseillons de vous rapprocher, le cas échéant d’un conseiller fiscal.\n",
+      "Si vous souhaitez que la SLE rachète vos parts sociales, votre demande, soumise à l’autorisation du conseil d’administration de la SLE, doit être formulée avant le 31 mai, date de clôture de l’exercice. De ce fait, aucune assurance ne peut être donnée quant à la liquidité des parts sociales.\n",
+      "\n",
+      "Par ailleurs, les rachats de parts sociales sont subordonnés au respect du capital minimum en deçà duquel la SLE ne peut descendre. En conséquence, les sociétaires doivent être conscients qu’ils pourraient ne pas être en mesure de céder facilement leurs parts sociales.\n",
+      "\n",
+      "Le remboursement effectif, qu’il soit consécutif à la perte de la qualité de sociétaire ou à une demande de rachat, intervient le 1er jour ouvré du nouvel exercice ou dans un délai maximum de 3 mois suivant la demande pour les cas dérogatoires suivants :\n",
+      "\n",
+      "– Pour un particulier : changement de foyer fiscal, décès, divorce, invalidité, licenciement, départ à la retraite ou préretraite, transfert du domicile à l’étranger, déménagement hors du ressort territorial de la Caisse d’Epargne d’affiliation, redressement judiciaire du sociétaire, de clôture d’un livret A lorsque le client ne détient pas d’autres produits et tout évènement exceptionnel revêtant une gravité telle qu’elle contraigne le sociétaire à liquider tout ou partie de ses parts.\n",
+      "\n",
+      "– Pour une personne morale : redressement judiciaire, liquidation ou dissolution.\n",
+      "\n",
+      "Les parts sociales sont remboursées à leur valeur nominale sous réserve du risque investisseur (cf. paragraphe « Responsabilité – risque de perte en capital »)\n",
+      "\n",
+      "----------\n",
+      "\n",
+      "passage: Devenez sociétaire !\n",
+      "\n",
+      "Qui peut devenir sociétaire ?\n",
+      "\n",
+      "Votre responsabilité d’investisseur est limitée au niveau de votre investissement. Le risque investisseur (risque de perte en capital) porte sur le Groupe BPCE et non sur la SLE ou la Caisse d’Epargne (du fait du mécanisme de solidarité interne au Groupe BPCE).\n",
+      "\n",
+      "Les parts sociales demeurent des instruments risqués. Votre responsabilité, limitée au montant de l’apport, est engagée jusqu’à 5 ans après le retrait. Il existe un risque de perte en capital en cas de défaut ou de faillite de la Caisse d’Epargne ou de mise en œuvre de mesures de résolution au sein du Groupe BPCE. Les parts sociales ne sont pas éligibles au mécanisme de garantie des investisseurs ou de garantie des déposants et leur rémunération n’est pas garantie.\n",
+      "En cas de liquidation, les liquidateurs seront chargés de réaliser l’actif, d’effectuer le paiement des dettes sociales et, en dernier lieu, de rembourser éventuellement le capital social aux sociétaires si celui-ci est suffisant après paiement des dettes de la SLE.\n",
+      "Pour tout renseignement, contactez votre conseiller, il saura vous orienter. \n",
+      "\n",
+      "Préalablement à toute souscription, conformément à l’article 212-38-13 du règlement général de l’AMF, il est recommandé de lire attentivement le prospectus visé par l’AMF établi pour l’offre au public de parts sociales et plus particulièrement la rubrique « facteurs de risques ». Ce prospectus est disponible sur simple demande sans frais en agence et sur le site de l’AMF www.amf-france.org et sur le site www.caisse-epargne.fr.\n",
+      "\n",
+      "----------\n",
+      "\n",
+      "passage: Devenez sociétaire !\n",
+      "\n",
+      "Qui peut devenir sociétaire ?\n",
+      "\n",
+      "En tant que sociétaire, vous êtes impliqué dans la vie de votre Caisse d’Epargne et prenez part aux décisions en y exerçant un droit de vote. Vous élisez vos représentants parmi les sociétaires, les administrateurs, qui élisent à leur tour leur président qui les représente à l’assemblée générale de votre Caisse d’Epargne. \n",
+      "\n",
+      "Vous participez ainsi aux grandes orientations de votre Caisse d’Epargne. Chaque année, à l’Assemblée Générale de votre SLE, vous rencontrez les dirigeants de votre Caisse d’Epargne et bénéficiez d’une information spécifique. \n",
+      "\n",
+      "Tout au long de l’année, vous pouvez également être invité à participer à des événements organisés par votre Caisse d’Epargne.\n",
+      "Chez Caisse d’Epargne Rhône Alpes, votre épargne est réinvestie dans des projets de territoire. Votre Caisse d’Epargne est un acteur majeur et le premier financeur privé de l’économie sociale et solidaire.\n",
+      "Au cœur des métiers de Caisse d’Epargne Rhône Alpes, cette solidarité s’exprime concrètement par les nombreuses actions de mécénat soutenues localement. \n",
+      "\n",
+      "Vos représentants participent à la remontée de projets locaux associatifs et à la sélection de ceux qui seront soutenus par Caisse d’Epargne Rhône Alpes.\n",
+      "En tant que sociétaire, vous êtes impliqué dans la vie de votre Caisse d’Epargne et prenez part aux décisions en y exerçant un droit de vote. Vous élisez vos représentants parmi les sociétaires, les administrateurs, qui élisent à leur tour leur président qui les représente à l’assemblée générale de votre Caisse d’Epargne. \n",
+      "\n",
+      "Vous participez ainsi aux grandes orientations de votre Caisse d’Epargne. Chaque année, à l’Assemblée Générale de votre SLE, vous rencontrez les dirigeants de votre Caisse d’Epargne et bénéficiez d’une information spécifique. \n",
+      "\n",
+      "Tout au long de l’année, vous pouvez également être invité à participer à des événements organisés par votre Caisse d’Epargne.\n",
+      "\n",
+      "----------\n",
+      "\n",
+      "passage: Devenez sociétaire !\n",
+      "\n",
+      "Qui peut devenir sociétaire ?\n",
+      "\n",
+      "Chez Caisse d’Epargne Rhône Alpes, votre épargne est réinvestie dans des projets de territoire. Votre Caisse d’Epargne est un acteur majeur et le premier financeur privé de l’économie sociale et solidaire.\n",
+      "Au cœur des métiers de Caisse d’Epargne Rhône Alpes, cette solidarité s’exprime concrètement par les nombreuses actions de mécénat soutenues localement. \n",
+      "\n",
+      "Vos représentants participent à la remontée de projets locaux associatifs et à la sélection de ceux qui seront soutenus par Caisse d’Epargne Rhône Alpes.\n",
+      "\n",
+      "----------\n",
+      "\n",
+      "passage: Devenez sociétaire !\n",
+      "\n",
+      "Le site sociétaires\n",
+      "\n",
+      "Sur www.societaires.caisse-epargne.fr, vous disposez d’un site d’information et d’avantages sélectionnés pour vous. Vous y découvrirez les réalisations et engagements de votre Caisse d’Epargne sur votre territoire : actualité, partenariats, soutien aux actions sociétales…\n",
+      "C’est aussi une source incontournable d’informations sur l’organisation et les valeurs coopératives, les assemblées générales, la vie du sociétariat et des sociétés locales d’épargne.\n",
+      "Le Club Sociétaires\n",
+      "\n",
+      " \n",
+      "\n",
+      "\t\t\t\t\t\t\t\t\t\t\tAccessible depuis le site sociétaires de votre région, le club vous propose des avantages et des réductions sur vos sorties ou vos achats, autour de chez vous et partout en France.\t\t\t\t\t\t\t\t\t\t\n",
+      "\n",
+      "\n",
+      "\n",
+      "\t\t\t\t\t\t\t\t\t\t\t\tDécouvrir maintenant\n",
+      "Le Club Sociétaires\n",
+      "Accessible depuis le site sociétaires de votre région, le club vous propose des avantages et des réductions sur vos sorties ou vos achats, autour de chez vous et partout en France.\n",
+      "Découvrir maintenant\n",
+      "Banque engagée : nos actions pour une société plus solidaire, plus durable\n",
+      "\n",
+      " \n",
+      "\n",
+      "\t\t\t\t\t\t\t\t\t\t\tDepuis leur création en 1818, les Caisses d’Epargne sont des banques régionales engagées en faveur de la solidarité et du développement économique et durable de leurs territoires.\t\t\t\t\t\t\t\t\t\t\n",
+      "\n",
+      "\n",
+      "\n",
+      "\t\t\t\t\t\t\t\t\t\t\t\tDécouvrir maintenant\n",
+      "Banque engagée : nos actions pour une société plus solidaire, plus durable\n",
+      "Depuis leur création en 1818, les Caisses d’Epargne sont des banques régionales engagées en faveur de la solidarité et du développement économique et durable de leurs territoires.\n",
+      "Découvrir maintenant\n",
+      "Qui sommes-nous ?\n",
+      "\n",
+      " \n",
+      "\n",
+      "\t\t\t\t\t\t\t\t\t\t\tDepuis sa création en 1818, Caisse d’Epargne accompagne les Français et les territoires dans leurs projets et tient un rôle majeur dans la vie économique et sociale du pays. \t\t\t\t\t\t\t\t\t\t\n",
+      "\n",
+      "\n",
+      "\n",
+      "\t\t\t\t\t\t\t\t\t\t\t\tDécouvrir maintenant\n",
+      "Qui sommes-nous ?\n",
+      "Depuis sa création en 1818, Caisse d’Epargne accompagne les Français et les territoires dans leurs projets et tient un rôle majeur dans la vie économique et sociale du pays.\n",
+      "Découvrir maintenant\n",
+      "\n",
+      "----------\n",
+      "\n"
+     ]
+    }
+   ],
+   "source": [
+    "nb_passage = 1\n",
+    "while True:\n",
+    "    id = \"f6d921ced8.html-\" + str(nb_passage)\n",
+    "    societaires = collection.get(ids=[id])\n",
+    "    if len(societaires['documents']) > 0:\n",
+    "        print(societaires['documents'][0])\n",
+    "        print(\"\\n----------\\n\")\n",
+    "        nb_passage += 1\n",
+    "    else:\n",
+    "        break"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "a15e2f52-f3f6-4b6d-9ac9-b39528580d9e",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "collection.get(ids=['f6d921ced8.html-10'])"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "089de7c4-7c17-464d-a0dd-04db86299cda",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "col = collection.get()"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "eb193ac5-41a2-4fdd-81f5-0d3c56f72829",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "col['ids'][0]"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "97b08f88-9837-45f3-8622-49a95a2b312c",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "lengths = np.array([len(doc) for doc in col['documents']])"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "10d4a676-648a-4412-a168-8dcbf754af1e",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# Calculating statistics\n",
+    "min_length = np.min(lengths)\n",
+    "max_length = np.max(lengths)\n",
+    "mean_length = np.mean(lengths)\n",
+    "median_length = np.median(lengths)\n",
+    "std_dev_length = np.std(lengths)\n",
+    "\n",
+    "# Printing the statistics\n",
+    "print(f\"Minimum Length: {min_length}\")\n",
+    "print(f\"Maximum Length: {max_length}\")\n",
+    "print(f\"Mean Length: {mean_length:.2f}\")\n",
+    "print(f\"Median Length: {median_length}\")\n",
+    "print(f\"Standard Deviation: {std_dev_length:.2f}\")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "e6399d75-1823-4723-8f6b-955a30e226aa",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "docs = list(zip(col['documents'], col['ids']))\n",
+    "sorted_docs_ids = sorted(docs, key=lambda x: len(x[0]))\n",
+    "sorted_docs, sorted_ids = zip(*sorted_docs_ids)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "61900d54-5af3-4c3d-8dcc-2e80a8b735d7",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "for i, doc in enumerate(sorted_docs[200:210]):\n",
+    "    print(sorted_ids[i])\n",
+    "    print(doc)\n",
+    "    print(\"\\n---\\n\")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "14778379-01fc-415d-841d-b02909863383",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "docs = col['documents']\n",
+    "sorted_docs = sorted(docs, key=len)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "195a89b2-a269-4baf-acf2-f60ddaa78082",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "for doc in sorted_docs[:10]:\n",
+    "    print(doc)\n",
+    "    print(\"\\n---\\n\")"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "19f3d7bf-0c22-498b-988e-45f8e65474f6",
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "RAG_ENV",
+   "language": "python",
+   "name": "rag_env"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.9.18"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 5
+}

rag_fr_embedding.ipynb

@@ -18,12 +18,12 @@
     }
    ],
    "source": [
-    "from embedding import EmbeddingModel"
+    "from embedding2 import EmbeddingModel"
    ]
   },
   {
    "cell_type": "code",
-   "execution_count": 2,
+   "execution_count": null,
    "id": "37408a48-ce90-4176-bc9f-b71ebc22a178",
    "metadata": {},
    "outputs": [
@@ -31,66 +31,814 @@
      "name": "stderr",
      "output_type": "stream",
      "text": [
-      "2024-01-03 11:13:53,279 - INFO - Load pretrained SentenceTransformer: intfloat/multilingual-e5-large\n",
       "/Users/peportier/miniforge3/envs/RAG_ENV/lib/python3.9/site-packages/transformers/utils/generic.py:309: UserWarning: torch.utils._pytree._register_pytree_node is deprecated. Please use torch.utils._pytree.register_pytree_node instead.\n",
       "  _torch_pytree._register_pytree_node(\n",
-      "2024-01-03 11:13:56,891 - INFO - Use pytorch device: cpu\n",
-      "2024-01-03 11:13:56,894 - INFO - Anonymized telemetry enabled. See                     https://docs.trychroma.com/telemetry for more information.\n",
-      "2024-01-03 11:13:56,990 - INFO - 4a06529f5f.txt : Start\n",
-      "Batches:   0%|                                            | 0/1 [00:00<?, ?it/s]huggingface/tokenizers: The current process just got forked, after parallelism has already been used. Disabling parallelism to avoid deadlocks...\n",
+      "Batches:   0%|                                                                                                                                                       | 0/1 [00:00<?, ?it/s]huggingface/tokenizers: The current process just got forked, after parallelism has already been used. Disabling parallelism to avoid deadlocks...\n",
       "To disable this warning, you can either:\n",
       "\t- Avoid using `tokenizers` before the fork if possible\n",
       "\t- Explicitly set the environment variable TOKENIZERS_PARALLELISM=(true | false)\n",
-      "Batches: 100%|████████████████████████████████████| 1/1 [00:00<00:00,  1.64it/s]\n",
-      "2024-01-03 11:13:57,660 - INFO - 4a06529f5f.txt : Done\n",
-      "2024-01-03 11:13:57,660 - INFO - 4aac6081e0.txt : Start\n",
-      "Token indices sequence length is longer than the specified maximum sequence length for this model (595 > 512). Running this sequence through the model will result in indexing errors\n",
-      "Batches: 100%|████████████████████████████████████| 1/1 [00:00<00:00,  1.93it/s]\n",
-      "2024-01-03 11:13:58,189 - INFO - 4aac6081e0.txt : Done\n",
-      "2024-01-03 11:13:58,189 - INFO - 4a5736d002.txt : Start\n",
-      "Batches: 100%|████████████████████████████████████| 1/1 [00:00<00:00,  5.89it/s]\n",
-      "2024-01-03 11:13:58,365 - INFO - 4a5736d002.txt : Done\n",
-      "2024-01-03 11:13:58,366 - INFO - 3d159cbe89.txt : Start\n",
-      "Batches: 100%|████████████████████████████████████| 1/1 [00:00<00:00,  1.63it/s]\n",
-      "2024-01-03 11:13:58,988 - INFO - 3d159cbe89.txt : Done\n",
-      "2024-01-03 11:13:58,989 - INFO - 3f3e46760c.txt : Start\n",
-      "Batches: 100%|████████████████████████████████████| 1/1 [00:00<00:00,  6.07it/s]\n",
-      "2024-01-03 11:13:59,159 - INFO - 3f3e46760c.txt : Done\n",
-      "2024-01-03 11:13:59,160 - INFO - 3ced86d1db.txt : Start\n",
-      "Batches: 100%|████████████████████████████████████| 1/1 [00:00<00:00,  2.12it/s]\n",
-      "2024-01-03 11:13:59,640 - INFO - 3ced86d1db.txt : Done\n",
-      "2024-01-03 11:13:59,641 - INFO - 3bbe30b18a.txt : Start\n",
-      "Batches: 100%|████████████████████████████████████| 1/1 [00:01<00:00,  1.46s/it]\n",
-      "2024-01-03 11:14:01,116 - INFO - 3bbe30b18a.txt : Done\n",
-      "2024-01-03 11:14:01,116 - INFO - 3dbfdeb28e.txt : Start\n",
-      "Batches: 100%|████████████████████████████████████| 1/1 [00:01<00:00,  1.17s/it]\n",
-      "2024-01-03 11:14:02,299 - INFO - 3dbfdeb28e.txt : Done\n",
-      "2024-01-03 11:14:02,299 - INFO - 4adf02d48f.txt : Start\n",
-      "Batches: 100%|████████████████████████████████████| 1/1 [00:00<00:00,  1.71it/s]\n",
-      "2024-01-03 11:14:02,895 - INFO - 4adf02d48f.txt : Done\n",
-      "2024-01-03 11:14:02,896 - INFO - 3c25273538.txt : Start\n",
-      "Batches: 100%|████████████████████████████████████| 1/1 [00:02<00:00,  2.02s/it]\n",
-      "2024-01-03 11:14:04,940 - INFO - 3c25273538.txt : Done\n",
-      "2024-01-03 11:14:04,940 - INFO - 4aeb967bdb.txt : Start\n",
-      "Batches: 100%|████████████████████████████████████| 1/1 [00:00<00:00,  2.00it/s]\n",
-      "2024-01-03 11:14:05,449 - INFO - 4aeb967bdb.txt : Done\n"
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.48it/s]\n",
+      "Token indices sequence length is longer than the specified maximum sequence length for this model (910 > 512). Running this sequence through the model will result in indexing errors\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.78s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.57it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.10s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.39it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.35it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.46it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.20it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.80it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.28it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.29s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.24it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.48it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.64it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.45s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.17s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.41it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.02it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.27it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.19s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.87it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.05it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  6.42it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.82it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.32it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.19it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.35it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.26it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.94s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.66it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:04<00:00,  4.71s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.30it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.01s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.80it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 10.44it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.33s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.62it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.05it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.64it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.05s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.07it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.09it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.93it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.16it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.64it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.14s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.24it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.07s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.55s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  9.24it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.42it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.88s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.94s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:03<00:00,  3.28s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.13it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:04<00:00,  4.35s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.06it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.62it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.13it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.13it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.20s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  8.38it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.28it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.59s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.05it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.41it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.44it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.32it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.88it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.68it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.42it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.01s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.87s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.91s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.62it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.26it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.07it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.15it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.89it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.81it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.31s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.86it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.20s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.18it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.18it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.04s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.54s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.61s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.12it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  6.19it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.35it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.13s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.31it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.46s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.68it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.39it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.83s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.09s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.26s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.69it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.37s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.50s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.80s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.35it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.38it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.00it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.74it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.57s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  6.49it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.35it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.37s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.38s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.62it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.25s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.77it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.55it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.27s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.06it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.16s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.18s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.11it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.22it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.99it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.58s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.44s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.55it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.56it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.34s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.37it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.07s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  9.43it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.04it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.57it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.67it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.29it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.98it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.12it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  9.76it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.37it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.67s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.03it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.93it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.38it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  7.91it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.22it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.01s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.72it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.38s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.10it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.67it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.91s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.77s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.63it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.88s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.06it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.66it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.16s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.66s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.94it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:04<00:00,  4.95s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.97s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.63it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.24s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.55it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.62it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.13it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.06it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.27it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.06it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:03<00:00,  3.45s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.95it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.21s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.06s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  6.40it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.32s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.19s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.03s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.72s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.94s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.17it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.45it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.17it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.79it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.92it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.20s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.18s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.31s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.48s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.00it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.35it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.60s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.29it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  8.38it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.13s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:03<00:00,  3.66s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.91s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.76s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.67it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.16it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.08it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.62it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.75s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.37s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.39it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.63it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.77s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.42it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.20it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.82it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.30s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.42it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.41it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.35it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.46it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.50it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.63it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.25it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.06s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.25s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  7.78it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.12it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.20it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.74s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.09s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.92it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.11s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.83s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.38it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.49s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.38it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.07it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:03<00:00,  3.07s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.23s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.78it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.17it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.57it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:04<00:00,  4.36s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.59s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.29it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.95s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.47s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.59s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.66it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.06it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.22s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.43s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.23s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.93it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.23it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.16it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.11it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.00s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.15it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.65it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.31it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.47s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.25s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.42s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.38it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.08it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.10it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.70it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.68s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.24it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.16it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.13s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.12s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.38it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.81s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.48it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.99it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:03<00:00,  3.99s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.66it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.67it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.32it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.13s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.70it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.22it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.15s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.04s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.31it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.01s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.27it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.22it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.97it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.35s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.03it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.28it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:03<00:00,  3.21s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  7.49it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.65it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.22it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.18s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.49it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.04it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.57it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.36s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.43s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.23it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.02it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.66it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.69it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.26s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.37it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.82it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:03<00:00,  3.14s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.54it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.70it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.00it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.77it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.88it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.74it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.99it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.45s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.77it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.66it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.47s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.69it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.70it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.10it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.03it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.49s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.43it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.87s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.99it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.97s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.01it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:05<00:00,  5.50s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.67it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.45it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.68it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.84it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.51it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.70s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.69it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.35it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.66it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.87it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:05<00:00,  5.03s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.22it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.24it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.02s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  8.12it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.99it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.41it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.02s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.23it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.97it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.04s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.63it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.75it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.37s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.50it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.62it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.22it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.07it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.23it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.50it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.22it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.93it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.18it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.60it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.80s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.07it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.12s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.74s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:06<00:00,  6.30s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.18s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.21s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.50s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.11it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.14it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.28it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.50s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.43it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.59s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.58it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.32s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.00it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.46it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.63s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.37it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.90s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.89it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.42it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.29it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.19s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.89it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.68s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.93it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.18it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.25it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.92s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.07s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.18s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.16it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.77it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.70it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.31s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.27s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.17it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.89it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.35it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.66it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.61s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.28it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.93s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.31it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.64it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.85it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.21it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.73s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.18s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.13it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.34s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.73it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.71it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.80it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  9.21it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:05<00:00,  5.15s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.05it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.05s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.76it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.36it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.07it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.39s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.75it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.59it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.65it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.57s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.63it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.78it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.34s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.99s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  9.76it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.71it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.14s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.57it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.42s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.59it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.34s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.56it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.45it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.65s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:03<00:00,  3.35s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.14it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  8.20it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.53it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.24it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.15it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.27s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.26s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.09it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.59s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  8.63it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.26it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.27s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.91it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  8.13it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.28it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.57it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.14it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.37it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.95s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.61it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  6.00it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.39s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.11it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.68s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:03<00:00,  3.00s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.07it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.34s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.04s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.60it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.08it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.09it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.34s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.08s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.86it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.29it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:03<00:00,  3.27s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.15it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.07s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:05<00:00,  5.60s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.95it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.05it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.17it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.29s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  6.15it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.38it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.30it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.09s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.93it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.74s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.96it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.24s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  9.54it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.01it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.33s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.77s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.32it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.87it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.06it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.14s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.40s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  8.87it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.07s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.39it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.68s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.19s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.04it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.29it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  6.00it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.17it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.15it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.32it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.68it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.49it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.15it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.85it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.19s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.17it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.80s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.94it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.37it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.89s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.23it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.42it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.39s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.83it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.57it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.06it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:03<00:00,  3.09s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.12it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.73it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.07it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.06it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.13s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.86it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.23s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  6.29it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:03<00:00,  3.23s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.28it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  9.60it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.04it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.67it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.65it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.60it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.71it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.18it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.13it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.71it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.51s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:03<00:00,  3.17s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.78s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.17it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.24s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  8.75it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  6.16it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.36it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.90it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.15s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.02it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.63it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.07it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.14s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.74s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.33s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:03<00:00,  3.33s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.24it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.08s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.61it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  7.42it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.82s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.97it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.44it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.82s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.24s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.52s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.51it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.21it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.89s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.01s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.31it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.07it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.43s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.37s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  8.87it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:03<00:00,  3.01s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.07s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.55s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.65s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.42it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.09s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.02it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.88it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.31it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.40it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.71it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.63it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.13it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.23s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.65s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.19it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.13it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.56it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.12it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.03it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.89it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.56s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.68s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.31it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.39s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.27s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.37it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.53s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.76it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.03s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.11it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.35s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.60it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.13s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.30it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.02s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.50it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.44it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  8.68it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.39it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  6.82it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.47it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.25s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  9.64it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.74s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.34s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.37it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.68s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.43it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.79it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  8.09it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.53it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.13it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.38s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.38s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.00it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.35it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.47s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.61s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:03<00:00,  3.69s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.22s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.74s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.88s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.28s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.09it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.43it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.22it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:04<00:00,  4.77s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.43it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.56it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  6.70it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.78s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.05it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.30it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.77it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.08s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.20it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.50s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.78it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.51it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.87it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.03it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.49it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.14s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.27s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.51it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.50it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.04s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.71it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.09s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.12it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.24s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.12it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.29it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.92s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.88it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.81it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.40s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.98it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.17it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.94s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.94it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.55s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.53it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.81it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  9.18it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  7.60it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:03<00:00,  3.42s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.84it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.45it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.46it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.75it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.21it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.89it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.26s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.50it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.16it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.37s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  7.97it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.18s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:03<00:00,  3.01s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.20s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.35it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.48it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.93it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.16it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.99s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.19s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.91it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.09it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  6.09it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.77s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.11it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.67it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.44it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.65it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.89s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.57s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.92it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.64it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.69it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  8.80it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.71it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.11it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.40it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.89it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.21s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.60s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.75it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.77it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.26it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.89s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  6.54it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.81it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.63s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.86s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.53it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.83it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.66it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.85s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.41it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.81it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.44it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.26it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.70it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.18s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.33s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.96it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.31it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.91s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.72it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.89it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.48it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.41it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.18it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.58s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.72it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.61it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.99it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.65it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.26s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  2.58it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.42it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.15it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  4.84it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.12it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.81s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.99s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.30it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  1.82it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:02<00:00,  2.15s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  3.19it/s]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.39s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:01<00:00,  1.19s/it]\n",
+      "Batches: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00,  5.13it/s]\n"
      ]
     }
    ],
    "source": [
     "model_name = 'intfloat/multilingual-e5-large'\n",
-    "chromadb_path = './chromadbtest'\n",
-    "folder_path = './docs/test'\n",
+    "chromadb_path = './chromadb'\n",
+    "html_folder_path = '../scrapcera/htmls/'\n",
+    "txt_folder_path = '../scrapcera/docs/'\n",
     "collection_name = 'cera'\n",
     "\n",
     "embedding_model = EmbeddingModel(model_name, chromadb_path, collection_name)\n",
-    "embedding_model.embed_folder(folder_path)"
+    "embedding_model.embed_folder(html_folder_path, txt_folder_path)"
    ]
   },
   {
    "cell_type": "code",
    "execution_count": null,
-   "id": "2acd9c49-5676-4e72-9eff-f6fb8ffa94fe",
+   "id": "3e408034-4c7b-4f64-9277-dd7c7d081135",
    "metadata": {},
    "outputs": [],
    "source": []

rag_fr_embedding_test.ipynb

@@ -0,0 +1,252 @@
+{
+ "cells": [
+  {
+   "cell_type": "code",
+   "execution_count": 1,
+   "id": "d8acc709-ebb2-4fa6-982b-3d13fe8d2beb",
+   "metadata": {},
+   "outputs": [
+    {
+     "name": "stderr",
+     "output_type": "stream",
+     "text": [
+      "/Users/peportier/miniforge3/envs/RAG_ENV/lib/python3.9/site-packages/tqdm/auto.py:21: TqdmWarning: IProgress not found. Please update jupyter and ipywidgets. See https://ipywidgets.readthedocs.io/en/stable/user_install.html\n",
+      "  from .autonotebook import tqdm as notebook_tqdm\n",
+      "/Users/peportier/miniforge3/envs/RAG_ENV/lib/python3.9/site-packages/transformers/utils/generic.py:441: UserWarning: torch.utils._pytree._register_pytree_node is deprecated. Please use torch.utils._pytree.register_pytree_node instead.\n",
+      "  _torch_pytree._register_pytree_node(\n"
+     ]
+    }
+   ],
+   "source": [
+    "from bs4 import BeautifulSoup\n",
+    "import base64\n",
+    "import re\n",
+    "from transformers import AutoTokenizer\n",
+    "import logging\n",
+    "import os\n",
+    "from IPython.display import Markdown, display"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 2,
+   "id": "54f5ab50-2ee3-45ad-9208-c1e2dc362152",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "from transformers import AutoTokenizer\n",
+    "model_name = 'intfloat/multilingual-e5-large'\n",
+    "tokenizer = AutoTokenizer.from_pretrained(model_name)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 3,
+   "id": "8c9e6f4e-609d-488d-a738-41934a62e92a",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "def token_length(text):\n",
+    "    return len(tokenizer.encode(text, add_special_tokens=False))"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 4,
+   "id": "8deef599-04b0-4d9f-9b3e-ac9ae5a472a0",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "def passage_str(paragraphs, title, subtitle):\n",
+    "    return f\"passage: {title}\\n\\n{subtitle}\\n\\n\" + '\\n'.join(paragraphs)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 5,
+   "id": "1ef97436-37c2-45b4-8e00-7737d87c261e",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "html_folder_path = '../scrapcera/htmls/'\n",
+    "txt_folder_path = '../scrapcera/docs/'\n",
+    "html_filename = '97e88fd1d6.html'"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 8,
+   "id": "560280af-ad79-43e8-b4df-c4f69aa40dcf",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "for html_filename in ['f6d921ced8.html']: # os.listdir(html_folder_path):\n",
+    "    \n",
+    "    html_file_path = os.path.join(html_folder_path, html_filename)\n",
+    "    txt_filename = re.sub(r'\\.html', '.txt', html_filename)\n",
+    "    txt_file_path = os.path.join(txt_folder_path, txt_filename)\n",
+    "    with open(txt_file_path, 'r') as file:\n",
+    "        txt_file_contents = file.read()\n",
+    "    \n",
+    "    url = txt_file_contents.split('\\n')[0]\n",
+    "    if '?' in url: # URLs with a '?' corresponds to call to services and have no useful content\n",
+    "        continue\n",
+    "    if not url.startswith('https://www.caisse-epargne.fr/rhone-alpes/'):\n",
+    "        continue\n",
+    "    \n",
+    "    prefix = 'https://www.caisse-epargne.fr/'\n",
+    "    suffix = url.replace(prefix, '')\n",
+    "    tags = suffix.split('/')\n",
+    "    tags = [tag for tag in tags if tag] # remove empty par\n",
+    "    with open(html_file_path, 'r') as file:\n",
+    "        html_file_contents = file.read()\n",
+    "    soup = BeautifulSoup(html_file_contents, 'html.parser')\n",
+    "    page_title_present = soup.find('section').find('h1')\n",
+    "    if not page_title_present:\n",
+    "        continue\n",
+    "    page_title = page_title_present.get_text()\n",
+    "    \n",
+    "    sections = soup.find_all(lambda tag: tag.name in ['section'] and 'key-informations' not in tag.get('class', []))\n",
+    "    \n",
+    "    struct_page = {'title': page_title}\n",
+    "    current_section = ''\n",
+    "    for section in sections:\n",
+    "        for wysiwyg_tag in section.find_all(class_=\"wysiwyg\"):\n",
+    "            # Check for a title within the wysiwyg container\n",
+    "            internal_title = wysiwyg_tag.find(['h1', 'h2', 'h3', 'h4', 'h5', 'h6']) or wysiwyg_tag.find('p', class_='title')\n",
+    "    \n",
+    "            # If no internal title, find the nearest title from previous siblings\n",
+    "            if not internal_title:\n",
+    "                # Find the nearest title from previous siblings\n",
+    "                nearest_title = None\n",
+    "                for sibling in wysiwyg_tag.find_previous_siblings():\n",
+    "                    if sibling.name in ['h1', 'h2', 'h3', 'h4', 'h5', 'h6']:\n",
+    "                        nearest_title = sibling.get_text().strip()\n",
+    "                        break\n",
+    "                    if sibling.name == 'p' and 'title' in sibling.get('class', []):\n",
+    "                        nearest_title = sibling.get_text().strip()\n",
+    "                        break\n",
+    "                if nearest_title:\n",
+    "                    nearest_title = re.sub(r'\\(\\d\\)', '', nearest_title)\n",
+    "                    nearest_title = re.sub(r'^\\d+\\.\\s*', '', nearest_title)\n",
+    "                    current_section = nearest_title\n",
+    "                    struct_page[current_section] = []\n",
+    "                else:\n",
+    "                    continue\n",
+    "            for child in wysiwyg_tag.find_all(['p', 'li', 'h1', 'h2', 'h3', 'h4', 'h5', 'h6']):\n",
+    "                text = child.get_text().strip()\n",
+    "                text = re.sub(r'\\(\\d\\)', '', text)\n",
+    "                if child.name.startswith('h') or (child.name == 'p' and 'title' in child.get('class', [])):\n",
+    "                    text = re.sub(r'^\\d+\\.\\s*', '', text)\n",
+    "                    current_section = text\n",
+    "                    struct_page[current_section] = []\n",
+    "                else: # <p> not of class title, or <li>\n",
+    "                    if 'is-style-mentions' not in child.get('class', []):\n",
+    "                        if current_section in struct_page:\n",
+    "                            struct_page[current_section].append(text)\n",
+    "\n",
+    "    # detect_big_chunks(struct_page, html_filename)"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 7,
+   "id": "e6da54d7-6c70-44eb-b08b-392c742d0525",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "chunks_length = []\n",
+    "def detect_big_chunks(struct_page, filename):\n",
+    "    global big_chunks_length\n",
+    "    max_chunk_size=512\n",
+    "    title = struct_page['title']\n",
+    "    for subtitle, paragraphs in struct_page.items():\n",
+    "        if subtitle != 'title':\n",
+    "            doc_str = passage_str(paragraphs, title, subtitle)\n",
+    "            doc_token_length = token_length(doc_str)\n",
+    "            if doc_token_length > max_chunk_size:\n",
+    "                sub_paragraphs = []\n",
+    "                sub_paragraphs_token_length = 0\n",
+    "                paragraph_index = 0\n",
+    "                while True:\n",
+    "                    while sub_paragraphs_token_length < max_chunk_size and paragraph_index < len(paragraphs):\n",
+    "                        sub_paragraphs.append(paragraphs[paragraph_index])\n",
+    "                        sub_paragraphs_str = passage_str(sub_paragraphs, title, subtitle)\n",
+    "                        sub_paragraphs_token_length = token_length(sub_paragraphs_str)\n",
+    "                        paragraph_index += 1\n",
+    "                    if paragraph_index == len(paragraphs):\n",
+    "                        if sub_paragraphs_token_length >= max_chunk_size:\n",
+    "                            sub_paragraphs_str_1 = passage_str(sub_paragraphs[:-1], title, subtitle)\n",
+    "                            sub_paragraphs_str_2 = passage_str([sub_paragraphs[-1]], title, subtitle)\n",
+    "                            chunks_length.append(len(sub_paragraphs_str_1))\n",
+    "                            chunks_length.append(len(sub_paragraphs_str_2))\n",
+    "                        else:\n",
+    "                            sub_paragraphs_str = passage_str(sub_paragraphs, title, subtitle)\n",
+    "                            chunks_length.append(len(sub_paragraphs_str))\n",
+    "                        break\n",
+    "                    else:\n",
+    "                        sub_paragraphs_str = passage_str(sub_paragraphs[:-1], title, subtitle)\n",
+    "                        chunks_length.append(len(sub_paragraphs_str))\n",
+    "                        paragraph_index -= 1\n",
+    "                        sub_paragraphs = []\n",
+    "                        sub_paragraphs_token_length = 0\n",
+    "                    \n",
+    "                chunks_length.append(len(doc_str))"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": 9,
+   "id": "8a534ec5-a85a-41bf-b229-c896612cec42",
+   "metadata": {},
+   "outputs": [
+    {
+     "data": {
+      "text/plain": [
+       "{'title': 'Devenez sociétaire !',\n",
+       " 'Qui peut devenir sociétaire ?': ['Tous les clients de la Caisse d’Epargne peuvent souscrire des parts sociales : particuliers, personnes morales (associations, entreprises), EPCI (Établissements Publics de Coopération Intercommunale) à fiscalité propre. Les collectivités territoriales peuvent également devenir sociétaires.'],\n",
+       " 'Comment devenir sociétaire\\xa0?': ['Vous souscrivez vos parts sociales de la Société Locale d’Epargne (SLE) auprès de l’agence où est domicilié votre compte principal. Pour tout renseignement, contactez votre conseiller, il saura vous orienter.'],\n",
+       " 'Le site sociétaires': ['Sur www.societaires.caisse-epargne.fr, vous disposez d’un site d’information et d’avantages sélectionnés pour vous. Vous y découvrirez les réalisations et engagements de votre Caisse d’Epargne sur votre territoire : actualité, partenariats, soutien aux actions sociétales…',\n",
+       "  'C’est aussi une source incontournable d’informations sur l’organisation et les valeurs coopératives, les assemblées générales, la vie du sociétariat et des sociétés locales d’épargne.']}"
+      ]
+     },
+     "execution_count": 9,
+     "metadata": {},
+     "output_type": "execute_result"
+    }
+   ],
+   "source": [
+    "struct_page"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "fdd70455-c279-4b08-87e9-d42c5c093bc6",
+   "metadata": {},
+   "outputs": [],
+   "source": []
+  }
+ ],
+ "metadata": {
+  "kernelspec": {
+   "display_name": "RAG_ENV",
+   "language": "python",
+   "name": "rag_env"
+  },
+  "language_info": {
+   "codemirror_mode": {
+    "name": "ipython",
+    "version": 3
+   },
+   "file_extension": ".py",
+   "mimetype": "text/x-python",
+   "name": "python",
+   "nbconvert_exporter": "python",
+   "pygments_lexer": "ipython3",
+   "version": "3.9.18"
+  }
+ },
+ "nbformat": 4,
+ "nbformat_minor": 5
+}